【趣味题库】批量抓取影刀帮助中心的所有标题与链接
回答
收藏

【趣味题库】批量抓取影刀帮助中心的所有标题与链接

i
icychick
2022-08-23 10:53·浏览量:4334
i
icychick
发布于 2022-08-21 12:37更新于 2022-08-23 10:534334浏览

【活动背景】

本次活动是小可耐于8月19日(周五)在交流群里发起的一次作业挑战,他先贴出了作业要求和自己的14条打码指令。并下擂台欢迎各位群友挑战——凡超越14条指令者重赏奶茶一杯

原本周五晚大伙想躺平休息的,结果被小可耐来了个”奶茶诱惑",这可怎么忍得了;另外还设了个14条指令的门槛,这不是“欺负老实人吗?“于是众人振臂一呼,弄他!!!


【作业要求】



【影刀文档地址】

https://www.winrobot360.com/yddoc/?

【作业出处】

https://www.yuque.com/docs/share/1597c84e-1901-4aa3-a70d-95eb67e243c1?#

【作业要点】

作业提示:需要点击打开所有左侧的层级菜单,才可以捕获到所有标题和链接。

【实现效果动画参考】




=================================================================================


经过一段时间欢快的”键鼠拖拽“,大家依次突破了小可耐的14条指令门槛,更甚者直接把指令压缩到7条。








                                     【下面分享是大家的方法】

 在交流群内卷+奶茶诱惑激发下迸射出很多闪光点,下面分享下他们的方法和巧思(目前我这里只收集到下面几份,如有更新会补充上来分享给大家。如有被遗漏的开发者作品,我先跟您道歉,请反馈给我,我尽快补充上来😂):


1. 【”小可耐“的方法】


(该方法使用了len(web_element_list)的值是否为0来判断左侧标题层级是否全部展开,这种方法普适性广,不管左侧标题有多少层级,都可以完全展开)



2. 【”~~“的方法】

技巧:通过修改网页结构实现批量数据抓取捕获的方法👇


(该方法是使用指令最少的方法,利用了影刀文档标题最高4层级的特点,使用for循环3次减少条件判断精简了指令长度,另外”批量数据抓取“的元素捕获方法独具巧思,通过修改网页结构的方法快速实现目标捕获,推荐大家学习!)



3. 【”扬帆起航“的方法】

技巧:扬帆起航的”批量数据抓取“的技巧和滕健对”批量数据抓取“原理的总结(感谢👍👍👍)



(扬帆起航首先实现通过修改元素层级方法完成”批量数据抓取“一次性抓取所有标题和链接。很棒的钻研精神,值得学习!)



4. 【”滕健“的方法】


(该方法中写入数据表格的技巧很棒,用3条指令解决了批量写入:先获取循环项的对象,写入数据表格的时候再分别写入循环项的不同属性值)



5. 【”A 夏威夷之夜“的方法】

(该方法采用无限循环+try……catch退出机制的方法,每循环点击一层菜单并写入一行数据的方法。其中获取元素对象使用了xpath定位的方法,很有创意)



6. 【”icychick“的方法】

(该方法使用”if元素可见“作为条件,判断左侧标题是否全部展开;写入数据表格采用map()函数将两个列表打包一次性写入数据表格)



+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

以上是本人在交流群收集到的方法和一些总结经验。开发者们的奇思和闪光点远比我描述的要精彩,个人表达能力有限,无法丰富再现此次活动过程中的精彩与碰撞,有兴趣的朋友可以加入交流群一起交流哦。

特别感谢小可耐提供了这次机会和平台和奶茶…………

收藏
全部回答1
最新
发布回答
回答