我现在有个问题,一个页面有很多个链接,每个链接都要点进去抓取数据,进去页面后抓取数据已经实现了,但是怎么在这么多的链接和这么多的页面中一个个自动去抓取呢?哪位牛人能给出一个思路,我的思路是这样的,但是我觉得实现起来很困难。
我先抓页面对应的每个点击的链接地址,存在一个表里面,然后分别从表里面一个个读取出来,打开网页抓取,然后抓取的数据存在另外一个表里面,excel导出