影刀爬取招投标网站信息，需要考虑已经采集过的招投标信息，避免重复采集。
收藏
回答
收藏影刀爬取招投标网站信息，需要考虑已经采集过的招投标信息，避免重复采集。
10
10王
2025-05-06 09:22·浏览量：341
王
王三金96
目前已经实现批量爬取周投标数据，想要通过某种策略或者有什么方式能够，让它识别到之前爬取过的不再爬取吗？或者按照时间也可以，只爬取某个时间后的数据？
收藏全部回答（1）
最新
发布回答
回答
收藏10目前已经实现批量爬取周投标数据，想要通过某种策略或者有什么方式能够，让它识别到之前爬取过的不再爬取吗？或者按照时间也可以，只爬取某个时间后的数据？
收藏
