新获取的数据，和表格中现有的数据对比，看是否存在，如果存在就舍弃，继续获取新数据，如果不存在，就把新数据添加到表格里面，这个要怎么操作

用影刀批量获取链接

把链接保存在表格里面，但是一天执行不完

第二天执行的时候就需要判断，新获取的链接在表格里面是否存在

不存在的话，就把链接添加进去

存在的话，就跳过，继续获取新链接

这个表格判断的的流程怎么写啊，求大神指导一下