设置页面防刷新是否影响蜘蛛抓取

已解决

悬赏分：30 - 解决时间 2022-03-17 05:49

设置页面防刷新时间为1秒，是否影响蜘蛛抓取效率，就是如果蜘蛛0.5秒抓取一个页面后，蜘蛛是否受到这个限制而抓取不到第2个页面

点赞 0反对 0举报 0 收藏 0 打赏 0

最佳答案

支持 0 反对 0 举报 2022-03-16 12:37

设置页面防...

支持 0 反对 0 举报 2022-03-16 13:47

这个没研究过。
不过你可以拿一般小频道或者栏目实验一下。

另外如果为了防采集的话，可以经常修改内容的那个DIV名称，可以让他们采空内容回去。

支持 0 反对 0 举报 2022-03-16 15:16

感觉不会吧，不可能一个蜘蛛在1秒之内访问几次这个页面吧
而这个防刷新是根据IP判断的吧，另外一个蜘蛛来抓取，不受这个限制的