百度蜘蛛只爬JPG图片，不爬HTML文件，怎么操作？

已解决

悬赏分：40 - 解决时间 2022-03-17 02:54

连续2周发现百度蜘蛛不怕HTML文件，只爬JPG图片，不知道为什么，谷歌蜘蛛爬的正常。我的ROBOTS.TXT为空白

点赞 0反对 0举报 0 收藏 0 打赏 0

最佳答案

支持 0 反对 0 举报 2022-03-16 12:20

连续2周发现...

支持 0 反对 0 举报 2022-03-16 13:47

图片和网页蜘蛛不一样如果2个星期没蜘蛛来爬网页基本上是降权货被K的征兆