百度一直都在抓放js文件的文件夹，该如何处理。

已解决

悬赏分：40 - 解决时间 2022-03-17 02:47

robots.txt屏蔽这些文件夹都好几个月了，还一直抓。看日志里，每天抓取的次数90%以上都是在抓这些文件，有没有好的方法可以阻止？

点赞 0反对 0举报 0 收藏 0 打赏 0

最佳答案

支持 0 反对 0 举报 2022-03-16 08:40

robots.txt...

支持 0 反对 0 举报 2022-03-16 10:03

.JS 里面的内容很多时候都影响了用户体验，或者其它作弊的方法。

比如我曾见到一个网站打开后直接弹出5个网站的广告。查看源代码后发现广告是在.JS里面。

支持 0 反对 0 举报 2022-03-16 11:12

是不是网站使用过多的隐藏技术来实现TAB的切换？

如果一切正常，那就在服务器端屏蔽百度IP访问某些地址。

这一招很管用！

支持 0 反对 0 举报 2022-03-16 11:33

仔细检查一下你的Robots写的对不对，如果确实没问题，也没有别的办法，百度确实有跨越robots的习惯，就让它抓吧