蜘蛛爬取频率每秒9次，返回404 760代码，求解？

已解决

悬赏分：0 - 解决时间 2022-03-17 04:02

网站更换服务器，近几天出现这样的蜘蛛日志，23号都是这样的蜘蛛日志，每秒9次，频率太快了。求解，希望各位高手帮我解答，该如何处理？

点赞 0反对 0举报 0 收藏 0 打赏 0

最佳答案

支持 0 反对 0 举报 2022-03-16 10:46

网站更换服...

支持 0 反对 0 举报 2022-03-16 11:41

看不到爬取的网站路径，人工访问些URL是否能正常访问，如果人工能访问再用模拟工具抓取一下看，是否能正常爬取。

支持 0 反对 0 举报 2022-03-16 12:51

检查贵站各种页面各种模板源文件，ctrl+f搜索404路径，删除之..

支持 0 反对 0 举报 2022-03-16 14:11

代码中有一段：/54904 这样的，前面加上你的域名就是蜘蛛访问的页面。
你看看为什么会访问这些页面？有内链到这些页面？网站地图有这样的页面？