蜘蛛总是抓取网站不存在的页面，希望遇到过这种情况的高人解决？

网站之前收录都很正常，某一天，突然不正常，抓取各种404，这些url，根本就不存在。还出现其他错误，是403，而这些403 的地址，已经写在root 文件不允许抓取的，不是外链，也不是原创，也不是降权的事，请问有没有人遇到过同样的问题。 追加问题 举报 2013-01-09 发布5,349 次浏览 最新问题 站长工具HTTP检测返回状态码302，这个问题应该怎么解决呢？有没有具体的操作步骤(2 分钟前) 有什么好的收录方式吗(10 分钟前) 在百度搜索不同的关键词的结果中出现的网站logo图片不一致是什么问题？(13 分钟前) 收录上升索引下降是什么问题(21 分钟前) 谁能帮忙投诉一下我的快照啊(21 分钟前)   同时有PC和移动站的情况下，如果做友情链接？(46 分钟前) 百度快照前面的名称是跟什么关联的，如果想修改的话怎么操作呢~(50 分钟前) 做外链的地儿有什么(1 小时前) 搜外内容管家，这个下拉联想词工具，好用吗？(1 小时前) 内容管家点击移除文章时，提示不存在什么意思？(1 小时前) .question-ccx {display: flex;width: 100%;margin: 0 auto;padding: 0;}.question-ccx .sw-area {width: 50%;padding: 12px 26px 10px 26px;box-shadow: none;float: left;}.question-ccx .sw-area ul li {padding: 3px 0;white-space: nowrap;text-overflow: ellipsis;overflow: hidden;display: flex;}.question-ccx .sw-area ul li a{white-space: nowrap;text-overflow: ellipsis;overflow: hidden;}.question-ccx .sw-area span {color: #999;}.question-ccx .side-reward span {color: #ec5a12;}.question-ccx .sw-area .mod-head {padding-bottom: 5px;}.question-ccx .side-reward {border-left: 1px solid #e0e8ee;float: right;}.question-ccx .sw-area ul li:nth-child(5) {display: none;}.ccx-question { border: 1px solid #e4eaee; overflow: hidden; padding: 20px 0; display: flex; width: 100%;}.ccx-new-question { width: 50%; padding: 0 20px;}.ccx-new-question li { height: 36px; line-height: 36px; border-bottom: 1px dashed #e2e2e2; white-space: nowrap; text-overflow: ellipsis; overflow: hidden;}.ccx-new-question li:last-child { border-bottom: none;} 分享到微信 收藏 关闭 没有找到相关结果 已邀请: --> .ccx-img {padding: 0; margin: 0 auto; width: 100%;position: relative;} .ccx-img_l {float: left; width: 49%;} .ccx-img_r {float: right;width: 49%;} .ccx-img img {width: 100%;border-radius: 8px;} 交换友情链接，就用搜外友链，方便！ 3 人参与回答 王红红·行业网站seo主管我们网站有和楼主一样的情况，我也一直没有找到什么原因，求解中。

我们网站有和楼主一样的情况，我也一直没有找到什么原因，求解中。

你最好查下你的外链，是否有这种页面的外链。
一般造成这种情况的原因就是这种网页有外链引蜘蛛进入然后抓取的。
别的情况造成这种原因本人还没遇到过。

如果是谷歌，站长后台去清理抓取的404页面，告诉谷歌这些已经修复，他就不会再去爬了，然后301或者robot屏蔽。百度不知道怎么弄。