为什么蜘蛛喜欢去爬取一些错版的页面？和一些错误的页面

在查看网络日志时看到百度蜘蛛与搜狗蜘蛛喜欢去爬取一些错版的页面或者目录？错版的页面对于SEO的影响是什么？日志显示蜘蛛爬取的页面准不准确，为什么蜘蛛喜欢去爬取类似于这种页面？

不是蜘蛛喜欢爬去错误页面，是因为都爬取了，在返回的结果显示错误的一些状态码，你在日志里感觉她喜欢而已。日志要进行分析的，有些可能是由于当时蜘蛛访问的时候打不开，并不是错误的页面的；错误页面多了影响，网站的权重的，因为用户体验不好！

很简单，是因为有链接……程序不完善造成的，应该尽力避免这些页面的链接出现。

这个不是说是蜘蛛喜欢去爬错误的页面和错版的页面 它是每个页面都会去爬取的， 当然你想解决这种困惑 在Robots.txt里面添加 Disallow: /目录url 或者错误页面地址 在等上半个月左右就可以啦 应为百度对robots屏蔽的东西要半个月左右才能反映过来