关于百度蜘蛛爬取路径不完整的问题

有没有碰到一个问题，百度在爬取我们网页的时候路径不完整：比如：你的路径是 /food/article/1000001/ 百度却爬取 /food/article/1000001 你的路径是 /news/2012_11_08/133707_0/ 百度却爬取 /news/2012_11_08/1337这样一来，百度抓取的结果返回的都是 404 ，我想对网站肯定是有影响的。首先可以保证这个不是内链造成的（我们的内链都是规范化的，也检查过），想问大家有没有出现过这种情况，怎么解决的？

你好，这个问题属于正常现象，几乎每一个网站都会出现这样的情况。

原因没有出在你这，而是百度蜘蛛抓取你的页面后，需要获取页面链接，在获取链接的时候，总是在偷懒，很多链接抓取一半或者还没有抓取完就跑了。

我们唯一能改善的就是减少页面体积，让蜘蛛抓取更快一点。

但是你的链接结构不是很合理2012_11_08/133707_0/为什么不自己20121108/1337070/？？

最好统计一下数量，看一下有没有什么规律可循。贴一段日志代码出来给大家看看。