用光年日志分析电商战的日志发现抓取的页面就一百个

这科学吗，十几万行的网络日志来来回回抓的都是那一百个页面，这抓取量太坑爹了，收录都有减无增，还有目录抓取的页面来来回回也是那一百多个，大部分都找不到这个目录，都是404页面，通过查询网站根目录也没发现有这些目录，这到底是网站的问题还是光年日志的问题。。。附上网站www，ibuying.com，（以上所指都是百度蜘蛛的抓取）

其实你提的这个没必要太过多的去纠结，工具始终是工具，我们用它的目的主要就是起到一个参考的作用。看收录多少的话还是到百度站长工具里面的那个网站索引量里面去查看，好多网站都是索引了多少，收录就是多少的。

我觉得没有必要太纠结网站日志，现在百度站长工具就有很详细的提示，每天多观察一下那里面的数是否有异常，然后再根据提示去改正。

到底日志是什么没有具体的 谁也不清楚
1、可以分析下那100多个页面为什么抓取量那么高，外链、内链？
2、大多404是访客的还是百度的，如果是百度的，那要分析为什么百度会抓取到这些链接，是外链建设错误，还是网站程序错误，或者是访客伪装百度扫描的？
3、看看上下路径

Sorry，我的电脑不知为何装不了光年日志分析软件，所以回答下其他知识。
反复抓取重复页面是百度蜘蛛检查页面更新频率和有无新的内链，比如网站首页每天会爬几遍。
还有检查网站抓取数量可以使用百度站长平台的压力反馈工具，有百度蜘蛛1个月的抓取量趋势图。