网站日志记录了蜘蛛和访客访问网站的情况，数据有非常重要的意义！无论从用户行为还是蜘蛛行为两方面分析都能得到很好的参考数据。
从蜘蛛角度分析日志时
一般直观得到 蜘蛛访问次数 蜘蛛停留时间 蜘蛛抓取量 与 蜘蛛返回码
可以计算得到 蜘蛛平均停留时间 蜘蛛平均抓取量 蜘蛛唯一抓取量 蜘蛛重复抓取率
我们知道 网站的收录与蜘蛛抓取非常相关 抓取量大说明网站页面受到蜘蛛的喜欢
所以：
1.抓取量与平均抓取量的提升与下降 可以看出网站的结构情况 蜘蛛总访问量说明网站的规模
2.平均停留时间说明蜘蛛爬行一个页面花费，减少这个时间无疑对网站有重要意义
3.唯一抓取量的数据，可以分析出网站是否让蜘蛛不断爬行无效页面 是否浪费很多蜘蛛 从蜘蛛重复率也是同理 重复抓取并不能让收录量提升 而收录量与网站整体权重与排名 和流量有很大关系
4.蜘蛛抓取间隔时间，这个在日志中可以看到，会从间隔时间的变化分析出网站在服务器端的问题
5.结合网站流量趋势 蜘蛛爬取趋势图 大幅度减少流量是不正常的 而在不正常的情况下同时间段的蜘蛛爬行也会出现异常 如返回码是否增加 服务器是否稳定等等。
6.网页加载速度的提升会减少蜘蛛平均停留时间 增加平均抓取量
7.还有一点 搜索引擎在更新时，蜘蛛会出现异常，比如算法更新时，蜘蛛总访问还是不断增加的
还有什么请补充
9 年前
赞同 8
评论 1
收藏
举报
网天下
孙越 等 1 人赞同该回答
(一)蜘蛛访问的次数、停留时间以及抓取的数量。
1、平均每次抓取页面数=总抓取量/访问次数
2、单页抓取停留=每次停留/每次抓取
3、平均每次停留时间=总停留时间/访问次数
以上三点载自百度百科。
从这些数据中我们可以很好的看出百度蜘蛛在我们网站上的活跃度、是否亲和，以及我们网站内容抓取的深度等等有效的数据。当我们网站中总的访问频次、蜘 蛛停留的时间，以及网站抓取程度的是否高，从这些都是可以看出我们网站是否受到蜘蛛的喜爱。并且在我们单页面的蜘蛛停留时间的长短也可以看出我们的文章页 面是否受蜘蛛的喜爱。
小提示：如果你想要长期发展一个网站的话，小编建议各位定期的整理出网站数据报表，这样对我们网站的发展也会有着很好的帮助。
(二)网站目录蜘蛛抓取的统计。
通过网站日志的分析，可以很好的看出我们的哪些目录比较受蜘蛛的喜爱，蜘蛛经常抓取收录，并且给予的排名权重状况。并且我们可以通过这些数据能够发现 很多问题，对于我们想要突出的栏目可以通过内部结构来进行指向，从而有效的增加栏目的权重和蜘蛛抓取的程度。对于那些我们不希望蜘蛛抓取的页面，也可以进 行屏蔽。
(三)网站页面的抓取。
通过日常的日志分析统计中，我们可以看出哪些网站页面比较受蜘蛛的喜爱，并且可以了解到蜘蛛在这些页面的抓取行为，例如说蜘蛛是否抓取了一些没有被收 录价值的页面，或者重复的抓取了一些页面等，大家都知道这样会影响到我们网站其他页面的权重传递的。就比如说小编的网站皮肤栏目通常就要比名字栏目抓取的 勤快，收录健康程度也较好，所以小编现在定期在名字栏目的文章中添加进入一些图片，不仅仅美观还有效的提升了名字栏目文章的收录，所以通过分析，我们可以 屏蔽蜘蛛抓取这些没有价值的页面，也有效的提高了我们其他页面权重的传递，并且学习蜘蛛比较喜爱的页面优点来补充其他页面的不足。
(四)了解蜘蛛是否访问我们的页面以及访问页面的状态代码。
很多朋友的网站主页快照经常不正常，网站发布的文章也经常不收录，面对这样的情况我们都会想蜘蛛有没有到我们的网站抓取。这时候我们也可以通过网站日 志来看是否有蜘蛛IP的记录就可以了解蜘蛛是否来爬行我们的网站，从而判断是否是我们网站质量的原因导致不收录。并且也可以看出蜘蛛访问我们网站页面的状 态代码，例如说301、503、403等，当出现这样情况的时候，我们尽早做处理，以免成为网站降权的隐患。
(五)了解蜘蛛抓取的时间段。
通过日常日志分析总结中，你会很奇妙的发现一件事，那就是蜘蛛会在每天的一个特定时间内在网站爬行抓取的很活跃，当我们了解到这样的情况，我们就可以再特定的时间去更新网站内容，这个可以更加有效的让蜘蛛抓取我们网站内容，从而达到一个秒收的效果。
总结：如果一个网站想要长久发展的话，站长们一定要学会分析网站日志，从而了解网站每天的健康状况，并且发现异常情况的时候即使改正，这样不仅仅对网 站有很大的帮助，还有效的防止网站因为这些异常引发的降权、被K等现象。
根据不同的IP我们可以分析网站是个怎样的状态.下面就按照我IIS日记上的百度蜘蛛IP为例:
这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
每天这个IP 段只增不减很有可能进沙盒或K站。
、 代表百度蜘蛛IP造访，准备抓取你东西。
这个ip段作为度过新站考察期。
这个ip段出现在新站及站点有不正常现象后。
这个ip段不间断巡逻各站。
广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
这个是百度抓取首页的专用IP，如是段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。
同上98%抓取首页，可能还会抓取其他 (不是指内页)段属于权重IP段此段爬过的文章或首页基本24小时放出来。
抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。
重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。
专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
专用抓首页IP 权重段，一般返回代码是304 0 0 代表未更新。
抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
注：以上IP尾数还有很多，但段位一样的段IP 代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.(意思也就是说待定)。
段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证!
一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。
分析网站日志 无非就是观察IP,某个IP掌握着你网站的生死大权 呵呵
已解决
悬赏分：10
- 解决时间 2022-03-16 10:47
