关于网站日志分析的一些问题

1、大家在分析网站日志的时候分析了哪些数据？（我目前在分析和统计的数据包括：总抓取量，停留时间，访问次数，每个小时蜘蛛访问的量，蜘蛛访问返回的代码，抓取目录。一个月一个表格和曲线）2、蜘蛛唯一抓取量和爬虫重复抓取率 这两个数据应该怎么得到？3、robot.txt 百度蜘蛛一直没有访问过，只有搜狗和谷歌蜘蛛每天来过。对于这个问题，有哪几方面的原因？最后求一个全面的网站日志分析心得。感谢！

http://ask.seowhy.com/question/55 也可以参考。

你也可以看看这篇文章，分析的不错：http://ask.seowhy.com/article/7242

1、网站的总体访问情况，包括所有的访问量，使用带宽情况等；
2、访问者关注的页面，访问者访问的URLS，点击了那些图片，视频，下载等，访问者在页面停留的时间等
3、访客来自哪些国家地区，访问的使用浏览器以及操作系统的情况等；
4、访客主要是通过哪些关键词，哪些搜索引擎以及哪些网站过来的；
5、网站广告投放情况，具体的显示，访问以及点击情况；
6、重点跟踪文件情况，可以查看总表以及按照日期查看；
7、访问出现错误的情况等。
一般也就这些