推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 194回答 3 2022-03-16 10:09

百度蜘蛛抓取首页的比例太少,是否正常?

已解决 悬赏分:80 - 解决时间 2022-03-17 01:22
今天看日志分析,发现比如百度抓取13000,但是首页百度却只抓取了13个,这个是为什么啊?为什么首页百度却只抓取比例太少?这个正常吗?原因在哪里?
反对 0举报 0 收藏 0 打赏 0
最佳答案
支持 0 反对 0 举报 2022-03-16 10:26
今天看日志...
支持 0 反对 0 举报 2022-03-16 11:14
仅从首页抓取数量是看不出有没有问题的,先看下当天有多少个不同IP段的baiduspider来访,正常情况下应该和首页抓取次数相差不多,也就是说每个蜘蛛平均抓取首页1次。

另外不一定首页抓取次数少就有问题,假设你网站首页抓取次数1000,但每天来访的蜘蛛就20个,掐指一算,平均每个蜘蛛抓取首页50次!哇~这重复抓取率也忒高了。

另一种情况就是首页抓取次数远小于蜘蛛数量,这一般有两种可能:第一种是网站首页基本不咋更新;第二种如果内页抓取次数跟首页一样在减少,在分析是因为服务器阻塞了?网站有过更改?还是降权了......

(ps:以上情况要看整体趋势,一两天证明不了啥)
支持 0 反对 0 举报 2022-03-16 11:55
1.首页大部分会是蜘蛛抓取网站的入口
2. 进来之后如果没有有效的内链系统,蜘蛛会一直抓取下级页面直到抓到底就离开
3. 所以从首页抓取次数可一大致的直到蜘蛛每天来访几次,这也是蜘蛛的抓取频率,能做什么大家都懂得。
4. 分析日志最好人工吧,你这样很多问题找不出来。
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报