推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 176回答 3 2022-03-16 08:35

360搜索采用匿名蜘蛛抓取网站,元芳你怎么看?

已解决 悬赏分:30 - 解决时间 2022-03-17 08:55
理论上每一个搜索引擎都有自己特定的蜘蛛,但是我发现360搜索虽然公布了自己的蜘蛛,但是实际上一直采用匿名蜘蛛的方式来抓取网站,你们怎么看?另外,360曾经真的使用蜘蛛爬行过,后来改成匿名的了,看这里我曾经抓取过的360搜索蜘蛛的样子:http://liboSEO.com/1267.htmlTips.用搜索引擎搜索 http://ie.icoa.cn 在搜索结果里能看到蜘蛛的样子。
反对 0举报 0 收藏 0 打赏 0
最佳答案
支持 0 反对 0 举报 2022-03-16 09:50
理论上每一...
支持 0 反对 0 举报 2022-03-16 09:59
这个应该不是判断爬虫的方式吧?是检测浏览器内核的方式。原因是:

8月份,360低调推出「360搜索+」,取代掉之前的「综合搜索」,因为搜索质量高加之360浏览器巨大的流量引入,迅速占据了搜索引擎的市场。随后3B大战的一触即发,比较典型的动作是百度知道对360做拦截,提醒用户进行跳转。拦截的方式判断用户的UA字段,如果是360浏览器则进行拦截,360方面则通过修改 UA 字段来跳过百度的检测,防止被百度封杀掉。

这一点可以从百度统计流量研究院里面看到:

360浏览器8月份之前的份额与9月份之后的份额对比,是明显的下降,不是因为使用360浏览器的用户减少,而是百度识别不出来使用360浏览器的用户。
支持 0 反对 0 举报 2022-03-16 11:09
我感觉楼上说的是一部分原因,另一部分原因是技术没有达到gg或百度那样的阶段,所以采用这种方式。
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报