点击 176回答 3
2022-03-16 08:35
360搜索采用匿名蜘蛛抓取网站,元芳你怎么看?![]() ![]() 理论上每一个搜索引擎都有自己特定的蜘蛛,但是我发现360搜索虽然公布了自己的蜘蛛,但是实际上一直采用匿名蜘蛛的方式来抓取网站,你们怎么看?另外,360曾经真的使用蜘蛛爬行过,后来改成匿名的了,看这里我曾经抓取过的360搜索蜘蛛的样子:http://liboSEO.com/1267.htmlTips.用搜索引擎搜索 http://ie.icoa.cn 在搜索结果里能看到蜘蛛的样子。
|
支持 0
反对 0
举报
2022-03-16 09:59
这个应该不是判断爬虫的方式吧?是检测浏览器内核的方式。原因是:
8月份,360低调推出「360搜索+」,取代掉之前的「综合搜索」,因为搜索质量高加之360浏览器巨大的流量引入,迅速占据了搜索引擎的市场。随后3B大战的一触即发,比较典型的动作是百度知道对360做拦截,提醒用户进行跳转。拦截的方式判断用户的UA字段,如果是360浏览器则进行拦截,360方面则通过修改 UA 字段来跳过百度的检测,防止被百度封杀掉。 这一点可以从百度统计流量研究院里面看到: 360浏览器8月份之前的份额与9月份之后的份额对比,是明显的下降,不是因为使用360浏览器的用户减少,而是百度识别不出来使用360浏览器的用户。 |