支持 0
反对 0
举报
2022-03-16 04:13
Disallow,是网站控制是否允许SEO搜索引擎收录文件Robots.txt中的一个词语。
例子: 1. 允许所有SEO收录本站:robots.txt为空就可以,什么都不要写。 2. 禁止所有SE收录网站的某些目录: User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/ 3. 禁止某个SE收录本站,例如禁止百度: User-agent: Baiduspider Disallow: / 4. 禁止所有SE收录本站: User-agent: * Disallow: / 它的用途是告诉上一子集,确定某个对象用的。 |
支持 0
反对 0
举报
2022-03-16 07:45
难道还有其他的意思?Disallow是Robots中的一个词语而已。字面意思是不接受,目的是禁止某搜索引擎抓取整个站点或者标注目录的内容。不过百度好像提过,为了用户体验,策略性抓取标题和描述的部分内容。
回答完发现陈大哥问题变了,个人理解意思为不出现在搜索结果中!理由有二。 一、如果百度真的遵守robots协议,不爬取,那么一个网站二级页面是不健康的内容,但首页没有违规,依然有排名,百度就有大问题了。所以不可能不爬行。 二、一些知名网站robots协议表明不允许任何搜索引擎抓取,但是搜索词依然有排名,比如“淘宝”。就想超市没有方便面卖一样,很多人找着个站点,找不到下次就不来了,为了用户百度也不可能真的完全不抓取! 个人见解而已,希望高手别喷。 |