推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 274回答 9 2022-03-16 00:14

Robots文件里的Disallow是什么意思?

已解决 悬赏分:50 - 解决时间 2022-03-16 21:09
1、仅禁止搜索引擎抓取,不禁止建立快照;2、仅禁止搜索引擎建立快照,不禁止抓取;3、禁止搜索引擎抓取及建立快照;4、禁止搜索引擎抓取,并禁止因抓取建立的快照;禁止抓取和禁止建立快照二者在一些情况下是不同的。不知Disallow翻译成中文,那个解释更严密一些?
反对 0举报 0 收藏 0 打赏 0
最佳答案
支持 0 反对 0 举报 2022-03-16 00:21
1、仅禁止搜...
支持 0 反对 0 举报 2022-03-16 00:45
3、禁止搜索引擎抓取及建立快照;
在含义上我想没什么异议
但是在实际操作中,真的就这么听话不抓了?也不一定吧
支持 0 反对 0 举报 2022-03-16 02:16
我的理解是这样的,比如说:
User-agent:*(允许所有搜索引擎抓取)
比如:User-agent:baiduspider(只允许百度搜索引擎抓取)

Disallow:/(禁止对所有目录访问)
支持 0 反对 0 举报 2022-03-16 03:52
Disallow 简单翻译就是不准搜索引擎爬虫抓取。
快照是从搜索引擎的索引库中提取的,和抓取分属不同的环节。
支持 0 反对 0 举报 2022-03-16 04:13
Disallow,是网站控制是否允许SEO搜索引擎收录文件Robots.txt中的一个词语。
例子:
1. 允许所有SEO收录本站:robots.txt为空就可以,什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站,例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
它的用途是告诉上一子集,确定某个对象用的。
支持 0 反对 0 举报 2022-03-16 05:45
闫彬 表示很欣赏你的说法 人云亦云的说法都弱爆了 没有人知道搜索引擎自己的一个机制算法 都是凭猜测和试验 所以很多东西 根本就没有定论 不管对与错 敢于分析 提出自己的观点才是最有价值的回答 比如很多杀毒软件声称不会侵犯用户隐私 但是还是那么多人会去控诉窥探用户隐私 什么叫侵犯隐私 对于隐私侵犯是一个怎样的衡量标准 每个人看法都不一样 同样 什么是禁止 是一个怎样的标准 我想每个搜索引擎 都会有自己的一套私下的标准
支持 0 反对 0 举报 2022-03-16 06:31
很简单,就是禁止爬行,也就是抓取。
支持 0 反对 0 举报 2022-03-16 07:45
难道还有其他的意思?Disallow是Robots中的一个词语而已。字面意思是不接受,目的是禁止某搜索引擎抓取整个站点或者标注目录的内容。不过百度好像提过,为了用户体验,策略性抓取标题和描述的部分内容。
  回答完发现陈大哥问题变了,个人理解意思为不出现在搜索结果中!理由有二。
  一、如果百度真的遵守robots协议,不爬取,那么一个网站二级页面是不健康的内容,但首页没有违规,依然有排名,百度就有大问题了。所以不可能不爬行。
  二、一些知名网站robots协议表明不允许任何搜索引擎抓取,但是搜索词依然有排名,比如“淘宝”。就想超市没有方便面卖一样,很多人找着个站点,找不到下次就不来了,为了用户百度也不可能真的完全不抓取!
  个人见解而已,希望高手别喷。
支持 0 反对 0 举报 2022-03-16 08:58
3、禁止搜索引擎爬取及收录。 这个有什么延伸的问题?
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报