明明使用robots禁止了所有搜索引擎抓取，但是为什么还是收录了？

明明使用robots禁止了所有搜索引擎抓取，但是为什么还是收录了？我已经屏蔽搜索引擎几天了，就在刚才突然发现1个小时前被收录了。。。这是什么原因？求解！！！

不知道你说的几天具体是几天。
一般Robots生效时间应该是两三天吧，有的还是一周。
若是超过一周了还是如此，那就参照@袭明 的说法去做。更再不行就投诉。

看起来是一个无关紧要的现象，问题不大，但其实我们也可以认真一下。

Robots规则没有问题的话，我觉得可能以下情况：
1、蜘蛛还没有抓取到Robots
2、蜘蛛不遵守规则（这个可能性比较小）
3、Robots需要调整，一般屏蔽全站，该规则可以放在最前端（也就是重要的放前面）。
做一下调整，然后需要一些时间。

请楼下补充和发表高见！
……

因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的Robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。

反馈地址 zhanzhang .

屏蔽网站Robots文件写法：
User-agent: *
Disallow: /

这样蜘蛛是会收录首页的，其他页面肯定不会收录。收录首页搜索结果的标题是域名，描述应该是robots.txt已阻止蜘蛛的访问。

谷歌也是这样的。

楼上的几位说的不敢苟同，个人觉得很明显的淘宝现象，百度官方对于这个有解释的，也就是蜘蛛是顺着链接爬行的，对于禁止的可以不抓你的内容，但是有用户需求的仍旧会建议索引。

1. 搜索引擎抓取与收录的是两个不同的概念。
2. 如果您的网页仍显示在搜索结果中，可能是因为在您添加修改Robots后搜索引擎尚未抓取过您的网站.修改生效时间一周以内。
3. 蜘蛛不会抓取 robots.txt 拦截的网页内容或将其编入索引，但如果其在网络上的其他网页中发现这些内容，仍然会将这些网页的网址编入索引。

8 年前 赞同 0 评论 0 收藏 举报

刘振兴 · 搜外论坛咨询区版主 微信&QQ：870837079

Robots修改生效时间很长，一般1-3个月的时间。