是百度不支持robots 还是我写错了

robots 禁止抓取包含list的链接，百度仍然抓，是我写错了吗？ 日志分析工具看的 查了下 日志 ip 确实是百度的蜘蛛 追加问题 Robots 举报 2014-09-25 发布3,146 次浏览 最新问题 怎么从服务器设置屏蔽某个地区IP？比如要屏蔽北京的(55 秒前) SEO优化黑帽白帽那个属于快排优化？(2 分钟前) 站长工具查询不显示词了，大家的会显示吗(5 分钟前) 搜外内容管家，必须使用里面的关键词挖掘生成的词库吗？(7 分钟前) 网站如何刷流量最安全稳定？(11 分钟前)   一般做一个企业网站，收费多少(12 分钟前) 百度竞价和网站优化，哪个好？(15 分钟前) 织梦系统建站怎么修改标题标签？(16 分钟前) 爱站工具包中的关键词完成率检测是什么意思(21 分钟前) 新网站两天就收录了，怎么样？(24 分钟前) .question-ccx {display: flex;width: 100%;margin: 0 auto;padding: 0;}.question-ccx .sw-area {width: 50%;padding: 12px 26px 10px 26px;box-shadow: none;float: left;}.question-ccx .sw-area ul li {padding: 3px 0;white-space: nowrap;text-overflow: ellipsis;overflow: hidden;display: flex;}.question-ccx .sw-area ul li a{white-space: nowrap;text-overflow: ellipsis;overflow: hidden;}.question-ccx .sw-area span {color: #999;}.question-ccx .side-reward span {color: #ec5a12;}.question-ccx .sw-area .mod-head {padding-bottom: 5px;}.question-ccx .side-reward {border-left: 1px solid #e0e8ee;float: right;}.question-ccx .sw-area ul li:nth-child(5) {display: none;}.ccx-question { border: 1px solid #e4eaee; overflow: hidden; padding: 20px 0; display: flex; width: 100%;}.ccx-new-question { width: 50%; padding: 0 20px;}.ccx-new-question li { height: 36px; line-height: 36px; border-bottom: 1px dashed #e2e2e2; white-space: nowrap; text-overflow: ellipsis; overflow: hidden;}.ccx-new-question li:last-child { border-bottom: none;} 分享到微信 收藏 关闭 没有找到相关结果 已邀请: --> .ccx-img {padding: 0; margin: 0 auto; width: 100%;position: relative;} .ccx-img_l {float: left; width: 49%;} .ccx-img_r {float: right;width: 49%;} .ccx-img img {width: 100%;border-radius: 8px;} 交换友情链接，就用搜外友链，方便！ 3 人参与回答 刘 成http://seo.seowhy.com/robot/用这个查询试试

http://seo.seowhy.com/robot/用这个查询试试

Robots设置后，百度搜索蜘蛛识别需要一段时间。现在爬行，估计是这个文件蜘蛛还没有识别。
至于robots文件设置是否正确，可以使用百度站长平台的 Robots检测下。

7 年前 赞同 0 评论 0 收藏 举报

无言 · 目标是全端工程师，无言

你是没写User-agent: *
还是没截图