如何按数字大小编写Robots规则

网站的URL是从/1.html到/10,000.html如果我希望/1.html到/5,000.html禁止收录，而/5,001.html到/10,000.html不受影响。请问如何用Robots来实现这个效果？--------------------------------------补充----------------------------------------------之前没想写太多，不过有人问了，就说一下为什么要屏蔽1.html到5000.html。出于某种原因的 考虑，1.html-5000.html每个URL对应的页面有多个URL。这1.html-5000.html也是不想让用户访问的。所以，想屏蔽这5000个URL。在robots中没有方法可以实现按数字大小的规则禁止收录吗？

考虑把1-5000和5001-10000放到两个文件夹中。屏蔽文件夹。

用excel生成一个列表，然后写入Robots.txt

8 年前 赞同 1 评论 2 收藏 举报

顺时

人的一生最宝贵的是真诚的朋友，让我们的友情烘托着灿烂的朝阳，在生命的海浪上闪耀出眩目的光芒

可以借鉴 学习

能不能够利用程序自动在所有出现“URL是从/到/”的这些链接的地方加上Nofollow标签？

单纯Robots.txt掉的话，那些“URL是从/到/”的页面上还有“URL是从/到/”的页面上的链接，robots了也无效的吧。

这一万页面就真的都是统一的目录或者URL结构么？

Disallow: Disallow: Disallow: ...
Disallow: 5.html
Disallow: 4.html
Disallow: 3.html
Disallow: 2.html
Disallow: 1*.html

类似、拉列表吧——这样也不少啊。

URL结构没差别的话，所属页面是否可以增加Nofollow？

将1到5000网页改到目录a
再使用正则表达式301重定向到目录a
然后设置Robots.txt
Disallow: /a/

这么多的页面链接要禁止收录
为什么？文章页面要这么多屏蔽 是什么原因导致你要屏蔽 要搞清楚这个

一般的文章页面 不可能也没有理由去屏蔽这么多类似的文章页面
可以通过其他方法来处理

@陈红然 大哥的方法简单易用。直接excel拉个列。不过拉了5000个数量也比较麻烦。当然也可以简单的写个c语言if不断的输出，然后保存的txt里面。 文件夹的形式个人感觉从网站结构上行不通~~~

有个办法，也是有点麻烦，就是为了1到5000的页面利用META元标签单独设置Robots访问规则。上面楼主说的“考虑把1-5000和5001-10000放到两个文件夹中。屏蔽文件夹。”方法挺简单的。