动态robots写作问题，求教 推荐热议

阿门，是这样的：我有一个网站，该站有十余个主栏目，各个分类下又有几十或者几百不等的下级栏目。其URL规则如下：主栏目：/category.php?catid=2最后的数字2，可以是任意阿拉伯数字。 下级栏目：/category.php?catid=83&areaid=4&sex=2&education=3/category.php?catid=91&areaid=4&sex=2/category.php?catid=96&areaid=17&pet_class=4/category.php?catid=101&areaid=4/category.php?catid=138&areaid=4/category.php?catid=76&areaid=2&sex=2&education=3&graduate=2/category.php?catid=11&areaid=15&from=1&new_old=2/category.php?catid=149&new_old=3/category.php?catid=148&areaid=2&from=2/category.php?catid=28&car_type=1&car_brand=2/category.php?catid=28&areaid=4&car_type=1&car_brand=2&car_year=2/category.php?catid=29&areaid=3&truke_type=2这些细分类的URL结构为：**/category.php?catid=（主栏目ID，数字）+二级分类ID+三级分类ID....**如上那么，我仅仅希望百度抓取主栏目的URL，而主栏目其下的二级、三级乃至多级栏目，这些细分类多的打几百个类别，但是都想用robots屏蔽之。请问如何写？琢磨或者朋友指导的写法如下： 纠结半天了，请教各位还有更加完善的写法么？以上写法是否正确？ 追加问题 Robots URL结构 PHP 举报 2014-08-28 发布4,504 次浏览 最新问题 竞价推广越来越多，seo优化还有用吗？(6 分钟前) 网站文章被大量抓出htm页面，htm是打不开的404死链。html才是正常的(6 分钟前) 网站地图安装后出现错误链接太多咋回事？(8 分钟前) 百度推广展现突然下降是怎么回事啊(9 分钟前) 百度蜘蛛太少了。怎么样才能有更多的百度蜘蛛呢(12 分钟前)   请问网站site：搜索第一个不是网站首页，网站是不是降权了；如何判断友链交换对网站有消极影响？(15 分钟前) 网站固定流量怎么利用流量赚钱？(15 分钟前) 新手学习SEO如何快速入门？(25 分钟前) 一个老网站的关键词排名都很好，为什么在爱站，站长上面查看不到上面流量，这是什么缘故？(29 分钟前) seo优化那款工具可以查询外链情况？(32 分钟前) .question-ccx {display: flex;width: 100%;margin: 0 auto;padding: 0;}.question-ccx .sw-area {width: 50%;padding: 12px 26px 10px 26px;box-shadow: none;float: left;}.question-ccx .sw-area ul li {padding: 3px 0;white-space: nowrap;text-overflow: ellipsis;overflow: hidden;display: flex;}.question-ccx .sw-area ul li a{white-space: nowrap;text-overflow: ellipsis;overflow: hidden;}.question-ccx .sw-area span {color: #999;}.question-ccx .side-reward span {color: #ec5a12;}.question-ccx .sw-area .mod-head {padding-bottom: 5px;}.question-ccx .side-reward {border-left: 1px solid #e0e8ee;float: right;}.question-ccx .sw-area ul li:nth-child(5) {display: none;}.ccx-question { border: 1px solid #e4eaee; overflow: hidden; padding: 20px 0; display: flex; width: 100%;}.ccx-new-question { width: 50%; padding: 0 20px;}.ccx-new-question li { height: 36px; line-height: 36px; border-bottom: 1px dashed #e2e2e2; white-space: nowrap; text-overflow: ellipsis; overflow: hidden;}.ccx-new-question li:last-child { border-bottom: none;} 分享到微信 收藏 关闭 没有找到相关结果 已邀请: --> .ccx-img {padding: 0; margin: 0 auto; width: 100%;position: relative;} .ccx-img_l {float: left; width: 49%;} .ccx-img_r {float: right;width: 49%;} .ccx-img img {width: 100%;border-radius: 8px;} 交换友情链接，就用搜外友链，方便！ 9 人参与回答 夫唯·搜外网创始人，专注SEO和小程序谢恒崧、华声听力、张玉淦、黎亦峰等 4 人赞同该回答认真思考了@邓立博 门老师的问题。分析了Robots.txt用法的范例，发现一般用到 * 的时候，一个语句里只用一次，下图示：综合思考，建议你这个情况可以按如下写法，先允许10个主栏目，然后屏蔽所有。allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/disallow:/研究下图发现星号的用法： 查看下图第例7条： 7 年前赞同 4评论 1收藏举报 陈鹏超·程序猿！seo童鞋需要建站或建站问题可以加我QQ1061331751（注明：搜外问答平台）赞同夫唯老师的解决方案！我的看法：从语法的角度解释一个‘星号’代表的是‘任何字符’，那么一句代码中出现2个或3个星号又有何意义（1个以上效果难道不是一样）？

认真思考了@邓立博 门老师的问题。

分析了Robots.txt用法的范例，发现一般用到 * 的时候，一个语句里只用一次，下图示：

综合思考，建议你这个情况可以按如下写法，先允许10个主栏目，然后屏蔽所有。
allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/disallow:/
研究下图发现星号的用法：

查看下图第例7条：


7 年前 赞同 4 评论 1 收藏 举报

陈鹏超 · 程序猿！seo童鞋需要建站或建站问题可以加我QQ1061331751（注明：搜外问答平台）

赞同夫唯老师的解决方案！

我的看法：从语法的角度解释一个‘星号’代表的是‘任何字符’，那么一句代码中出现2个或3个星号又有何意义（1个以上效果难道不是一样）？

其实你朋友给你的第一种和第二种写法都可以达到你的目的。

个人偏向认为：
Disallow:*?*
Disallow: /*?*
Disallow: /areaid=/*?*

上面这个是动态的，这样应该也可以解决。

帮你顶一下 希望有人可以帮到你！