推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 206回答 4 2022-03-16 13:30

关于robots中的“*”通配符的使用问题

已解决 悬赏分:0 - 解决时间 2022-03-16 17:25
由于网站是自研的程序,开设了很多圈子,圈子是由用户自己建立的,这里会出现一个问题,就是每个圈子都有一个发帖页面,由于量比较大,蜘蛛抓取也比较多,影响到网站整个抓取,现在想把这种发帖页面屏蔽掉,但有个问题:每个圈子发帖页面URL不同,如:圈子1发帖页面是:www.xxxx.com/g/yyy/bar/Edit圈子2发帖页面是:www.xxxx.com/g/bbb/bar/Edit圈子3发帖页面是:www.xxxx.com/g/ccc/bar/Edit。。。。圈子n发帖页面是:www.xxxx.com/g/ddd/bar/Edit请问下,如何屏蔽每个圈子www.xxxx.com/g/yyy/bar/Edit这种发帖页面?我的想法是 Disallow: /g/ * /bar/Edit * 这种方式对吗?跟robots中的“*”通配符的使用有冲突吗?
反对 0举报 0 收藏 0 打赏 0
最佳答案
支持 0 反对 0 举报 2022-03-16 14:29
由于网站是...
支持 0 反对 0 举报 2022-03-16 15:57
Disallow: /g/ * /bar/Edit
如果不确定可以使用百度站长工具的Robots工具再确认一遍!
支持 0 反对 0 举报 2022-03-16 16:36
建议认真阅读以下百度百科对于Robots的词条。
支持 0 反对 0 举报 2022-03-16 17:50
Disallow: /g/yyy*/bar/Edit

上面的应该是正确的,对于Robots,其实就是正则匹配的一个简单的应用。
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报