点击 206回答 4
2022-03-16 13:30
关于robots中的“*”通配符的使用问题![]() ![]() 由于网站是自研的程序,开设了很多圈子,圈子是由用户自己建立的,这里会出现一个问题,就是每个圈子都有一个发帖页面,由于量比较大,蜘蛛抓取也比较多,影响到网站整个抓取,现在想把这种发帖页面屏蔽掉,但有个问题:每个圈子发帖页面URL不同,如:圈子1发帖页面是:www.xxxx.com/g/yyy/bar/Edit圈子2发帖页面是:www.xxxx.com/g/bbb/bar/Edit圈子3发帖页面是:www.xxxx.com/g/ccc/bar/Edit。。。。圈子n发帖页面是:www.xxxx.com/g/ddd/bar/Edit请问下,如何屏蔽每个圈子www.xxxx.com/g/yyy/bar/Edit这种发帖页面?我的想法是 Disallow: /g/ * /bar/Edit * 这种方式对吗?跟robots中的“*”通配符的使用有冲突吗?
|