推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 218回答 9 2022-03-16 00:12

robots如何屏蔽动态链接?

已解决 悬赏分:0 - 解决时间 2022-03-16 03:27
sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192141sh.xxx.com.cn/bbs/topic/121498.html?postuid=11192148网站上有很多这样的链接,我现在不想让搜索引擎抓取html后面的信息,我改怎样屏蔽。我想屏蔽?postuid=11192141这样的链接后缀,我应该在robots.txt里面怎么写,这两种写法哪个正确:Disallow: /postuidDisallow: /bbs/topic/.html?postuid=请大神们帮忙看一下
反对 0举报 0 收藏 0 打赏 0
最佳答案
支持 0 反对 0 举报 2022-03-16 00:18
sh.xxx.com....
支持 0 反对 0 举报 2022-03-16 01:19
同意王丹同学的,Disallow: /? 禁止所有引擎抓取网站所有动态页面,我一直在使用这屏蔽获取动态url
支持 0 反对 0 举报 2022-03-16 02:47
百度搜索帮助中心看到的,编辑了下,以符合您网站的结构。

//第1种
//使用"$"限制访问url,仅允许访问以".html"为后缀的URL。
User-agent: *
Allow: *.html$
Disallow:
//第2种
//禁止访问网站中所有的动态页面
User-agent: *
Disallow: 星号问号星号
支持 0 反对 0 举报 2022-03-16 03:37
都是几年前的评论啊,现在是不是都是大神啊??!
支持 0 反对 0 举报 2022-03-16 03:42
可以使用通配符:
Disallow: /星号?postuid=星号

这个最精确
或者直接使用:
Disallow: /星号?星号
屏蔽所有动态页面

好像搜问编辑一下星号就消失了……
支持 0 反对 0 举报 2022-03-16 04:24
按照你的思路是:是可以允许抓取的。

allow:: /bbs/topic/*.html

Disallow: /bbs/topic/*.html?postuid= *

这个只是禁止了带有?postuid=的网址,如果带有其他动态后缀的无法屏蔽了。
支持 0 反对 0 举报 2022-03-16 04:58
Disallow:/*? 禁止所有引擎抓取网站所有动态页面
支持 0 反对 0 举报 2022-03-16 06:35
应该这样写
User-Agent: *
allow: /bbs/topic/.html$
Disallow: /bbs/topic/
.html*
支持 0 反对 0 举报 2022-03-16 06:50
User-Agent: *
Disallow: /bbs/topic/.html?postuid=

这是
禁止所有引擎抓取网站bbs目录下的topic目录下的文件名为.html的并且参数以postuid=开头的动态页面

http://tool.seowhy.com/robot 检测用这个
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报