推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 257回答 4 2022-03-16 09:45

robots文件屏蔽了动态链接,是不是就等于屏蔽了动态链接页面的其他页面

已解决 悬赏分:30 - 解决时间 2022-03-17 06:15
RTRTRT看不明白的MMMM
反对 0举报 0 收藏 0 打赏 0
最佳答案
支持 0 反对 0 举报 2022-03-16 10:11
RTRTRT看不...
支持 0 反对 0 举报 2022-03-16 11:06
这个要看你怎么屏蔽了,你可以看一下京东,它的是这样的:
User-agent: *
Disallow: /?*
Disallow: /pop/.html
User-agent: EtaoSpider
Disallow: /
Disallow: /
?* 这个是屏蔽了所有有?的链接,这个一般可以认为是所有的动态链接。
Disallow: /?* 这个是屏蔽了以?开头的url。
所以,你要看看你的URL特征吧,你想要屏蔽什么要样的,一般有很多人会屏蔽站内搜索形成的动态URL,还有一些不必要页面。
终于打完了~~~
支持 0 反对 0 举报 2022-03-16 12:05
是不是就等于屏蔽了动态链接页面的其他页面 你的意思是不是说等于屏蔽了动态链接页面上链接上的着陆页?例如我有个动态url页面uid? 这个页面有链接到其他页面例如。
如果是的话,那简单的说。是能被收录的,而uid?1这个页面不会被爬去,这样导致的问题是:这个页面如果只有uid?1提供入口,则该页面不能被百度“找到”。
解决方法:在其他页面给与链接。
支持 0 反对 0 举报 2022-03-16 13:23
Nofollow可以阻止传递权重/从本页抓取,但不能阻止收录
Robots.txt可以阻止收录,但不能阻止传递权重
所以如果那个动态页面上有其他页面的链接,那肯定是不被抓取的
但是只是说不能从动态页面上被抓取,如果那些链接再其他地方有展示,还是可能被抓取的
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报