支持 0
反对 0
举报
2022-03-16 11:06
这个要看你怎么屏蔽了,你可以看一下京东,它的是这样的:
User-agent: *
Disallow: /?*
Disallow: /pop/.html
User-agent: EtaoSpider
Disallow: /
Disallow: /?* 这个是屏蔽了所有有?的链接,这个一般可以认为是所有的动态链接。
Disallow: /?* 这个是屏蔽了以?开头的url。
所以,你要看看你的URL特征吧,你想要屏蔽什么要样的,一般有很多人会屏蔽站内搜索形成的动态URL,还有一些不必要页面。
终于打完了~~~
|