推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 225回答 6 2022-03-16 07:39

robots对蜘蛛究竟有没作用,为什么起不到效果?

已解决 悬赏分:0 - 解决时间 2022-03-16 23:22
做网站SEO有一段时间了,以前都不懂robots.txt的写法,后来听了老师们的讲课,就把网站robots.txt重新写了一下,增加了Disallow: /category.php?可以网站的日志看,搜索一直在爬这个动态页面,已经有一段时间了。2013-07-19 01:03:43 W3SVC86826192 222.191.251.202 GET /category.php id=45&brand=0 80 - 110.75.17.12 Mozilla/5.0+(compatible;+EtaoSpider/1.0;+http: //open.etao.com/dev/EtaoSpider) 200 0 02013-07-19 01:04:09 W3SVC86826192 222.191.251.202 GET /category.php id=7&brand=1&price_min=0&price_max=0&filter_attr=17526.0.18433 80 - 66.249.74.224 Mozilla/5.0+(compatible;+Googlebot/2.1;++http: //www.google.com/bot.html) 200 0 02013-07-19 01:07:08 W3SVC86826192 222.191.251.202 GET /category.php id=32&brand=0&price_min=0&price_max=0&filter_attr=0.1567.15811 80 - 220.181.108.107 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http: //www.baidu.com/search/spider.html) 200 0 0www.7ksw.com 网站天天都有更新,网站收录很差,很迷惘,麻烦老师们帮我分析一下。非常感谢!!
反对 0举报 0 收藏 0 打赏 0
最佳答案
支持 0 反对 0 举报 2022-03-16 08:27
做网站SEO有...
支持 0 反对 0 举报 2022-03-16 08:59
如果你要屏蔽所有类似的,你试试这样屏蔽:
Disallow: /

后面不带问号。
我怀疑你是否后面的问号格式与url的问号不一致。
去除了问号后, 后面的所有的都屏蔽了。

另外,如果你做了静态化,应该日志里有伪静态的URL的抓取,先确认下,有抓取静态的URL,然后去屏蔽动态的。一般1个月左右开始正式不抓取,不是马上。
支持 0 反对 0 举报 2022-03-16 09:49
建议直接把Robots.txt这个文件给删除了,或许会更好。利用百度站长平台工具重新生成一个,再提交。看了一下你的网站收录还算可以呀,建议你选择一个栏目,每天更新原创文章,其他的栏目也要一样也要更新,只不过,你所选的栏目中,更新的原创内容质量要高,并且与网站主题基本相符合,这样很快就能保持一个稳定的收录。
支持 0 反对 0 举报 2022-03-16 10:48
你确定你针对爬取你网站的引擎写对了写法?
支持 0 反对 0 举报 2022-03-16 11:53
对360有没有作用我就不知道了,不过对其他搜索引擎还是有做用的,如百度来说在修改Robots文件打开在一个月左右就会发生变化。
支持 0 反对 0 举报 2022-03-16 13:31
以为我,你现在不要忙着修改,再观察一些时间,因为搜索引擎对Robots协议的执行,要有一个时间过程的,等到你网站静态页面收录差不多了,再修改robots文件比较好!
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报