点击 225回答 6
2022-03-16 07:39
robots对蜘蛛究竟有没作用,为什么起不到效果?![]() ![]() 做网站SEO有一段时间了,以前都不懂robots.txt的写法,后来听了老师们的讲课,就把网站robots.txt重新写了一下,增加了Disallow: /category.php?可以网站的日志看,搜索一直在爬这个动态页面,已经有一段时间了。2013-07-19 01:03:43 W3SVC86826192 222.191.251.202 GET /category.php id=45&brand=0 80 - 110.75.17.12 Mozilla/5.0+(compatible;+EtaoSpider/1.0;+http: //open.etao.com/dev/EtaoSpider) 200 0 02013-07-19 01:04:09 W3SVC86826192 222.191.251.202 GET /category.php id=7&brand=1&price_min=0&price_max=0&filter_attr=17526.0.18433 80 - 66.249.74.224 Mozilla/5.0+(compatible;+Googlebot/2.1;++http: //www.google.com/bot.html) 200 0 02013-07-19 01:07:08 W3SVC86826192 222.191.251.202 GET /category.php id=32&brand=0&price_min=0&price_max=0&filter_attr=0.1567.15811 80 - 220.181.108.107 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http: //www.baidu.com/search/spider.html) 200 0 0www.7ksw.com 网站天天都有更新,网站收录很差,很迷惘,麻烦老师们帮我分析一下。非常感谢!!
|