点击 225回答 5
2022-03-16 22:39
【求救】急,百度蜘蛛把我服务器搞垮了,呜呜呜~~![]() ![]() 我的是DeDeCMS动态页网站(用了URL重写),至于为什么不静态化,就是因为文章数量上百万,按5秒钟生成一篇文章计算,那得一个多月才能把整站静态化完成,谁受得了?建站20多天了,百度收录3页(一大堆还没放出来),前段时间百度蜘蛛每天来200次都不到,昨天下午开始百度蜘蛛来势迅猛,守住一个栏目不走,几乎是要把栏目下的文章都踩一遍,直接把我往死里弄-_-!现在是早上6:20,查看日志发现百度蜘蛛已经在我的网站折腾了4000多次。到现在我打开网站都一直处于请求状态打不开,或者过了几分钟分钟以后才缓慢打开。服务器CPU占用56%~100%,经常飙到80%以上,但内存只用了700M,3G空闲(4核4G服务器)。为此我在robots婉拒了目前在中国混的半死不活的Google(谷歌机器人一天来1800次),但情况基本上没有什么改变。现在我该怎么办?求大神支招!我是要先把百度蜘蛛赶走吗?拒绝百度蜘蛛后果是什么?半个月后解禁它对待网站的态度是怎样的?还会经常来吗?还是到时候连请都请不来?我目前正在用多台VPS生成静态页,没个十几天估计完成不了,那位大神有快速生成静态页的方案也可以提供一下,可以有偿提供。下面是我的网站日志分析截图,截止至早上6:20,还意外地第一次看到了所谓的沙盒蜘蛛。7月24日补充:今天百度蜘蛛来访16000次,用楼下给我的那个蜘蛛分析软件判断过了,确实是百度蜘蛛,没办法,只能花血本换了个性能较好的服务器。
|