搜索引擎抓取大量的404该如何处理

搜索引擎抓取大量的404该如何处理？ 已经做了处理，为什么百度还抓取？ 追加问题 404页面 百度收录 举报 2014-10-22 发布4,157 次浏览 最新问题 有大神说一说收录量和外链在SEO优化中的占比吗(1 分钟前) 个人做什么网站好？(9 分钟前) 多个sitemap文件该如何处理？ (10 分钟前) 如何管理Sitemap和死链文件？(25 分钟前) 请在某某日期内删除超出站点配额的历史sitemap文件，这是什么意思？(37 分钟前)   六西格玛证书有什么作用？(41 分钟前) 现在的网站好难做啊(42 分钟前) nofollow标签会有什么效果？建议加吗(45 分钟前) 网站导航栏目多,如何选择性地加nofollow代码呢?(51 分钟前) 网站的栏目加上了nofollow会不会影响该栏目的收录？(55 分钟前) .question-ccx {display: flex;width: 100%;margin: 0 auto;padding: 0;}.question-ccx .sw-area {width: 50%;padding: 12px 26px 10px 26px;box-shadow: none;float: left;}.question-ccx .sw-area ul li {padding: 3px 0;white-space: nowrap;text-overflow: ellipsis;overflow: hidden;display: flex;}.question-ccx .sw-area ul li a{white-space: nowrap;text-overflow: ellipsis;overflow: hidden;}.question-ccx .sw-area span {color: #999;}.question-ccx .side-reward span {color: #ec5a12;}.question-ccx .sw-area .mod-head {padding-bottom: 5px;}.question-ccx .side-reward {border-left: 1px solid #e0e8ee;float: right;}.question-ccx .sw-area ul li:nth-child(5) {display: none;}.ccx-question { border: 1px solid #e4eaee; overflow: hidden; padding: 20px 0; display: flex; width: 100%;}.ccx-new-question { width: 50%; padding: 0 20px;}.ccx-new-question li { height: 36px; line-height: 36px; border-bottom: 1px dashed #e2e2e2; white-space: nowrap; text-overflow: ellipsis; overflow: hidden;}.ccx-new-question li:last-child { border-bottom: none;} 分享到微信 收藏 关闭 没有找到相关结果 已邀请: --> .ccx-img {padding: 0; margin: 0 auto; width: 100%;position: relative;} .ccx-img_l {float: left; width: 49%;} .ccx-img_r {float: right;width: 49%;} .ccx-img img {width: 100%;border-radius: 8px;} 交换友情链接，就用搜外友链，方便！ 6 人参与回答 曾辉·酷猫SEO博主 SEO-有所为而有所不为！李祝平等 1 人赞同该回答写到Robots文件中去，禁止掉制作抓取，就能直接减少404页面的抓取。方法一：User-agent: *Disallow: /?如果你所有页面？参数的都是404页面。方法二：使用web目录中的文件来自定义内容。” 再将404页面传入主机web目录下。（Disallow: /）在写入robots文件中。方法三：没有主机管理平台404页面的设置，这里需要在网上目录下新建一个文件文件名为（.htaccess）在此文件内输入如下代码（用记事本打开即可）ErrorDocument 404 / 再将404页面改名为 （Disallow: /）在写入robots文件中。

写到Robots文件中去，禁止掉制作抓取，就能直接减少404页面的抓取。

方法一：
User-agent: *
Disallow: /?

如果你所有页面？参数的都是404页面。

方法二：
使用web目录中的文件来自定义内容。” 再将404页面传入主机web目录下。
（Disallow: /）在写入robots文件中。

方法三：
没有主机管理平台404页面的设置，这里需要在网上目录下新建一个文件
文件名为（.htaccess）在此文件内输入如下代码（用记事本打开即可）
ErrorDocument 404 /
再将404页面改名为
（Disallow: /）在写入robots文件中。

目测是一些坏人get搜索拼垃圾链接，然后往外发。。大站经常这样，原来智联的排名中有一堆违禁词都是这么来的。不知道你说的处理指什么，反正提交404是没啥用的，今儿提交12w，赶明他又做出24w。。。

我能想到的，要么把get改成post；要么直接Robots里加上"jobs?jobKw"，把搜索url全屏掉。那些用动态url做的招聘列表用静态url生成一份，提交百度，动态url 301到静态url。我倾向第二种。

高手在这里啊！！

Robots中加入disallow: /？屏蔽掉所有动态页面，防止蜘蛛陷阱，

找到这些404页面的规律，然后使用Robots.txt屏蔽掉。

明显是百度蜘蛛技术不行，谷歌就不会抓取这些链接。
让百度负责爬虫的工程师改算法罢。