推广 热搜: 食品  快递      www  民事主体  网络营销  代理  东莞市  橡塑 
点击 173回答 14 2022-03-15 14:53

robots文件都设置了,为什么百度依然在抓取我所屏蔽的哪些文件

已解决 悬赏分:30 - 解决时间 2022-03-15 18:57
robots文件都设置了,为什么百度依然在抓取我所屏蔽的那些文件。基本上全在抓取这些东西,根本就没有去抓取站内的文章,让我很是蛋疼纠结啊。难道我设置的robots方式不对,但我用百度站长工具设置的,是正确的啊。请教一下,这种情况我到底该怎么处理解决啊? 追加问题 Robots 举报 2012-12-13 发布9,264 次浏览 最新问题 同时有PC和移动站的情况下,如果做友情链接?(21 分钟前) 百度快照前面的名称是跟什么关联的,如果想修改的话怎么操作呢~(24 分钟前) 做外链的地儿有什么(34 分钟前) 搜外内容管家,这个下拉联想词工具,好用吗?(35 分钟前) 内容管家点击移除文章时,提示不存在什么意思?(39 分钟前)   百度小程序这个天级收录文件上传 文件怎么写(54 分钟前) 站点模板相差无几,但内容不一样会被打击不?(1 小时前) 都说要做外链,就问你们去哪发外链的,我基本都是懒得做,太难搞了(1 小时前) 别人的网站搜索结果展示百度快照旁边不是域名而是网站名称是怎么弄的,为什么我的网站显示域名呢?(1 小时前) 买的旧域名做的网址,现阶段以前主页全文章标题能搜获得,如今找不到了,排行也掉了,大佬们帮助看一看 (2 小时前) .question-ccx {display: flex;width: 100%;margin: 0 auto;padding: 0;}.question-ccx .sw-area {width: 50%;padding: 12px 26px 10px 26px;box-shadow: none;float: left;}.question-ccx .sw-area ul li {padding: 3px 0;white-space: nowrap;text-overflow: ellipsis;overflow: hidden;display: flex;}.question-ccx .sw-area ul li a{white-space: nowrap;text-overflow: ellipsis;overflow: hidden;}.question-ccx .sw-area span {color: #999;}.question-ccx .side-reward span {color: #ec5a12;}.question-ccx .sw-area .mod-head {padding-bottom: 5px;}.question-ccx .side-reward {border-left: 1px solid #e0e8ee;float: right;}.question-ccx .sw-area ul li:nth-child(5) {display: none;}.ccx-question { border: 1px solid #e4eaee; overflow: hidden; padding: 20px 0; display: flex; width: 100%;}.ccx-new-question { width: 50%; padding: 0 20px;}.ccx-new-question li { height: 36px; line-height: 36px; border-bottom: 1px dashed #e2e2e2; white-space: nowrap; text-overflow: ellipsis; overflow: hidden;}.ccx-new-question li:last-child { border-bottom: none;} 分享到微信 收藏 关闭 没有找到相关结果 已邀请: --> .ccx-img {padding: 0; margin: 0 auto; width: 100%;position: relative;} .ccx-img_l {float: left; width: 49%;} .ccx-img_r {float: right;width: 49%;} .ccx-img img {width: 100%;border-radius: 8px;} 交换友情链接,就用搜外友链,方便! 14 人参与回答 张立博·搜问69号会员 电子商务从业者陈宇、陈三平等 2 人赞同该回答谢谢夫唯老师邀请百度蜘蛛抓取的user-agent是:Mozilla/ (compatible; Baiduspider/ +)题目中的截图应该是用户访问的记录,而不是蜘蛛爬行的记录。如果确定有蜘蛛爬行已经屏蔽的路径的话,建议重新放一下截图。不过Robots屏蔽了,还显示抓取的话,那么要看一下robots文件有没有被抓取,一般生效时间会有一个延迟。
反对 0举报 0 收藏 0 打赏 0
支持 0 反对 0 举报 2022-03-16 02:01
百度根本就不按Robots文件规则来,反正我是信了,想抓照样抓,我的新站规则上线前就写好了不让抓取的地方,可是禁止的地方照样去抓。
支持 0 反对 0 举报 2022-03-16 03:00
想想301百度多长时间才能反映过来就能理解了
支持 0 反对 0 举报 2022-03-16 03:34
Robots 只是第三方协议 搜索引擎可以抓取的 但是不一定会放出来!
支持 0 反对 0 举报 2022-03-16 04:50
百度用什么形容呢?
反应慢,经常跟不上节奏。
脑袋转不过弯,告诉他怎么做,还是不会。
经常坑爹,做错了事不愿意承担责任。
 «上一页   1   2   下一页»   共14条/2页 
网站首页  |  营业执照  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报