点击 173回答 14
2022-03-15 14:53
robots文件都设置了,为什么百度依然在抓取我所屏蔽的哪些文件![]() ![]() robots文件都设置了,为什么百度依然在抓取我所屏蔽的那些文件。基本上全在抓取这些东西,根本就没有去抓取站内的文章,让我很是蛋疼纠结啊。难道我设置的robots方式不对,但我用百度站长工具设置的,是正确的啊。请教一下,这种情况我到底该怎么处理解决啊? 追加问题 Robots 举报 2012-12-13 发布9,264 次浏览 最新问题 同时有PC和移动站的情况下,如果做友情链接?(21 分钟前) 百度快照前面的名称是跟什么关联的,如果想修改的话怎么操作呢~(24 分钟前) 做外链的地儿有什么(34 分钟前) 搜外内容管家,这个下拉联想词工具,好用吗?(35 分钟前) 内容管家点击移除文章时,提示不存在什么意思?(39 分钟前) 百度小程序这个天级收录文件上传 文件怎么写(54 分钟前) 站点模板相差无几,但内容不一样会被打击不?(1 小时前) 都说要做外链,就问你们去哪发外链的,我基本都是懒得做,太难搞了(1 小时前) 别人的网站搜索结果展示百度快照旁边不是域名而是网站名称是怎么弄的,为什么我的网站显示域名呢?(1 小时前) 买的旧域名做的网址,现阶段以前主页全文章标题能搜获得,如今找不到了,排行也掉了,大佬们帮助看一看 (2 小时前) .question-ccx {display: flex;width: 100%;margin: 0 auto;padding: 0;}.question-ccx .sw-area {width: 50%;padding: 12px 26px 10px 26px;box-shadow: none;float: left;}.question-ccx .sw-area ul li {padding: 3px 0;white-space: nowrap;text-overflow: ellipsis;overflow: hidden;display: flex;}.question-ccx .sw-area ul li a{white-space: nowrap;text-overflow: ellipsis;overflow: hidden;}.question-ccx .sw-area span {color: #999;}.question-ccx .side-reward span {color: #ec5a12;}.question-ccx .sw-area .mod-head {padding-bottom: 5px;}.question-ccx .side-reward {border-left: 1px solid #e0e8ee;float: right;}.question-ccx .sw-area ul li:nth-child(5) {display: none;}.ccx-question { border: 1px solid #e4eaee; overflow: hidden; padding: 20px 0; display: flex; width: 100%;}.ccx-new-question { width: 50%; padding: 0 20px;}.ccx-new-question li { height: 36px; line-height: 36px; border-bottom: 1px dashed #e2e2e2; white-space: nowrap; text-overflow: ellipsis; overflow: hidden;}.ccx-new-question li:last-child { border-bottom: none;} 分享到微信 收藏 关闭 没有找到相关结果 已邀请: --> .ccx-img {padding: 0; margin: 0 auto; width: 100%;position: relative;} .ccx-img_l {float: left; width: 49%;} .ccx-img_r {float: right;width: 49%;} .ccx-img img {width: 100%;border-radius: 8px;} 交换友情链接,就用搜外友链,方便! 14 人参与回答 张立博·搜问69号会员 电子商务从业者陈宇、陈三平等 2 人赞同该回答谢谢夫唯老师邀请百度蜘蛛抓取的user-agent是:Mozilla/ (compatible; Baiduspider/ +)题目中的截图应该是用户访问的记录,而不是蜘蛛爬行的记录。如果确定有蜘蛛爬行已经屏蔽的路径的话,建议重新放一下截图。不过Robots屏蔽了,还显示抓取的话,那么要看一下robots文件有没有被抓取,一般生效时间会有一个延迟。
|