刚才看了一个很有意思的robots.txt文件，你觉得有不对劲的吗？

已解决

悬赏分：20 - 解决时间 2022-03-16 14:30

User-agent:*Allow:/upload/*.htmlAllow:/upload/photoAllow:/upload/fileAllow:/upload/imageDisallow:/upload/Disallow:/onlinepay/Disallow:/admin/Disallow:/font/Disallow:/cache/Disallow:/script/Disallow:/template/Disallow:/install/

点赞 0反对 0举报 0 收藏 0 打赏 0

最佳答案

支持 0 反对 0 举报 2022-03-16 06:21

User-agent:...

支持 0 反对 0 举报 2022-03-16 07:16

这个是正确的,allow的优先度是大于disallow,
Allow:/upload/*.html
Allow:/upload/photo
Allow:/upload/file
Allow:/upload/image

upload文件里面可能不止以上四个文件,他想屏蔽的是除了这四个文件之外的upload文件.如果upload里面只有这四个文件的话,那网站主这么写就确实是有问题了!

支持 0 反对 0 举报 2022-03-16 08:29

Robots.txt的判断，应该是会有一个优先顺序，不然蜘蛛自己都凌乱了

支持 0 反对 0 举报 2022-03-16 09:08

先允许了所有.html文件，又允许了3个文件夹，然后又来个禁止！按照从上到下的顺序的话......不知道该咋说了！我瞬间不会Robots了

支持 0 反对 0 举报 2022-03-16 10:23

呵呵，关键是前五行，
Allow:/upload/*.html
Allow:/upload/photo
Allow:/upload/file
Allow:/upload/image
Disallow:/upload/

有点儿矛盾。