robots文件中到底要不要屏蔽JS和css

我看了网站日志，发现蜘蛛抓取了好多JS。我想这些可不可以屏蔽掉。

我的建议是没必要。
理由：
1. 没有证据证明蜘蛛爬行JS和css之后，会减少爬行网页的机会；
2. 如果得通过屏蔽js和css来让其他网页得到抓取的话，那网站也够差的；
3. 搜索引擎分得清什么是js、css和什么是网页。

不用

·没必要的吧

学习

学习 学习

理论上来说可行，蜘蛛来访网站主要是看网站内容，也就是文字。