是否应该屏蔽蜘蛛抓取JS和CSS文件

很多网站在查看日志的时候，会发现JS、CSS文件被蜘蛛抓取的频率特别高，于是有人便考虑在robots.txt屏蔽蜘蛛抓取js和css文件，节省蜘蛛时间给其他页面。国平老师认为，屏蔽了这种文件不会对网站有不利影响，相反可以促进其他页面的收录；但同时很多人认为屏蔽了这两个文件容易被搜索引擎判断为网站作弊。元芳们，你们怎么看？

以下这个说法值得商榷下：
“蜘蛛抓取一个网站的时间是一定的，限制了某文件被抓取，则它又更多时间去抓取别的网页”

如果不成立，则完全没必要屏蔽CSS和JS了。
如果成立，那要屏蔽的就不止CSS和JS了，很多没实质意义的文件都值得屏蔽。

所以，以上那个论点，值得更多探讨下。

我觉得没必要屏蔽，因为搜索引擎会知道哪些是JS、CSS，哪些是网页文件。抓取js和css的蜘蛛应该不会影响网页的抓取频率。
至于搜索引擎抓取js和css，可能跟快照有关，因为现在网站的页面大多是用div+css来建设的，如果没有css的页面会惨不忍睹的。
所以不排除搜索引擎在试图解释JS和CSS文件，来丰富网页的内容，让搜索更精确。

让搜索结果更准确，这个是个人猜测，也许反而是真正的原因。

就以往的操作过程而言，我个人没有屏蔽过JS和css文件。

关乎网站性能方面，只是建议将js和css分别整合，css放置在头部，js放在尾部，防止网站载入的时候出现错乱和阻塞。

目前好像没有哪个方面的资料说一定要屏蔽js和css。

大概来讲，遵循两点就可以了：

1：css文件整合，并通过压缩减小其体积，并放置在头部；

2：js文件整合，并通过压缩减小其体积，放置在尾部；

其他代码区域尽量不要出现单独的css和js代码就是比较符合标准的了。

经过试验和跟踪数据表明：
1>被屏蔽掉的JS/css文件依然会被baidu和google大量crawl
2>屏蔽后跟踪观察其他page type 蜘蛛crawl量，发现并未增加
3>如果网站大部分js/css文件里包含较多URL可以不屏蔽，蜘蛛爬取js/css文件的同时可以爬取里面的link
4>如果网站大部分js/css文件里基本上都是代码之类的，屏蔽也可，没发现明显的好处也没发现坏处

我是屏蔽了 还有夫唯老师发现你回答好多问题都很“谨慎”
你回答时候可以加上一些你自己或者你朋友正常的操作方法啊
我记得以前听夫唯老师上课说是要屏蔽的

搜索引擎能抓取的页面量~远远大于我们的网站数据量,抓不抓 css JS 影响没多大

现在搜索引擎已经可以辨别 JS CSS文件，平不屏蔽无关紧要了。
只要你的网站压力不要限制，服务器不是太差。

跟你屏不屏蔽，没关系啊

我的网站检测JS N个 收录照常，快照照常 更新

这要看网页数量，如果网页数量小到足够被任何蜘蛛任意抓取，那么就没这个必要。
反之，如果网页数量大到蜘蛛抓取不了，那么就需要Nofollow掉，Robots掉一些东西

个人认为：

1、未来css文件会成为搜索引擎判断一个页面的参考因素；

2、也许现在搜索引擎已经能够简单的利用css文件理解页面结构了。