为什么网站被收录了css文件

通过site命令可以看到第一页有三四条css的收录，这是否属于正常？

一般css会归类到一个目录文件夹，页面程序进行调用就可以了，既然已经收录了，这无疑是浪费了蜘蛛的爬取。

建议：屏蔽CSS的目录文件，写到Robots里面去。

已经都收录了，正常不正常，这个当然也没有造成影响啦。现在屏蔽掉，让蜘蛛去爬取更有用的内容。

那是因为你没在Robots上写禁止抓取css文件

<a href="">绕线机</a>

Robots禁止

节省蜘蛛资源，可以对JScss等文件进行屏蔽

CSS文件、JS文件搜索引擎都是可以爬取的
因为这个数据很直观的体现在网站日志中。
CSS文件处理：
CSS文件是表现层，很多最弊方法是可以通过这里实现的；屏蔽了，也会使快照页面变难看。
所以，CSS文件一般是不直接屏蔽的。
推荐做法：
1.合并网站的CSS文件，并外部调用CSS文件。

CSS合并的地址可以是主域名下面，大型网站推荐用子域名来做。
文件加载的位置在顶部

里面
js文件处理方法一样，只是加载的位置最好在底部，有效提高网站的加载速度。 8 年前 赞同 0 评论 0 收藏 举报

曾令卿 · 首席打杂官

1、禁止后台页面使用URL访问
2、不建议屏蔽css，有作弊的风险。

蜘蛛抓取了你的css文件，建议将文件屏蔽掉，在、Robots.txt

User-agent: *
Disallow: .css

先查看网站日志，看看每天蜘蛛抓取css文件的次数，如果占总抓取次数比例很少，比如百分之一都不到，那就不用管它。

如果抓取量很大，建议Robots文件屏蔽css文件