屏蔽蜘蛛抓取特定文件的原因有哪些？

新手，弄了个博客，看到别人的tags标签是禁止百度抓取的，思考了片刻后，我便进入了牛角尖里，求大神救我！禁止站内serch页面的原因是什么？如果说是为了防止重复抓取，那我们站内的锚文本不也会造成搜索的重复爬行吗？那tags应该看做是重复页面还是锚文本？该不该禁止呢？还有织梦系统哪些文件需要禁止蜘蛛？求教！

禁止TAG应该是为了重复页面。
我自己也有站禁止百度收录TAG的。
因为TAG相关性不怎么样？还有面包屑导航在TAG很难完美的实现。
主要禁止是从防止重复，不相关，面包屑导航。