电商网站做了dns开设很多相同页面二级域名后robots如何写

网站为了考虑访客访问速度问题，分别在不同城市布局不同服务器，通过二级域名dns自动判断地域分配访问服务器，每个城市一个二级域名对应一台服务器，这些服务器的二级域名下的页面是相同的，但是www下的服务器是dns服务器，主要用来分配访客，也就是说所有二级域名下的服务器都有一个相同的网站，唯独www下的服务器里没有建设网站，这种情况如何写robots来禁止蜘蛛抓取所有二级域名内容，而只抓取www的的域名。例如：www.域名.com/123.htmlbj.域名.com/123.htmlnc.域名.com/123.htmlsh.域名.com/123.html......以上二级域名都和www.域名.com/123.html是同一个页面，如何屏蔽所有二级域名下的内容呢？

虽然我不是个技术控
不过感谢你的邀请。

不同的服务器那么，可以给每个分站都建立一个Robots文件。屏蔽抓取。

其实有点不明所以，你既然建设2级域名，为什么要屏蔽他们。

如果你一个大站点的服务器如果承载不了害怕荡机的话，你升级服务器呀，或者在接一台服务器呀。设定在第5000个IP的时候，第5001个IP的时候就会跳到第2台服务器进行服务。

可能不清楚你的意思，但是，建设了2级域名又屏蔽掉的做法，有点多余了！！

个人建议，提供参考！

用程序很容易的。用程序根据域名，浏览器进行判断。把所有的浏览器都先登记下来，百度蜘蛛本身也是浏览器，只要不是登记的浏览器，就跳转到指定页面。

建议找找类似的网站参考一下，搜索引擎没那么聪明，太复杂的东西终究不是怎么好。