11111111111

　　robots

　　robots其实就是禁止蜘蛛来爬行这些页面并不传递其权重的一个文件。通常是放在网站程序根目录下，如地址栏输入www.xuelei.org/robots.txt，即可查看。具体什么写百度官方有，这里就不过多解释。但是并不是说在robots文件里写了禁止蜘蛛去收录此网页它就不会被收录，举个最简单的例子：百度一下淘宝首页，他仍然有收录其淘宝首页，只不过没收录这个网站下的其他页面。说明了robots文件是能禁止除该被禁止的网址之外的所有网址，不包含被禁止的该网址（当然也是不能传递权重）。