robots文件有什么用呢？
1、屏蔽网站内的死链接。
2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。
3、阻止搜索引擎索引网站隐私性的内容。
4、可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器资源。
5、设置网站地图连接，方便引导蜘蛛爬取页面。
想要学习网站搭建以及SEO的伙伴可以来这个群：215--113--587 在这里，大神带你进入互联网的世界，在这里，你可以学习到你想要学习到的东西，在这里，绝对不会让你失望！
一个网站写有robots文件是很有必要的，如果网站中重复的页面、内容或者404信息过多，那么搜索引擎蜘蛛抓取时候就会认为该网站价值较低，从而降低对该网站的权重，这样网站的排名就不好了。
robots怎么写呢？
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
下面，小编将列举一些robots.txt的具体用法：
允许所有的搜索引擎访问网站所有的部分的robot写法：
User-agent: *
Disallow:
或者也可以建一个空文件 robots.txt 文件，功能同上。
禁止所有搜索引擎访问网站的任何部分的robots写法：
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的某几个部分（下例中的01、02、03目录）的robots写法：
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（如下例中禁止百度引擎抓取）的robots写法：
User-agent: Baiduspider
Disallow: /
注意：以上写法只禁止了百度搜索引擎的抓取，其他搜索引擎还是可以来抓取的。
只允许某个搜索引擎的访问（如下例中只允许谷歌搜索引擎抓取站点内容）的robots写法：
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止搜索引擎抓取自己网站图片（禁止图片抓取）的robots写法：
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
如果你的网站有动态和静态两种形式的网页，你只允许抓取静态页面（禁止动态页面）的robots写法：
User-agent: *
Disallow: /*?*
下面顺便将各大搜索引擎的蜘蛛的名字分享一下（这里仅列举中国国内比较常用的一些搜索引擎）：
google蜘蛛：Googlebot
百度蜘蛛：Baiduspider
搜狗蜘蛛：sogou spider
360蜘蛛：360Spider
yahoo蜘蛛：Yahoo!slurp
alexa蜘蛛：ia_archiver
bing蜘蛛：MSNbot
Soso蜘蛛：Sosospider
Google Adsense蜘蛛：Mediapartners-Google
有道蜘蛛：YoudaoBot
未经本人允许，转发前请联系本人QQ：482500554
谢谢合作