11111111111

1、Robots协议是搜索引擎之间的约定，是网站与爬虫之间的沟通机制，旨在指导搜索引擎如何正确抓取网站内容以下是关于Robots协议的详细解释定义与功能Robots协议是一种网站与搜索引擎爬虫之间的约定，规定了哪些内容可以被搜索引擎抓取，哪些内容应被屏蔽它的主要功能是保护网站的隐私和版权，防止搜索引擎过度抓取或抓取敏感信息协议形式。

2、Robots的中文意思是机器人而我们通常提到的主要是Robots协议，以下是关于Robots协议的详细解释定义Robots协议，也被称为爬虫协议机器人协议，主要是在搜索引擎中使用的它是网站和搜索引擎爬虫之间的一种沟通方式作用Robots协议的主要作用是指导搜索引擎更好地抓取网站内容，避免搜索引擎抓取网站中。

常见搜索引擎蜘蛛名称googlebot谷歌搜索引擎的蜘蛛baiduspider百度搜索引擎的蜘蛛sogouspider搜狗搜索引擎的蜘蛛360Spider360搜索引擎的蜘蛛其他蜘蛛如slurpia_archivermsnbotscooter等，了解这些名称有助于更好地设置robots协议文件。

robots是一个协议robotstxt是搜索引擎中访问网站的时候要查看的第一个文件robots文件告诉蜘蛛程序在服务器上什么文件是可以被查看的当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robotstxt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围如果该文件不存在。

中广网北京9月7日消息记者庄胜春据中国之声央广新闻报道，近日，有报道称360违反Robots协议抓取网站信息，并通过浏览器收集隐私数据这种行为被指不顾行业规则底线，引起业内人士的热议有报道说，由于360搜索并不遵守搜索引擎通用的Robots协议，也就是爬虫协议，导致很多网站出于安全和隐私的考虑。

百度为什么称360违反Robots协议呢？主要是因为百度认为360搜素对自身产生了竞争，百度不希望自己旗下的贴吧，文库，知道，百科等网站产品，被360搜素收录，并且在Robots协议中标注屏蔽360搜素，而360直接绕过了robots协议继续采集百度旗下产品网站的信息，因此被百度起诉简单的说，任何网站只要在其robots协议。