2008年淘宝也曾禁止百度爬虫，而百度则严格遵守robots协议，停止抓取淘宝网内容，并没有以淘宝不正当竞争为借口违反robots协议中国工程院院士高文Robots协议是搜索引擎在抓取网站信息时要遵守的一个规则，是国际互联网界通行的道德规范网站主人通过Robots协议明示自动抓取程序，服务器上什么内容可以被抓取，什么内容不可以被。
利用百度查看网站Robots协议的方法主要有以下几种方法一 步骤一进入百度搜索引擎页面，输入任意内容进行搜索 步骤二当出现由于robotstxt文件限制搜索引擎抓取的提示时，点击“了解详情” 步骤三在了解详情页面中，输入想要了解的网站网址，并点击“检测” 步骤四查看检测结果中的脚本语言。
任何通过使用百度而搜索链接到的第三方网页均系他人制作或提供，您可能从该第三方网页上获得资讯及享用服务，百度对其合法性概不负责，亦不承担任何法律责任百度搜索结果根据您键入的关键字自动搜索获得并生成，不代表百度赞成被搜索链接到的第三方网页上的内容或立场您应该对使用搜索引擎的结果自行承担。
就拿我们生活中主要使用的搜索引擎百度来说，当你在访问具有该协议的站点过程中这时候已经是使用过程了，但要注意的是不是所有的网站都具备，这一点要网站技术人员提前安装SSL证书后才可以生效。
1搜索引擎，用户是第一位，为了用户安全也是为了捍卫自己的市场2国内。