2008年淘宝也曾禁止百度爬虫，而百度则严格遵守robots协议，停止抓取淘宝网内容，并没有以淘宝不正当竞争为借口违反robots协议中国工程院院士高文Robots协议是搜索引擎在抓取网站信息时要遵守的一个规则，是国际互联网界通行的道德规范网站主人通过Robots协议明示自动抓取程序，服务器上什么内容可以被抓取，什么内容不可以被。
利用百度查看网站Robots协议的方法主要有以下几种方法一 步骤一进入百度搜索引擎页面，输入任意内容进行搜索 步骤二当出现由于robotstxt文件限制搜索引擎抓取的提示时，点击“了解详情” 步骤三在了解详情页面中，输入想要了解的网站网址，并点击“检测” 步骤四查看检测结果中的脚本语言。