百度根据爬虫协议选择不抓取淘宝的数据，这并不意味着其他网站无法获取淘宝信息事实上，其他网站即便包含了淘宝的数据，只要这些网站没有设置禁止百度抓取的协议，百度依然能够正常收录这些信息这表明，爬虫协议是双向的，取决于数据提供方和数据抓取方之间的约定然而，360公司却能够抓取百度的收录信息，这；淘宝联盟商家可以加入淘宝联盟并获取推广链接，以获取一些相关数据，同时为店铺推广赚取佣金网络爬虫的合法应用虽然网络爬虫在一些非法情境下被滥用，但它也有合法的应用，如搜索引擎的爬虫用于建立搜索索引价格比较网站的爬虫用于收集商品价格等关键是要明确数据的来源和使用目的，以确保合法性；据了解，淘宝已对百度搜索引擎进行了彻底屏蔽，而对谷歌雅虎等搜索也有部分屏蔽淘宝表示，通过对不同搜索引擎进行不同程度的屏蔽，可以杜绝不法商家利用竞价排名搜索优化等手段骗取消费者信任，并对优秀卖家进行鼓励据淘宝提供的统计数据，目前80%以上的消费者投诉源于极少数不良商家这些不良商家的；从被认为骗子的电子商务没人看好的淘宝到支付宝到天猫，快捷支付，余额宝等，每一个判断都极其准确且狠尤其是2008年，淘宝屏蔽了百度搜索引擎抓取，这一招非常勇敢而且高明之前，很大一部分网民买东西都会在百度里搜索所需商品，再经过百度跳转到淘宝相应页面，很多网民网购的入口意识习惯；淘宝屏蔽百度爬虫，马云的这一决策，体现了其对电子商务平台独立性和用户习惯的深刻理解与布局在电子商务的早期，搜索引擎成为了各大网站获取流量的主要途径，包括百度在内的搜索引擎成为了用户寻找商品和信息的主要渠道然而，这种依赖也带来了风险，如果搜索引擎故意减少流量，会对电子商务平台造成严重影响；淘宝网屏蔽百度搜索正式宣战 2008年09月09日 0922 第一财经日报 昨天，淘宝网正式向百度宣战淘宝网将屏蔽百度的搜索引擎抓取，这是国内首家大型商业网站公开宣称屏蔽搜索引擎的信息抓取 本报摄影记者王晓东 吕伯望认为，虽然淘宝屏蔽百度短期内对百度淘宝影响都不太大；Robots协议也称为爬虫协议机器人协议等的全称是“网络爬虫排除标准”Robots Exclusion Protocol，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取实例分析淘宝网的 Robotstxt文件 Useragent Baiduspider Disallow Useragent baiduspider Disallow 很显然淘宝不允许。