百度根据爬虫协议选择不抓取淘宝的数据，这并不意味着其他网站无法获取淘宝信息事实上，其他网站即便包含了淘宝的数据，只要这些网站没有设置禁止百度抓取的协议，百度依然能够正常收录这些信息这表明，爬虫协议是双向的，取决于数据提供方和数据抓取方之间的约定然而，360公司却能够抓取百度的收录信息，这；淘宝联盟商家可以加入淘宝联盟并获取推广链接，以获取一些相关数据，同时为店铺推广赚取佣金网络爬虫的合法应用虽然网络爬虫在一些非法情境下被滥用，但它也有合法的应用，如搜索引擎的爬虫用于建立搜索索引价格比较网站的爬虫用于收集商品价格等关键是要明确数据的来源和使用目的，以确保合法性；据了解，淘宝已对百度搜索引擎进行了彻底屏蔽，而对谷歌雅虎等搜索也有部分屏蔽淘宝表示，通过对不同搜索引擎进行不同程度的屏蔽，可以杜绝不法商家利用竞价排名搜索优化等手段骗取消费者信任，并对优秀卖家进行鼓励据淘宝提供的统计数据，目前80%以上的消费者投诉源于极少数不良商家这些不良商家的；从被认为骗子的电子商务没人看好的淘宝到支付宝到天猫，快捷支付，余额宝等，每一个判断都极其准确且狠尤其是2008年，淘宝屏蔽了百度搜索引擎抓取，这一招非常勇敢而且高明之前，很大一部分网民买东西都会在百度里搜索所需商品，再经过百度跳转到淘宝相应页面，很多网民网购的入口意识习惯；淘宝屏蔽百度爬虫，马云的这一决策，体现了其对电子商务平台独立性和用户习惯的深刻理解与布局在电子商务的早期，搜索引擎成为了各大网站获取流量的主要途径，包括百度在内的搜索引擎成为了用户寻找商品和信息的主要渠道然而，这种依赖也带来了风险，如果搜索引擎故意减少流量，会对电子商务平台造成严重影响；淘宝网屏蔽百度搜索正式宣战 2008年09月09日 0922 第一财经日报 昨天，淘宝网正式向百度宣战淘宝网将屏蔽百度的搜索引擎抓取，这是国内首家大型商业网站公开宣称屏蔽搜索引擎的信息抓取 本报摄影记者王晓东 吕伯望认为，虽然淘宝屏蔽百度短期内对百度淘宝影响都不太大；Robots协议也称为爬虫协议机器人协议等的全称是“网络爬虫排除标准”Robots Exclusion Protocol，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取实例分析淘宝网的 Robotstxt文件 Useragent Baiduspider Disallow Useragent baiduspider Disallow 很显然淘宝不允许。
不过，淘宝为了屏蔽网络爬虫对自身数据例如商品价格月销量收藏量评价月成交记录等等的抓取，往往是采取一种名叫Ajax的技术，在网页加载完成后，再次加载这些数据，所以通用的网络爬虫抓取技术对抓取淘宝的这些数据是无效的针对淘宝本身的特点，天猫淘宝数据抓取的技术无外乎以下四种技术1；网页抓取技术在电商网站的应用中极为重要，尤其是淘宝商品信息的抓取当目标内容在网页上以不同的规格存在多个时，如何提取这些信息成为了关键以淘宝网页为例，商品信息可能因机身颜色套餐存储容量等规格的不同而产生价格差异在这种情况下，仅通过抓取单一信息的方式不足以获取所有价格为解决这一；一年之后，这次轮到了马云反戈一击在百度的C2C业务即将推出时，2008年9月上旬，淘宝屏蔽了百度爬虫搜索称百度为中国互联网领域最有权势的公司并不为过，因为它控制着中国互联网上最大的流量走向，中国一干大小网站都要仰其鼻息而生存，为此还新生出搜索引擎优化这一新行当在Alexa上的最新排名中。
方法1修改robots文件并取消对该页面的阻止机器人的标准写法详见百度百科网页链接2更新百度站长平台更名为百度资源平台上的网站机器人过一段时间，你的网站会被正常抓取收录影响Robots协议是网站出于安全和隐私原因设置的，旨在防止搜索引擎抓取敏感信息搜索引擎的原理是通过一个爬虫蜘蛛程序。
1修改robots文件，取消该页面的屏蔽，robots的标准写法百度百科里有详细介绍网页链接 2在百度站长平台已更名为百度资源平台更新网站robots，过一段时间，您的这个网站就会被正常抓取收录了影响Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的搜索引擎的原理是通过一种爬；首先，淘宝平台会采取技术手段阻止或限制爬虫工具的访问如果发现某个IP地址频繁地爬取商品数据或者进行不正当行为，淘宝平台可以封锁该IP地址，使其无法继续访问平台此外，淘宝还会对爬虫工具进行识别和防御，以减少恶意爬取行为对平台造成的影响其次，对于违反平台规定的爬虫行为，淘宝平台有权对违规用户；淘宝屏蔽baidu 就是说baidu搜索不到淘宝网上的任何资源 9月8日，淘宝网宣布推出消费者保障计划第三期，其中最引人关注的一项措施是屏蔽百度搜索引擎消息来得太过突然，一石激起千层浪，各方评论纷纷出炉，但大多数观点指向同一个问题，淘宝要借此绞杀百度的C2C电子商务计划“我们当然关注百度的C2C；1保护用户的信息 搜索引擎对动态页面的抓取技术越来越成熟，在没屏蔽爬虫的情况下，爬虫是可以抓取到用户登陆之后的信息的，抓取之后是有可能在搜索引擎中搜索时候展现出来的，基于这种前提淘宝考虑屏蔽2抢夺流量入口 可以试想一下如果在百度搜索中，搜索淘宝的一家店铺名字能够展现出来这个淘宝店铺的话。
