Disallow admin 禁止爬取admin目录下的内容Allow cgibin 允许爬取cgibin目录Sitemap 提供网站地图链接，帮助爬虫高效抓取robotstxt的写法可以细致到单个URL，例如Disallow abc 和 Disallow *？* 等同时，也可以设置特定搜索引擎的访问权限，如淘宝网对百度爬虫的限制需要注意。
1保护用户的信息 搜索引擎对动态页面的抓取技术越来越成熟，在没屏蔽爬虫的情况下，爬虫是可以抓取到用户登陆之后的信息的，抓取之后是有可能在搜索引擎中搜索时候展现出来的，基于这种前提淘宝考虑屏蔽2抢夺流量入口 可以试想一下如果在百度搜索中，搜索淘宝的一家店铺名字能够展现出来这个淘宝店铺的话。
首先，价格跟踪和竞争分析是淘宝爬虫工具的常见用途之一通过爬取淘宝平台上的商品信息和价格数据，商家可以及时了解市场行情，掌握商品价格的波动情况，以及竞争对手的定价策略这样的信息可以为商家制定合理的销售策略提供重要参考其次，淘宝商品搜索和推荐是淘宝爬虫工具的另一个重要应用领域通过抓取淘宝。
百度根据爬虫协议选择不抓取淘宝的数据，这并不意味着其他网站无法获取淘宝信息事实上，其他网站即便包含了淘宝的数据，只要这些网站没有设置禁止百度抓取的协议，百度依然能够正常收录这些信息这表明，爬虫协议是双向的，取决于数据提供方和数据抓取方之间的约定然而，360公司却能够抓取百度的收录信息，这。