百度百度，全球最大的中文搜索引擎最大的中文网站UA是美国联合航空公司的二字代码百度二字，来自于八百年前南宋词人辛弃疾的一句词众里寻他千百度这句话描述了词人对理想的执着追求1999年底，身在美国硅谷的李彦宏看到了中国互联网及中文搜索引擎服务的巨大发展潜力，抱着技术改变世界的梦想，他。
360搜索引擎，作为国内三大搜索引擎之一，拥有自己的蜘蛛IP，在爬取网站或网页时留下痕迹为满足站长及SEOer需求，整理了360搜索引擎蜘蛛的IP，方便识别360蜘蛛360搜索引擎蜘蛛访问网站或网页时，服务器上留下带有360相关UA签名信息的痕迹Mozilla50 Windows NT 61 WOW64 AppleWebKit53736。
设置完成后，可用模拟爬虫查看是否误伤了好蜘蛛说明以上屏蔽的蜘蛛名不包括以下6大蜘蛛名百度蜘蛛Baiduspider 谷歌蜘蛛Googlebot 必应蜘蛛bingbot 搜狗蜘蛛Sogou web spider 360蜘蛛360Spider 神马蜘蛛YisouSpider 爬虫常见的UserAgent如下来源 BT宝塔屏蔽垃圾搜索引擎蜘蛛以及采集扫描工具。
扫描器UA的识别不仅限于上述，还有如HeadlessChromeBiuScanner等，它们可能用于自动化测试或风险监控国内和国外搜索引擎的UA，如Baiduspider和Googlebot，也需注意区分，避免误拦爬虫在拦截策略上，不仅要考虑扫描器的名称，还要注意参数URL和请求头中的关键词，确保在保护业务的同时，不误伤正常流量。