1、具有秒收的权限爬行深度高，几乎能爬行到网站的所有链接页面来访频率高，加快百度快照的更新频率中级蜘蛛通过爬行外链和反链来到网站抓取网站内容，并与搜索引擎数据库中的原数据进行对比，判断内容是否原创初级蜘蛛主要爬行新站爬行深度低，抓取网页内容后逐级提交到搜索引擎数据库对新站有考核期，爬行速度慢蜘蛛的。
2、实际上，搜索引擎内部有一个网址索引库蜘蛛从搜索引擎的服务器出发，顺着已知的网址爬行并抓取网页内容抓取回来的页面会被分析，内容被暂时忽略，而链接则被提取出来这些链接并不会立即被蜘蛛抓取，而是被记录并交给网址索引库进行进一步分析对比和计算，最终放入索引库因此，即便某个网页的外链出现。