百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页乐你思认为对于网站上新产生的或者持续更新的页面，Baiduspider会持续抓取搜索引擎构建一个调度程序，来调度百度蜘蛛的工作，让百度蜘蛛去和服务器建立连接下载网页，计算的过程都是通过调度来。
搜索引擎蜘蛛也叫搜索引擎爬虫搜索引擎robot国内各大搜索引擎蜘蛛名称百度百度spider 谷歌googlebot 搜狗sogou spider 搜搜Sosospider 360搜索360Spider 有道YodaoBot 雅虎Yahoo Slurp 必应msnbot Msnmsnbot 以上是常见的搜索引擎蜘蛛爬虫，如果你的网站不想让让某些蜘蛛抓取，那么。