搜索引擎的整个工作过程包括三个部分1抓取 搜索引擎为想要抓取互联网站的页面，不可能手动去完成，那么百度，google的工程师就编写了一个程序，他们给这个自动抓取的程序起了一个名字，蜘蛛也可以叫做“机器人”或者“网络爬虫”互联网上的信息存储在无数个服务器上，任何搜索引擎要想回答用户的；当然在服务器上所开的线程也不能无限膨胀，需要在服务器的正常运转和快速收集网页之间找一个平衡点在算法上各个搜索引擎技术公司可能不尽相同，但目的都是快速浏览Web页和后续过程相配合目前国内的搜索引擎技术公司中，比如百度公司的网络蜘蛛采用了可定制高扩展性的调度算法使得搜索器能在极短的时间。