网络爬虫，也被称作网页蜘蛛网络机器人，在FOAF社区中更常被称作网页追逐者，是一种遵循特定规则，自动抓取万维网信息的程序或脚本此外，它还有一些不常用的称呼，如蚂蚁自动索引模拟程序或蠕虫网络爬虫是一个自动提取网页的程序，它负责从万维网上下载网页，是搜索引擎的核心组成部分传统爬虫从。
中文名 网络爬虫 外文名 web crawler 别称 网络蜘蛛 目的 按要求获取万维网信息 产生背景 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战搜索引擎Search Engine，例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为。
