网络爬虫，又称为网页蜘蛛网络机器人，在FOAF社区中，常被称为网页追逐者这些程序或脚本依据特定规则，自动抓取万维网的信息网络爬虫的功能多样，其中最重要的是为搜索引擎下载网页，成为搜索引擎不可或缺的一部分传统爬虫从一个或多个初始网页的URL开始，抓取并分析这些页面上的链接，不断将新的；搜索引擎蜘蛛来源由于专门用于检索信息的“机器人”程序就象蜘蛛一样在网络间爬来爬去，反反复复，不知疲倦所以，搜索引擎的“机器人”程序就被称为“蜘蛛”程序每个搜索引擎都有他们自己的蜘蛛程序，你的网站如果不去蜘蛛的话，你的网站排名就不会很好，你网站的内容页面也不会收录只要蜘蛛天天。