第一步爬行 搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容第二步抓取存储 搜索引擎是通过蜘蛛跟踪链接爬行到网页；互联网搜索引擎服务自律公约是为规范互联网搜索引擎服务，促进行业健康可持续发展，中国互联网协会在工业和信息化部指导下牵头组织制定的自律性文件此公约共有四章22条内容，适用于中国互联网协会会员单位及自愿加入的互联网从业单位公约倡导互联网企业抵制淫秽色情等违法和不良信息传播，遵循国际。