2处理网页搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务其中,最重要的就是提取关键词,建立索引库和索引其他还包括去除重复网页分词中文判断网页类型分析超链接计算网页的重要度丰富度等3提供提供搜索服务用户输入关键词进行检索,搜索引擎从索引数据库中找到。
2不把session id统计代码等不必要的内容放在url中3不同形式的url,301永久跳转到正常形式4防止用户输错而启用的备用域名,301永久跳转到主域名5使用robotstxt禁止Baiduspider抓取您不想向用户展现的形式 网页的title用于告诉用户和搜索引擎这个网页的主要内容是什么,而且当用户在百度网页。