1、SEO蜘蛛只爬取首页，这问题让许多SEOer头疼不已百度近期调整收录机制，导致许多网站面临收录难题，即使排名问题暂且放一旁，收录才是关键首先，我们需要检查网站的robots协议访问网站的robotstxt文件，查看其中的allow和disallow规则是否存在问题不当的规则设置可能导致蜘蛛无法访问某些页面使用各大生成。
2、Frame框架和flash一样都是阻碍蜘蛛爬行的一道墙5要求登录 6强制使用Cookies 为了方便追踪用户信息，有些网站设置了强制用户登录跟踪用户访问路径强制用户使用Cookies等功能，如果用户不按照这种办法，就无法正常显示网站百度蜘蛛其实就相当于一个禁止cookies的浏览器，强制使用cookies只会给蜘蛛爬行造成。