这种情况，建议在网站robotstxt文件中把这些404页面屏蔽掉看楼上有说用nofollow的，但是这些页面已经不存在了，只是URL还在百度库里面那么使用nofollow的话也不能解决了，也没地方放了另外，nofollow的意思是不传输这个链接或者页面的权重，对于这种404URL应该没有太大作用；例如，Soso蜘蛛的标识为“sosospider”在日志文件中查找“spider”或特定搜索引擎的IP地址，可以判断其他搜索引擎是否访问过你的网站常见的状态码包括404 表示请求的网页不存在503 表示服务器暂时不可用以上步骤可以帮助你了解百度及其他搜索引擎蜘蛛的访问情况。
IIS日志，通常是我们在使用windows服务器的时候经常用到的，作为SEOer，经常会去分析日志，这样就能查看到蜘蛛轨迹和网站收录的变更现象，当然这也只是一小部分原因，好了，闲话少说，当我们获取到网站的IIS日志之后， SEO顾问 觉得这个时候，我们看到百度蜘蛛来爬行我们网站返回状态码为404的，这么这条连接；目前，对于 200 0 64 的观点大致分为以下几种会话故障，请求不可到达，并非百度封站征兆 百度封站“拨毛”或放入沙盒 64位操作系统 乐思蜀参考了大量相关文章，虽未得出最终结论，但觉得第一种观点最合理，现分析如下首先来看 200 0 64 状态码的构成 200 0 64scstatus协议状态 sc。
最好不要，这样对百度蜘蛛抓取你的网站会有问题，最好模拟蜘蛛测试一下是不是返回200；当蜘蛛访问到一个不存在的页面，正常情况下会返回一个404状态码，告诉百度蜘蛛不要再索引这个页面可是有的时候由于某种原因，蜘蛛在索引一个不存在的页面，却返回一个200状态码成功索引，这就是软404这样一来，虽然在用户眼里，这是一个404页面，但是蜘蛛却认为这是一个正常页面软404后果 1。
403状态码象征着一个明确的拒绝信号，它表示访问被禁止或者不被允许当遇到这个代码时，意味着网站可能设置了权限限制，或者网页内容当前不对外公开百度搜索引擎在遇到403返回码时，会采取一定的策略对于新发现的链接，蜘蛛会暂时不抓取，等待一段时间后再重新尝试访问对于已收录的链接，即使被禁止访问；302跳转是服务器返回的一种状态码，用于告知浏览器或搜索引擎蜘蛛访问特定网址时，实际内容位于其他位置，通常被称为临时性重定向301重定向与302跳转的区别主要包括以下几点效果上的区别301重定向永久性地将流量和权重导向目标页面，适用于网站结构优化或域名变更等场合302跳转暂时性重定向，适用。
b百度蜘蛛BaiDu Spider 的访问次数停留的时间总抓取量反应了什么呢c其它搜索引擎的蜘蛛的访问次数停留的时间总抓取量那么少的原因是什么呢有没有改善的方法呢接下来，让我们来看看在蜘蛛状态码分析，我们最关心的问题这是只显示这个日志有问题的蜘蛛状态码，而已正常200将不被分析；如果那个时间站点空闲，那它就会被成功抓取了百度这里没有说过段时间是间隔多久，也没有说网站使用503返回码多长时间后百度不再抓取网页我的建议还是在返回503状态码后还是尽快恢复访问，搜索引擎肯定不会有多大的耐性反悔503是好事情 你网站短时间打不开的问题。
seo_seo技术蜘蛛屯
那么，网站抓取诊断失败的原因有哪些呢首先，Robotstxt封禁是一个常见问题如果站长在Robotstxt中屏蔽了百度抓取网站某个目录，导致蜘蛛无法访问该目录，进而无法抓取目录下的内容，抓取诊断自然会显示失败其次，网站访问速度也是一个影响因素有时候，本地测试网站返回的是。
这个IP地址是发送请求的来源，这里是百度蜘蛛的IPMozilla50+compatible+Baiduspider20++。
真正决定网站排名的是用户和同行的认可度蜘蛛抓取日志中显示的不同状态码代表了不同的情况，例如200表示正常抓取，301表示有链接重定向，304表示页面无更新频繁的抓取次数虽能带来好心情，但并不能直接提升网站权重权重的提升需要高质量的内容和优质外链的双重保障，这两者同时具备时，网站才会受到百。
总的来说，搜索引擎蜘蛛在请求某个URL时得到“404”状态回应时，即知道该URL已经失效，便不再索引该网页，并向数据中心反馈将该URL表示的网页从索引数据库中删除，当然，删除过程有可能需要很长时间而当搜索引擎得到“200”状态码时，则会认为该url是有效的，便会去索引，并会将其收录到索引数据库。
百度蜘蛛状态码200是什么
1、什么是301重定向301重定向或叫301跳转301转向是用户或搜索引擎蜘蛛向网站服务器发出访问请求时，服务返回的。
2、对于网站中出现死链接的时候，要设置百度蜘蛛抓取返回404的状态码以便百度蜘蛛能得到正确的反馈3，避免预期以外的封禁 常见的预期意外的封禁有建站模板中的封禁信息，服务器自动封禁策略，网站所在空间服务商封禁IP导致，在网站内容抓取异常时候可以考虑以上因素进行逐一排查还有最常见的屏蔽百度蜘蛛抓取的。
3、百度蜘蛛返回的状态码涵盖了多种情况，以帮助理解请求处理的响应成功状态通常以200表示，意味着请求已完全完成，一切正常例如，201状态表明紧随POST命令后，请求已被成功接收202表示请求已被接受进行处理，但处理尚未结束，可能需要后续的跟踪对于重定向，301是永久重定向，意味着数据的位置已永久改变。