1、2连接超时,抓取请求连接超时,可能原因服务器过载,网络不稳定3抓取超时,抓取请求连接建立后,下载页面速度过慢,导致超时,可能原因服务器过载,带宽不足4连接错误,无法连接或者连接建立后对方服务器拒绝二链接异常1访问被拒绝,爬虫发起抓取。
2、百度无法抓取网站,因为其robotstxt文件屏蔽了百度方法1修改robots文件并取消对该页面的阻止机器人的标准写法详见百度百科网页链接2更新百度站长平台更名为百度资源平台上的网站机器人过一段时间,你的网站会被正常抓取收录影响Robots协议是网站出于安全和隐私原因设置的,旨在防止搜索引擎。