无论如何都没有用什么robots禁止 站长工具申请 发邮件，统统无效每天它想爬多少就多少搞到网站宕机。
接着我们登录后，我们在搜狗站长平台首页上点击站长工具，url提交，如下图所示接着我们把我们需要提交的东西准备好久可以了，具体有 站点网址例 站点类型pc站点 wap站点 自适应站点的选择 原因描述 邮箱 验证码 最后点击提交网址，到这里，我们等待搜狗蜘蛛抓取你的。
在互联网世界中，搜索引擎蜘蛛的每一次访问都可能对网站的命运产生深远影响本文精心梳理了百度谷歌360搜狗和神马等主流搜索引擎的蜘蛛IP段，带你深入了解它们的行为规律和权重影响让我们一起探索这些数字背后的秘密吧百度蜘蛛的足迹电信段lt 5123，抓取速度较快，权重较高。
baiduspider，IIS日志下载方法登录网站空间，找到日志下载，下载到本地进行查找 打开下载的文件，进行查找以查找baiduspider为例，下面一句就是蜘蛛访问过的一条记录 查找其他蜘蛛可以输入其他蜘蛛名称，如360360spider，谷歌Googlebot，sosososospider，搜狗sogou news spider。