百度是会爬取这两个文件的 js和css 这两个文件，但是有的个别情况百度会抓取并放出来，但是这个对我们的站点自身并没有什么大的影响，我们也可以在roobt文件中设置成屏蔽抓取也是可以的。
我们所熟悉的一系列搜索引擎都是大型的网络爬虫，比如百度搜狗360浏览器谷歌搜索等等每个搜索引擎都拥有自己的爬虫程序，比如360浏览器的爬虫称作360Spider，搜狗的爬虫叫做Sogouspider百度搜索引擎，其实可以更形象地称之为百度蜘蛛Baiduspider，它每天会在海量的互联网信息中爬取优质的信息，并。