编写爬虫代码开始，首先导入需要用到的库，并定义一个请求头Cookie是个关键，如果不加Cookie，响应码可能不是200，获取不到数据获取Cookie的方法是打开Chrome浏览器，访问百度页面，按F12进入开发者模式，依次操作分析页面请求地址，其中wd=后面是搜索关键字quot马哥python说quot，pn=后面是10规律第一。
搜索引擎和爬虫是两个不同的概念搜索引擎是一种通过关键词搜索来获取相关信息的工具它通过爬虫技术从互联网上抓取网页，并将这些网页进行索引和存储当用户输入关键词进行搜索时，搜索引擎会根据索引中的信息，返回与关键词相关的网页结果而爬虫是一种自动化获取互联网上信息的技术它通过编写程序。