Python爬虫基本流程

爬虫定义

爬虫是请求网站并提取自己所需要数据的过程。通过我们的程序，可以代替我们向服务器发送请求，然后进行批量的数据下载。

 爬虫基本流程

发起请求

通过url向服务器发送requests请求，请求可以包含额外的header信息。

2.获取响应内容

如果服务器正常响应，那么将受到一个response，response即为我们所请求的网页内容，可能包含html\json\二进制数据(图片、视频)等。

解析内容

如果是html代码则可以使用网页解析器进行解析；如果是json数据则可以转换成json对象进行解析；如果是二进制数据则可以保存到文件进行进一步的处理。

保存数据

可以保存到本地文件，也可以保存到数据库(mysql\redis\mongodb等)。

requests请求

当我们通过浏览器向服务器发送requests请求时，这个request包含什么内容？可以通过chrome浏览器的开发人员工具(F12)查看。

请求方式

最常用的请求方式包括get请求和post请求。

post请求在开发中最常见的是通过表单进行提交，从用户角度来讲最常见的就是登陆验证。当你需要输入一些信息进行登陆的时候，这次请求就是post请求。

get请求最常见的就是搜索回车之后，信息将以?间隔添加在url后面。类似于https://www.baidu.com/s?wd=python3%20requests。而且get请求是用来获取数据，是幂等的。

其他还包括put请求(向服务端发送信息从而改变内容)和delete请求(删除资源)。

对于资源的操作，其实都可以通过post/get完成，不需要用到put/delete，实际中put/delete也很少用。

uri统一资源定位符

一个网址、一个视频、一个图片都可以用uri去定义

requests headers

请求头，包括这次请求的类型，cookie信息以及浏览器类型等。

请求头在我们进行网页抓取的时候，服务器会通过解析请求头来进行信息的审核，判断请求是否为合法请求。所以当我们通过程序伪装浏览器进行请求的时候可以设置请求头的信息。

请求体

post请求会把用户信息包装在form-data里面进行提交，因此相比于get请求，post请求的Headers标签的内容会多出Form Data这个信息包。

response

响应状态

通过Headers中的General可以看到status code，使用数字代码表示对于状态，200表示成功，301跳转，404找不到网页，502服务器错误等。

响应头

包括内容的类型，cookie信息等。

响应体

请求的目的就是为了得到响应体，包括html代码，json及二进制数据等。

requests模块

安装使用pip install requests即可。

通过requests进行网页请求

返回的response为文本时通过response.text读取；图片和视频等二进制文件通过response.content读取。

通过添加请求头信息

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36'}

response1 = requests.get('https://www.baidu.com', headers=headers)

 关于Python技术储备

点击链接直达获取资料（安全链接，大家可放心点击）

Python学习路线（2023修正版）附涉及资料《Python学习资料》，已经打包好了，自取【ps：需要领取的资料（请备注清楚，查找与发送给你）】。因链接常https://mp.weixin.qq.com/s/UVxw0daFCgAMFhz9cfrjAQ

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费】Python学习路线（2023修正版）附涉及资料《Python学习资料》，已经打包好了，自取【ps：需要领取的资料（请备注清楚，查找与发送给你）】。因链接常https://mp.weixin.qq.com/s/UVxw0daFCgAMFhz9cfrjAQ