Python requests之Cookie

java1234_小锋

于 2023-10-29 20:38:28 发布

阅读量617

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python 爬虫 python爬虫 requests库 requests python requests

本文链接：https://blog.csdn.net/caoli201314/article/details/134107524

Python 专栏收录该内容

257 篇文章

订阅专栏

本文详细介绍了如何使用Python的requests库处理登录会话，通过POST请求获取Cookie，然后利用Cookie获取登录后受限资源的示例，涉及requests、Cookie管理和登录后抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

视频版教程：一天掌握python爬虫【基础篇】涵盖 requests、beautifulsoup、selenium

在某些需要登录的网站或者或者应用，假如我们需要抓取登录后的内容，技术上本质通过session会话实现。服务器端存会话信息，浏览器通过Cookie携带客户端访问用户信息，来实现会话机制。

requests对Cookie有很好的支持。

我们看一个实例。

http://download.java1234.com/

这个网站，假如需要看抓取登录后的用户下载的资源信息

http://download.java1234.com/user/userDownload/list/1

这时候的思路是先post方式登录系统，获取返回的cookie，然后我们带上cookie再请求用户下载资源信息url。

参考代码：

import requests

url = "http://download.java1234.com/user/login"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}

data = {
    'userName': 'python222',
    'password': '123456'
}

r = requests.post(url=url, data=data, headers=headers)

print(r.text)
print(r.headers)
cookieJar = r.cookies
for c in cookieJar:
    print(c.name, c.value)

targetUrl = "http://download.java1234.com/user/userDownload/list/1"

r2 = requests.get(url=targetUrl, headers=headers, cookies=cookieJar)
print(r2.text)