python | urllib3，一个超强的 Python 库！

本文来源公众号“python”，仅用于学术分享，侵权删，干货满满。

原文链接：urllib3，一个超强的 Python 库！

大家好，今天为大家分享一个超强的 Python 库 - urllib3。

Github地址：https://github.com/urllib3/urllib3

在现代 Web 开发中，与服务器进行 HTTP 通信是一项常见任务。Python 提供了许多库来处理 HTTP 请求和响应，其中 urllib3 库是一个强大而灵活的选择。本文将深入探讨 urllib3 库的各个方面，包括其背景、核心特性、使用方法以及实际应用场景，帮助大家更好地了解和利用这个强大的 HTTP 客户端库。

1 urllib3是什么？

Python 的 urllib3 库是一个用于处理 HTTP 请求和响应的库，它建立在 Python 标准库的 urllib 模块之上，提供了更高级别、更健壮的 API。与标准库中的 urllib 和 urllib2 模块相比，urllib3 提供了更加友好和方便的接口，支持连接池、重试、自动重定向等功能，使得 HTTP 客户端的编写变得更加简单和可靠。

2 核心特性

2.1. 连接池管理

urllib3 支持连接池管理，可以在多个请求之间复用连接，减少连接建立的开销，提高性能和效率。

2.2. SSL/TLS 支持

urllib3 支持 SSL/TLS 加密连接，保障数据传输的安全性，可以验证服务器的证书，并支持自定义证书和密钥。

2.3. 支持代理

urllib3 支持使用代理服务器进行 HTTP 请求，可以轻松地配置和使用代理，实现更灵活的网络访问。

2.4. 自动重试

urllib3 支持自动重试功能，可以在请求失败时自动重试，减少网络异常带来的影响，提高程序的健壮性。

2.5. 文件上传和下载

urllib3 提供了方便的接口来处理文件上传和下载，支持大文件的分块传输，提高文件传输的效率。

3 使用方法

3.1. 发送 GET 请求

import urllib3

http = urllib3.PoolManager()
response = http.request('GET', 'https://api.example.com/data')
print(response.status)
print(response.data)

3.2. 发送 POST 请求

import urllib3

http = urllib3.PoolManager()
data = {'key': 'value'}
response = http.request('POST', 'https://api.example.com/submit', fields=data)
print(response.status)
print(response.data)

3.3. 使用连接池

import urllib3

http = urllib3.PoolManager()
r1 = http.request('GET', 'https://api.example.com/resource1')
r2 = http.request('GET', 'https://api.example.com/resource2')

4 实际应用场景

4.1. 发送 HTTP 请求

使用 urllib3 可以轻松地发送 HTTP 请求，访问 Web 页面或者调用 Web 服务。

import urllib3

# 创建连接池
http = urllib3.PoolManager()

# 发送 GET 请求
response = http.request('GET', 'https://api.example.com/data')

# 打印响应内容
print(response.data.decode('utf-8'))

4.2. 文件下载

可以利用 urllib3 来下载文件，支持断点续传和进度显示等功能。

import urllib3

# 创建连接池
http = urllib3.PoolManager()

# 发送 GET 请求下载文件
with open('downloaded_file.zip', 'wb') as f:
    with http.request('GET', 'https://example.com/large_file.zip', preload_content=False) as resp:
        for chunk in resp.stream():
            f.write(chunk)

4.3. 数据上传

利用 urllib3 可以方便地上传数据到 Web 服务器，比如上传文件或者表单数据。

import urllib3

# 创建连接池
http = urllib3.PoolManager()

# 准备要上传的文件
with open('upload_file.txt', 'rb') as f:
    file_data = f.read()

# 发送 POST 请求上传文件
response = http.request(
    'POST', 
    'https://example.com/upload', 
    fields={'file': ('upload_file.txt', file_data)}
)

# 打印上传结果
print(response.data.decode('utf-8'))

4.4. 使用代理

可以通过 urllib3 来使用代理服务器发送 HTTP 请求，以实现网络访问的匿名性和安全性。

import urllib3

# 创建代理连接池
http = urllib3.ProxyManager('http://proxy.example.com:8080')

# 使用代理发送请求
response = http.request('GET', 'https://example.com')

# 打印响应内容
print(response.data.decode('utf-8'))

4.5. 设置超时和重试

在网络请求中，可以设置超时时间和重试次数，以应对网络不稳定或者服务器响应缓慢的情况。

import urllib3

# 创建连接池，设置超时和重试
http = urllib3.PoolManager(timeout=urllib3.Timeout(connect=2.0, read=5.0), retries=urllib3.Retry(3))

# 发送 GET 请求
response = http.request('GET', 'https://example.com')

# 打印响应内容
print(response.data.decode('utf-8'))

5 总结

urllib3 是一个强大而灵活的 HTTP 客户端库，提供了丰富的功能和易用的 API，适用于各种场景下的 HTTP 请求和响应处理。通过连接池管理、SSL/TLS 支持、自动重试等功能，urllib3 可以帮助开发者更轻松地构建稳健、高效的网络应用程序。无论是向 Web 服务器发送请求、处理 API 数据、下载文件还是进行网络测试，urllib3 都是一个强大的工具，值得开发者深入学习和应用。

THE END!

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。