34、Python 网络请求库requests实战：从基础到高阶应用

wolf犭良

于 2025-04-18 08:46:05 发布

阅读量699

点赞数 15

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 网络开发语言

本文链接：https://blog.csdn.net/ldz_wolf/article/details/147319057

python 专栏收录该内容

49 篇文章

订阅专栏

Python 网络请求库requests实战：从基础到高阶应用

一、引言

在当今数据驱动的时代，网络请求已成为Python开发的核心技能之一。requests库凭借其简洁优雅的API设计，成为Python开发者处理HTTP请求的首选工具。本文将从HTTP协议基础讲起，通过10+个实战代码示例，深度解析GET/POST请求、会话管理、高阶代理配置等核心功能，并探讨企业级开发中的OAuth认证、分布式请求重试等进阶技巧。

二、HTTP协议核心概念速览

1. 请求方法语义

方法	幂等性	安全性	典型场景
GET	✔️	✔️	获取资源
POST	❌	❌	创建资源/提交数据
PUT	✔️	❌	全量更新资源
DELETE	✔️	❌	删除资源

2. 关键状态码解析

# 常见状态码处理策略
if response.status_code == 200:
    process_data(response.json())
elif response.status_code == 401:
    refresh_token()
elif response.status_code >= 500:
    retry_request()

三、requests快速入门

1. 安装与环境配置

pip install requests

2. GET请求基础模板

import requests

response = requests.get(
    url='https://api.example.com/data',
    params={'page': 2, 'limit': 50},  # 自动URL编码
    headers={'User-Agent': 'Mozilla/5.0'}
)

print(f"Status Code: {response.status_code}")
print(f"Response Time: {response.elapsed.total_seconds()}s")
print(f"Encoding Detected: {response.encoding}")

关键点说明：

params参数自动处理URL编码
始终建议设置合理的User-Agent
响应时间监控对性能调优至关重要

四、POST请求实战技巧

1. 表单提交与JSON传输

# 表单形式提交
response = requests.post(
    'https://api.example.com/login',
    data={'username': 'admin', 'password': 'secret'}
)

# JSON格式提交（自动设置Content-Type）
response = requests.post(
    'https://api.example.com/api/v1/users',
    json={'name': 'Alice', 'email': 'alice@example.com'},
    headers={'Authorization': 'Bearer xyz123'}
)

2. 文件上传实现

with open('report.pdf', 'rb') as f:
    files = {'document': ('Q3_report.pdf', f, 'application/pdf')}
    response = requests.post(
        'https://api.example.com/upload',
        files=files,
        timeout=30  # 设置超时时间
    )

五、会话管理与高级配置

1. Session对象的最佳实践

with requests.Session() as session:
    # 统一设置请求头
    session.headers.update({'X-API-Key': 'your_api_key'})
    
    # 首次登录获取cookies
    session.post('https://api.example.com/login', data=credentials)
    
    # 后续请求自动携带cookies
    profile = session.get('https://api.example.com/profile').json()

优势分析：

TCP连接复用提升性能
自动维护Cookie持久化
统一配置请求参数

2. 代理配置与IP轮询

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}

response = requests.get(
    'http://external-api.com/data',
    proxies=proxies,
    verify='/path/to/cert.pem'  # SSL证书验证
)

六、企业级异常处理方案

1. 结构化异常捕获

from requests.exceptions import RequestException

try:
    response = requests.get(url, timeout=5)
    response.raise_for_status()  # 自动触发HTTP错误
except RequestException as e:
    logger.error(f"Request failed: {str(e)}")
    if isinstance(e, Timeout):
        retry_strategy()
    elif e.response.status_code == 429:
        backoff_algorithm()

2. 请求重试装饰器实现

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry_strategy = Retry(
    total=3,
    backoff_factor=1,
    status_forcelist=[429, 500, 502, 503, 504]
)

session = requests.Session()
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount('https://', adapter)

七、OAuth2.0认证实战

# 获取访问令牌
auth_response = requests.post(
    'https://oauth.example.com/token',
    auth=('client_id', 'client_secret'),
    data={'grant_type': 'client_credentials'}
)

access_token = auth_response.json()['access_token']

# 使用令牌访问受保护资源
api_response = requests.get(
    'https://api.example.com/protected',
    headers={'Authorization': f'Bearer {access_token}'}
)

八、性能优化与调试技巧

1. 连接池配置

from requests.adapters import HTTPAdapter

adapter = HTTPAdapter(pool_connections=100, pool_maxsize=100)
session = requests.Session()
session.mount('https://', adapter)

2. 请求日志记录

import logging
from http.client import HTTPConnection

HTTPConnection.debuglevel = 1
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)