完美解决python 爬虫中文乱码

Daviag

于 2019-06-12 16:25:03 发布

阅读量629

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫中文编码编码错误

本文链接：https://blog.csdn.net/qq_27769677/article/details/91552854

本文介绍如何利用Python的Requests库设置自定义的User-Agent进行HTTP请求，并展示了解析响应内容的方法，通过decode函数将获取的内容从GBK编码转换为可读格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
}

req = requests.get(url,headers=headers)
# 如果设置为replace，则会用?取代非法字符,''也可
print(req.content.decode('gbk','replace'))