python爬虫request乱码_Python 爬虫使用Requests获取网页文本内容中文乱码

最新推荐文章于 2024-05-06 12:45:46 发布

极品小神蛋

最新推荐文章于 2024-05-06 12:45:46 发布

阅读量1.4k

点赞数 2

CC 4.0 BY-SA版权

文章标签： python爬虫request乱码

本文链接：https://blog.csdn.net/weixin_30140093/article/details/114446360

本文介绍了Python爬虫使用Requests库获取网页内容时遇到的中文乱码问题及其解决办法。通过检查Content-Type、使用chardet库检测编码以及手动设置Response.encoding来避免乱码现象。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 问题

使用Requests去获取网页文本内容时，输出的中文出现乱码。

2. 乱码原因

爬取的网页编码与我们爬取编码方式不一致造成的。如果爬取的网页编码方式为utf8，而我们爬取后程序使用ISO-8859-1编码方式进行编码并输出，这会引起乱码。如果我们爬取后程序改用utf8编码方式，就不会造成乱码。

3. 乱码解决方案

3.1 Content-Type

我们首先确定爬取的网页编码方式，编码方式往往可以从HTTP头(header)的Content-Type得出。

Content-Type，内容类型，一般是指网页中存在的Content-Type，用于定义网络文件的类型和网页的编码，决定浏览器将以什么形式、什么编码读取这个文件，这就是经常看到一些Asp网页点击的结果却是下载到的一个文件或一张图片的原因。如果未指定ContentType，默认为TEXT/HTML。charset决定了网页的编码方式，一般为gb2312、utf-8等

HTML语法格式:station_request = requests.get("http://blog.csdn.net/sunnyyoona")

content_type = station_request.headers['content-type']

print content_type # text/html; charset=utf-8

3.2 chardet

如果上述方式没有编码信息，一般可以采用chardet等第三方网页编码智能识别工具识别:pip install chardet

使用chardet可以很方便的实现文本内容的编码检测。虽然HTML页面有charset标签，但是有些时候并不准确，这时候我们可以使用chardet来进一步的判断:raw_data = urllib.urlopen('http://blog.csdn.net/sunnyyoona').read()

print chardet.detect(raw_data) #