Python 读取UTF-8-BOM 文件

最新推荐文章于 2022-05-24 22:51:19 发布
最新推荐文章于 2022-05-24 22:51:19 发布
阅读量6.6k 收藏 11
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/harry_haiwei/article/details/112255473
本文介绍如何在Python中正确处理带有BOM（字节顺序标记）的UTF-8编码文件，避免因BOM导致的空白字符或乱码问题。文中提供了一个简单的示例，展示了使用正确的编码方式来读取此类文件的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

类似WINDOWS自带的记事本等软件，在保存一个以UTF-8编码的文件时，会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。它是一串隐藏的字符，用于让记事本等编辑器识别这个文件是否以UTF-8编码。在linux平台处理windows上创建的文件时，要注意编码是否是带有bom。

记得在使用php是读取UTF-8 bom格式的文件时出现过乱码的情况，今天使用python读取windows上的一个文件时出现了开头字符是空白的情况，打开文件肉眼却看不到空格有，查看编码格式原来是utf-8-bom格式。

在python下读取带bom的utf-8格式的文件可以用encoding='utf_8_sig'   : 

with open('filename.txt', 'r', encoding='utf_8_sig') as fp:
	print(fp.read())
python处理文件首行读取问题 utf-8 BOM
gloryzyf
01-16 6745
文件有utf-8 bom和utf-8无bom格式 python在读取文件首行数据时，如果是utf-8 bom格式的文件，则首行读取的是有bom信息的，和utf-8 无bom格式的文件是不同的 可以用编辑器另存为utf-8 without BOM，也可以在代码中采用codecs.open来处理 [python] view plain copy
Python中文件编码错误的排查与修复
shejizuopin的博客
05-05 919
防御性编程原则显式优于隐式：始终明确指定文件编码错误处理优先：使用或处理非法字符BOM敏感操作：对UTF编码使用utf-8-sig代码审查清单✅ 所有文件操作是否指定了编码？✅ 跨平台文件传输是否使用UTF-8？✅ 日志文件是否使用一致编码？✅ 是否处理了可能包含BOM的文件？性能优化建议对大文件使用分块读取：def read_large_file(file_path, encoding='utf-8', chunk_size=1024*1024):break文件编码问题的本质是。
python读取utf8文件_python 读取带BOM的utf-8格式文件
weixin_39613385的博客
12-10 639
简言：在windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符它叫BOM,是用来声明编码等信息的,但python会把它当作文本解析解决办法:open的encoding参数for line in open('data.txt', encoding='utf-8-sig' ):UTF有哪些分类？UTF-8分为两种，一种是不带BOM的，一种是带BOM的。其中第一种不带BOM的...
python utf8 bom_python处理BOM
weixin_42166918的博客
01-12 1991
做文本处理的同学在windows下工作可能经常会遇到带BOM的utf-8编码文件，这时需要对文件头BOM处理一下，不然会带来一些不好的影响。BOM字符的表示是codecs.BOM_UTF8。首先要明确一点，在Python2中，codecs.BOM_UTF8是str类型，如果要与unicode进行对比的话需要转换一下。下面展示Python2采用不同的读文件方式时处理BOM的代码：with open(...
【Python学习 】如何将UTF-8编码转换成UTF-8 BOM编码？
字节卷动
06-23 8114
一、需求描述 在我之前的博客： 【我的Android进阶之旅】使用TextAnalysisTool来快速提高你分析文本日志的效率 中有介绍下面一个关于中文无法显示的问题，如下所示： 有时候，中文无法正常显示，如下所示都是乱码 这个时候，我们需要借助下 NotePad++ 工具，对整个日志文件进行转码，如下所示 我们发现，此文件用NotePad++ 打开，可以直接显示中文， 编码格式为 UTF-8编码 我们使用快捷键 Ctrl+A 全选日志内容，选择【编码】–>【使用 UTF-8 BOM编码】，将
Python 读取window下UTF-8-BOM 文件
weixin_30544657的博客
02-07 229
with open('target.txt', 'r', encoding='utf_8_sig') as fp: print(fp.read()) 转载于:https://www.cnblogs.com/clockwork/p/6373143.html
Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
09-17
### Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题 #### 一、背景介绍 在处理包含非英文字符的数据时，尤其是使用 Python 的 `csv` 模块来操作 CSV 文件时，可能会遇到字符编码问题，导致中文等非英文...
python读取ini文件utf-16 le,Python-使用BOM解码UTF-16文件
weixin_31477659的博客
01-30 1190
I have a UTF-16 LE file with BOM. I'd like to flip this file in to UTF-8 without BOM so I can parse it using Python.The usual code that I use didn't do the trick, it returned unknown characters instea...
批量utf文件转utf8-bom
01-15
"批量utf文件转utf8-bom"这个主题指的是将一批以UTF编码的文件转换为带有BOM（Byte Order Mark）的UTF-8编码。BOM是一个特殊的字节序列，用于标识文件的编码类型，对于UTF-8编码，BOM的字节序列为0xEF, 0xBB, 0xBF。...
python utf 8-sig_Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
weixin_39793794的博客
12-15 658
先举个例子，分别以不指定编码、指定编码为 utf-8、指定编码为 utf-8-sig 三种方式来做比较，再将写入 csv 文件和 txt 文件来做个对比一、不指定编码方式，直接存入 csv 文件import csvwith open('test.csv', 'w') as fp:writer = csv.writer(fp)writer.writerow(['汉语', '俄语', '韩语', '日...
利用AdoDb.Stream对象来读取UTF-8格式的文本文件
01-20
首先，我们来看读取UTF-8格式文本文件的`ReadFromTextFile`函数。这个函数接受两个参数：`FileUrl`，表示文件的URL或路径，以及`CharSet`，用于指定字符编码，这里设置为UTF-8。函数首先检查`FileUrl`是否为空或无效...
【Python 技巧】利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
12-23
先举个例子，分别以不指定编码、指定编码为 utf-8、指定编码为 utf-8-sig 三种方式来做比较，再将写入 csv 文件和 txt 文件来做个对比 一、不指定编码方式，直接存入 csv 文件 import csv with open('test.csv', 'w') as fp: writer = csv.writer(fp) writer.writerow(['汉语', '俄语', '韩语', '日语', '英语']) writer.writerow(['爱你', 'люблю тебя', '사랑해요', '愛しています', 'love you']) 此时
python 读取txt文件报错，Unexpected UTF-8 BOM (decode using utf-8-sig)
morling05的博客
05-09 5817
原因：txt包含BOM字符 处理办法有三种。 一、可通过NotePad 将Txt 文档修改为UTF-8 Without BOM 二、python脚本，读取txt文件时，encoding="utf-8-sig" file_path = "E:/国际化/" with open(file_path + "English.txt", encoding="utf-8-sig") as obj_file: english_content = obj_file.read() 三、将BOM头去掉
python3.2打开utf8的txt文件时BOM问题的解决办法
weixin_30375427的博客
05-13 428
在windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符 它叫BOM,是用来声明编码等信息的,但python会把它当作文本解析 解决办法:open的encoding参数 for line in open('1.txt', encoding='utf_8_sig' ): 转载于:https://www.cnblogs.co...
python版去UTF-8 BOM
weixin_30498807的博客
03-06 295
今天给app弄银联支付接口。直接copy银联的sdk。结果。安卓和ios始终报json格式错误。找了半天。都没找到问题。最后怀疑可能是BOM破坏了json的数据格式转换。验证后确认是BOM的问题。为方便以后遇见BOM的问题的快速解决。写了个python版本的去除BOM小脚本。。 1 #!/usr/bin/env python 2 3 import os,sys; ...
Java以UTF-8编码读写文件
jajavaja的专栏
06-15 2013
http://blog.csdn.net/dliyuedong/article/details/9568875 java中文件操作体现了设计模式中的装饰者模式 。 以utf-8编码写入文件： [java] view plain copy 在CODE上查看代码片派生到我的代码片 FileOutputStream fos = new FileOutputStream(“test.txt”);
python读取excel内容把空格去掉_Python3 去除 Excel 空白
weixin_39557419的博客
11-30 3166
【环境】Windows 10 下，Python 3.6，使用第三方包 openpyxl。【config.ini】[config];Excel文件名XlFile=D:\test\test.xlsx;需处理的表单名SheetName=Sheet1【trim_cell_for_excel.py】#encoding:utf-8#author:walker#date:2018-09-26#...
python 遍历文件转为UTF8-bom 格式
weixin_34854320的博客
05-24 583
python 遍历文件转为UTF8-bom 格式
Python读取文本文档时出现神奇的错误，UTF-8-BOM编码
XerCis的博客
05-09 2933
Notepad++→编码→使用 UTF-8 编码→保存
python文件读取 utf-8
最新发布
05-26
### Python 中以 UTF-8 编码读取文件并忽略换行符 在 Python 中，通过 `open()` 函数可以指定文件的编码格式为 UTF-8 并读取其内容。为了满足不使用换行符的要求，可以在读取整个文件后移除所有的换行符 `\n`。以下是具体实现方法： #### 方法一：一次性读取全部内容 利用 `read()` 方法将文件作为一个整体加载到内存中，并调用字符串的 `.replace('\n', '')` 方法来删除所有换行符。 ```python with open("example.txt", 'r', encoding='utf-8') as file: content = file.read().replace('\n', '') ``` 这种方法适用于较小规模的文件，因为它会把整份文档载入内存[^5]。 #### 方法二：逐行读取再拼接去除换行符 对于较大的文件，推荐按照行逐步处理，从而减少单次操作占用过多资源的风险。每读取一行之后立即去掉结尾可能存在的换行标志位然后再累积起来形成最终的结果串。 ```python content_parts = [] with open("example.txt", 'r', encoding='utf-8') as file: for line in file: stripped_line = line.rstrip('\n') content_parts.append(stripped_line) content = ''.join(content_parts) ``` 此策略不仅能够有效管理大型数据集而且还能灵活调整逻辑适应更复杂的场景需求[^4]。 #### 关于 BOM 的注意事项 当遇到带有 BOM(Byte Order Mark)标记的 UTF-8 文件(`UTF-8-SIG`)时，可能会触发类似于 `"Unexpected UTF-8 BOM"` 这样的异常提示。这是因为默认情况下 JSON 解析器期望纯粹形式的标准 UTF-8 流而非附加额外信息版本。因此建议先确认目标资料确实属于哪种类别后再决定采取相应措施加以应对。如果确定是因BOM引起的问题，则可尝试切换至 `'utf-8-sig'` 参数重新执行上述过程[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值