UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 239: illegal multibyte sequence

### 解决 Python 中 GBK 编码解码错误的方法 当遇到 `UnicodeDecodeError` 错误提示 `'gbk' codec can't decode byte...` 时，这通常意味着程序尝试使用不兼容的字符集来解析文件中的字节序列。具体来说，在读取含有特殊字符或不同编码格式的数据时出现问题。 为了有效处理此类异常情况并确保能够正确加载目标文档的内容，建议采取以下措施： #### 方法一：指定正确的文本编码方式 最直接的办法是在打开文件的时候指明合适的编码参数。对于大多数包含中文字符的情况而言，采用 UTF-8 而不是默认的 GBK 可以避免很多不必要的麻烦[^3]。 ```python def load_data(filename): D = [] with open(filename, 'r', encoding='utf-8') as f: for i, line in enumerate(f): record = json.loads(line.strip()) text, label = record.get('sentence'), record.get('label') if isinstance(label, str) and label.isdigit(): D.append((text, int(label))) return D ``` 这里通过设置 `encoding='utf-8'` 参数告诉解释器按照 UTF-8 的方式进行字符串转换操作，从而绕过了原本由 GBK 带来的障碍。 #### 方法二：捕获潜在的编码头部声明冲突 有时即使已经设置了正确的编码选项，仍然会因为源文件内部存在 BOM (Byte Order Mark) 或其他形式的隐含编码指示而导致失败。此时可以考虑先检测是否存在这些干扰因素，并相应调整策略[^2]。 ```python import codecs def detect_encoding_and_read(file_path): try: detector = UniversalDetector() for line in open(file_path, 'rb'): detector.feed(line) if detector.done: break detector.close() encodings = ['utf-8-sig', 'utf-16'] detected_enc = detector.result['encoding'].lower() if detector.result else None # 如果自动探测到有效的编码，则优先使用它；否则依次尝试预定义列表里的几种常见编码 chosen_enc = next((enc for enc in encodings if enc.startswith(detected_enc)), encodings[0]) content = '' with codecs.open(file_path, 'r', encoding=chosen_enc) as fp: content += fp.read() return content except Exception as e: raise ValueError("Failed to read file due to {}".format(str(e))) from charset_normalizer import from_bytes, md__mypyc UniversalDetector = type(from_bytes(b"").best()) # 动态获取 UniversalDetector 类型 ``` 上述代码片段展示了如何利用第三方库 `charset-normalizer` 来帮助识别未知文件的实际编码类型，并据此做出适当的选择。 #### 方法三：忽略无法识别的字符 如果确实有必要保留原始数据而不在乎某些特定符号的表现形式的话，还可以选择性地跳过那些引起问题的部分。不过需要注意的是这样做可能会丢失部分重要信息，因此只适用于对精确度要求不高或者允许一定程度失真的场景下[^4]。 ```python with open(filename, "r", errors="ignore") as fin: data = fin.readlines() ``` 此方法中加入了 `errors="ignore"` 参数，使得任何不符合当前设定编码标准的字符都将被简单舍弃而不抛出异常。