EMNIST数据集简介

### EMNIST 数据集简介 EMNIST 数据集是对经典 MNIST 数据集的扩展，包含了更多的字符类别，不仅限于数字 0 到 9，还增加了大写字母、小写字母和其他符号。该数据集广泛应用于手写字符识别任务中[^1]。 EMNIST 提供了几种不同的变体，每种变体都有特定的应用场景： - **ByClass**: 包含所有可能的字符类别的平衡分布。 - **ByMerge**: 将某些容易混淆的小写字母与大写字母合并。 - **Balanced**: 平衡了每个类别的样本数量。 - **Letters**: 只包含字母（不区分大小写）。 - **Digits**: 类似于原始 MNIST 数据集，仅包含数字。 - **MNIST**: 原始 MNIST 数据集的子集。 --- ### 下载和加载 EMNIST 数据集的方法 #### 使用 TensorFlow Datasets 加载 EMNIST TensorFlow Datasets (TFDS) 是一种简单的方式来下载并加载常用的数据集。以下是通过 TFDS 获取 EMNIST 数据集的具体方法： ```python import tensorflow_datasets as tfds # 加载 EMNIST 数据集中的 'balanced' 版本 (ds_train, ds_test), ds_info = tfds.load( 'emnist/balanced', split=['train', 'test'], shuffle_files=True, as_supervised=True, with_info=True ) def normalize_img(image, label): """将图像标准化到 [0, 1] 范围""" return tf.cast(image, tf.float32) / 255., label # 对数据进行预处理 ds_train = ds_train.map(normalize_img, num_parallel_calls=tf.data.AUTOTUNE) ds_train = ds_train.cache().shuffle(ds_info.splits['train'].num_examples).batch(128).prefetch(tf.data.AUTOTUNE) ds_test = ds_test.map(normalize_img, num_parallel_calls=tf.data.AUTOTUNE) ds_test = ds_test.batch(128).cache().prefetch(tf.data.AUTOTUNE) ``` 以上代码展示了如何使用 `tensorflow_datasets` 来加载 EMNIST 数据集，并对其进行基本的预处理操作，例如归一化和批量化[^2]。 --- #### 手动下载 EMNIST 数据集 如果需要手动下载 EMNIST 数据集，可以访问其官方存储位置或相关资源链接。通常情况下，可以通过以下方式完成： 1. 访问官方网站或其他可信源获取 `.gz` 文件压缩包。 2. 解压文件后读取其中的二进制数据。 以下是一个简单的 Python 实现来解析这些文件： ```python from PIL import Image import numpy as np import gzip import idx2numpy # 定义路径 file_path_images = './data/emnist-balanced-train-images-idx3-ubyte.gz' file_path_labels = './data/emnist-balanced-train-labels-idx1-ubyte.gz' # 解压并加载数据 with gzip.open(file_path_images, 'rb') as f: images = idx2numpy.convert_from_file(f) with gzip.open(file_path_labels, 'rb') as f: labels = idx2numpy.convert_from_file(f) # 显示第一个图像及其标签 img = Image.fromarray(np.uint8(images[0].T)) print(f"Label: {labels[0]}") img.show() ``` 此脚本演示了如何解压 `.gz` 文件并将它们转换为 NumPy 数组以便进一步分析[^3]。 --- ### 应用实例：构建一个简单的 CNN 模型 一旦成功加载了 EMNIST 数据集，便可以用它训练神经网络模型。这里给出一个基础卷积神经网络的例子： ```python import tensorflow as tf model = tf.keras.models.Sequential([ tf.keras.layers.InputLayer(input_shape=(28, 28, 1)), tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), activation='relu'), tf.keras.layers.MaxPooling2D(pool_size=(2, 2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(units=128, activation='relu'), tf.keras.layers.Dense(units=len(ds_info.features['label'].names), activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) history = model.fit(ds_train, epochs=10, validation_data=ds_test) ``` 这段代码定义了一个小型 CNN 架构，并对其进行了编译和训练过程设置[^4]。 ---