(train_images, train_labels), (test_images, test_labels) = datasets.fashion_mnist.load_data() f = plt.figure(figsize=(12, 7)) f.suptitle('Label Counts for a Sample of Clients') client_data = collections.OrderedDict() for i in range(6): client_data[f'client_{i}'] = ( train_images[i*1000:(i+1)*1000], train_labels[i*1000:(i+1)*1000]) plot_data = collections.defaultdict(list) for example in client_data[f'client_{i}']: label = example[0].numpy() #images, labels = example[] #label = labels.numpy() plot_data[label].append(label) for i in range(6): plt.subplot(2, 3, i+1) plt.title('Client {}'.format(i)) for j in range(10): plt.hist( plot_data[j], density=False, bins=[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

这段代码展示了如何通过深度神经网络实现简单的领域自适应（Domain Adaptation）。它利用MNIST作为源域数据集，并将其学到的知识迁移到目标域USPS上。以下是逐段详细解析： --- ### **1. 导入必要的库并加载数据** ```python from tensorflow.keras.datasets import mnist, usps ... (mnist_train_images, ...), (...) = mnist.load_data() (usps_train_images, ...), (...) = usps.load_data() ``` - 分别从Keras内置的数据集中加载MNIST手写数字图片以及USPS邮政服务的手写字体图像。 - 这两个数据库虽然都包含相似类别标签(即0~9十个阿拉伯数字)，但是它们之间的风格差异较大——比如分辨率大小、书写方式等，这就构成了跨领域的典型应用场景之一。 --- ### **2. 数据预处理** ```python mnist_train_images = mnist_train_images.reshape(-1, 28*28).astype('float32') / 255 usps_train_images = usps_train_images.reshape(-1, 28*28).astype('float32') / 255 ... ``` - 将原始二维灰度图转化为一维向量形式以便后续输入全连接层操作； - 归一化像素值到[0, 1]范围之内有助于加快收敛速度并且避免梯度过大导致数值不稳定现象发生； - 使用 `to_categorical()` 函数把整数编码转换成独热编码(one-hot encoding)表示法方便做多分类任务损失函数计算使用。 --- ### **3. 构建及训练源领域模型(Source Domain Model)** ```python input_tensor = Input(shape=(28*28,)) x = Dense(256, activation='relu')(input_tensor) output_tensor = Dense(10, activation='softmax')(x) source_model = Model(inputs=input_tensor, outputs=output_tensor) source_model.compile(optimizer='adam', ...) source_model.fit(...) ``` - 创建一个多层感知机架构的基础分类器：先经过两层隐藏单元数目分别为256节点的ReLU激活层提取特征映射空间表征；然后由一个Softmax输出层给出最终预测结果概率分布； - 编译该模型采用Adam优化算法配合交叉熵代价衡量标准进行监督式学习过程； - 最终在丰富的MNIST训练样本之上完成一轮初步拟合工作得到较好的泛化能力基础版本。 --- ### **4. 提取特征用于新环境下的迁移**(Feature Extraction for Transfer Learning): ```python feature_extractor = Model(inputs=source_model.input, ..., ) target_output = Dense(10, activation='softmax')(...) domain_adapt_model = Model(...) ``` - 基于已经训练好的源头端子网构建出一个新的共享特征抽取模块 - 即保留原来中间各层结构不变仅移除掉末端决策部分形成独立功能组件; - 接着将上述生成的功能块嵌套进另一个完整体系里构成适合应对未知场景的新一代解决方案框架. --- ### **5. 训练&验证改进后的系统表现状况** ```python domain_adapt_model.fit(usps_train_images,...) test_loss, test_acc = domain_adapt_model.evaluate(...) ``` - 把先前从未接触过的USPS材料拿过来当作目标任务实例集合再次执行迭代寻优流程直至达到预期效果为止. - 打印评测得分了解实际运用价值所在. --- ### 总结思考方向: 本示例提供了一种直观易懂的方式来进行简单有效的领域转移尝试。然而值得注意的是这里仅仅是采用了最朴素的基本思想来解决问题而已，在真实世界当中往往还需要结合更多的高级技巧诸如对抗性生成网络之类的技术手段才能取得更好的成果！

在这个代码片段中，我们正在构建并训练一个用于识别手写数字的神经网络模型。以下是需要补充的部分代码以及对其功能的解释： ### 补充代码部分： ```python network.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,))) network.add(layers.Dense(10, activation='softmax')) ``` --- ### 解释每一步的作用： #### **加载 MNIST 数据** 通过 `mnist.load_data()` 加载了手写数字数据集，并将其分为训练集 (`train_images`, `train_labels`) 和测试集 (`test_images`, `test_labels`)。 - 训练集中有 60000 张图片，每个图片大小为 \(28 \times 28\) 的灰度图。 - 测试集中有 10000 张图片。 #### **预处理步骤** 1. 将图像形状展平成一维向量： ```python train_images = train_images.reshape((60000, 28 * 28)) test_images = test_images.reshape((10000, 28 * 28)) ``` 2. 归一化像素值到 [0, 1] 范围内： ```python train_images = train_images.astype('float32') / 255 test_images = test_images.astype('float32') / 255 ``` 3. 使用 one-hot 编码对标签进行转换： ```python from keras.utils import to_categorical train_labels = to_categorical(train_labels) test_labels = to_categorical(test_labels) ``` --- #### **搭建神经网络结构** 这里添加了一个简单的全连接层（Dense Layer）架构： 1. 第一层是一个包含 512 个节点的隐藏层，激活函数选择 ReLU： ```python network.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,))) ``` 这里的输入形状 `(28 * 28,)` 对应于展开后的单张图片的所有像素点数。 2. 输出层由 10 个节点组成（对应于十个类别：数字 0 到 9），激活函数选择 Softmax 来计算概率分布： ```python network.add(layers.Dense(10, activation='softmax')) ``` --- #### **编译与训练** 接下来设置优化器、损失函数及评估指标： ```python network.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) ``` 接着开始实际训练过程，在此过程中指定每次迭代所使用的批次样本数目和总的轮次次数（epoch 数）： ```python network.fit(train_images, train_labels, epochs=5, batch_size=128) ``` 最后用测试数据评估模型性能： ```python test_loss, test_acc = network.evaluate(test_images, test_labels) print('test_acc:', test_acc) ``` --- ### 完整版代码整合 完整补充之后的代码如下所示： ```python !mkdir -p ~/.keras/datasets !cp work/mnist.npz ~/.keras/datasets/ import warnings warnings.filterwarnings("ignore") from keras.datasets import mnist (train_images, train_labels), (test_images, test_labels) = mnist.load_data() # 查看数据维度信息 print(f"Train images shape: {train_images.shape}") print(f"Length of train labels: {len(train_labels)}") print(f"Test images shape: {test_images.shape}") print(f"Length of test labels: {len(test_labels)}") from keras import models from keras import layers network = models.Sequential() network.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,))) # 添加第一层 network.add(layers.Dense(10, activation='softmax')) # 添加第二层 network.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) # 预处理数据 train_images = train_images.reshape((60000, 28 * 28)).astype('float32') / 255 test_images = test_images.reshape((10000, 28 * 28)).astype('float32') / 255 from keras.utils import to_categorical train_labels = to_categorical(train_labels) test_labels = to_categorical(test_labels) # 开始训练 network.fit(train_images, train_labels, epochs=5, batch_size=128) # 模型评价 test_loss, test_acc = network.evaluate(test_images, test_labels) print('Test accuracy:', test_acc) ``` ---