神经网络案例

         使⽤⼿写数字的MNIST数据集如上图所示，该数据集包含60,000个⽤于训 练的样本和10,000个⽤于测试的样本，图像是固定⼤⼩(28x28像素)，其 值为0到255。

# 导⼊相应的⼯具包
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['figure.figsize'] = (7,7) # Make the figures a
import tensorflow as tf
# 数据集
from tensorflow.keras.datasets import mnist
# 构建序列模型
from tensorflow.keras.models import Sequential
# 导⼊需要的层
from tensorflow.keras.layers import Dense, Dropout, Activat
# 导⼊辅助⼯具包
from tensorflow.keras import utils
# 正则化
from tensorflow.keras import regularizers

数据加载

⾸先加载⼿写数字图像

# 类别总数
nb_classes = 10
# 加载数据集
(X_train, y_train), (X_test, y_test) = mnist.load_data()
# 打印输出数据集的维度
print("训练样本初始维度", X_train.shape)
print("训练样本⽬标值初始维度", y_train.shape)
结果为：
 训练样本初始维度 (60000, 28, 28)
 训练样本⽬标值初始维度 (60000,)

数据展示：

# 数据展示：将数据集的前九个数据集进⾏展示
for i in range(9):
    plt.subplot(3,3,i+1)
    # 以灰度图显示，不进⾏插值
    plt.imshow(X_train[i], cmap='gray')
    # 设置图⽚的标题：对应的类别
    plt.title("数字{}".format(y_train[i]))

 数据处理

        神经⽹络中的每个训练样本是⼀个向量，因此需要对输⼊进⾏重塑，使每 个28x28的图像成为⼀个的784维向量。另外，将输⼊数据进⾏归⼀化处 理，从0-255调整到0-1。

# 调整数据维度：每⼀个数字转换成⼀个向量
X_train = X_train.reshape(60000, 784)
X_test = X_test.reshape(10000, 784)
# 格式转换
X_train = X_train.astype('float32')
X_test = X_test.astype('float32')
# 归⼀化
X_train /= 255
X_test /= 255
# 维度调整后的结果
print("训练集：", X_train.shape)
print("测试集：", X_test.shape)

另外对于⽬标值我们也需要进⾏处理，将其转换为热编码的形式：

实现⽅法如下所示：

# 将⽬标值转换为热编码的形式
Y_train = utils.to_categorical(y_train, nb_classes)
Y_test = utils.to_categorical(y_test, nb_classes)

模型构建

        在这⾥我们构建只有3层全连接的⽹络来进⾏处理：

构建⽅法如下所示：

#模型构建
# 利⽤序列模型来构建模型
model = Sequential()
# 全连接层，共512个神经元，输⼊维度⼤⼩为784
model.add(Dense(512, input_shape=(784,)))
# 激活函数使⽤relu
model.add(Activation('relu')) 
# 使⽤正则化⽅法drouout 
model.add(Dropout(0.2)) 
# 全连接层，共512个神经元,并加⼊L2正则化
model.add(Dense(512,kernel_regularizer=regularizers.l2(0.001)))
# BN层
model.add(BatchNormalization())
# 激活函数
model.add(Activation('relu'))
model.add(Dropout(0.2))
# 全连接层，输出层共10个神经元
model.add(Dense(10))
# softmax将神经⽹络输出的score转换为概率值
model.add(Activation('softmax'))

 我们通过model.summay来看下结果：

model.summary()

 模型编译

        设置模型训练使⽤的损失函数交叉熵损失和优化⽅法adam，损失函数⽤ 来衡量预测值与真实值之间的差异，优化器⽤来使⽤损失函数达到最优：

# 设置模型的相关参数：优化器，损失函数和评价指标
model.compile(
    optimizer='adam', loss='categorical_crossentropy',
    metrics=["accuracy"]
)

模型训练

# batch_size是每次送⼊模型中样本个数，epochs是所有样本的迭代次数，并
history = model.fit(X_train, Y_train,
    batch_size=128, epochs=10,verbose=1,
    validation_data=(X_test, Y_test)
                   )

 将损失绘制成曲线：

# 绘制损失函数的变化曲线
plt.figure()
# 训练集损失函数变换
plt.plot(history.history["loss"], label="train_loss")
# 验证集损失函数变化
plt.plot(history.history["val_loss"], label="val_loss")
plt.legend()
plt.grid()

 将训练的准确率绘制为曲线：

# 绘制准确率的变化曲线
plt.figure()
# 训练集准确率
plt.plot(history.history["accuracy"], label="train_acc")
# 验证集准确率
plt.plot(history.history["val_accuracy"], label="val_acc")
plt.legend()
plt.grid()

 另外可通过tensorboard监控训练过程，这时我们指定回调函数：

tensorboard = tf.keras.callbacks.TensorBoard(log_dir='./graph',
                                             histogram_freq=1,#绘制直方图
                                             write_graph=True,
                                             write_images=True)

在进⾏训练：

history = model.fit(X_train, Y_train,batch_size=128, epochs=14,verbose=1,
                    callbacks=[tensorboard],validation_data=(X_test, Y_test))

模型测试

# 模型测试
score = model.evaluate(X_test, Y_test, verbose=1)
# 打印结果
print('测试集准确率:', score)

 检查是否提前停⽌

# 当连续2个epoch loss不下降则停⽌训练
callback = tf.keras.callbacks.EarlyStopping(monitor='loss',patience =2)
# 模型训练
history = model.fit(X_train, Y_train,
                     batch_size=128, epochs=10,verbose=1,
                     callbacks=[callback],validation_data=(X_test, Y_test))
                    
# 打印运⾏的epoch
len(history.history['loss'])