TensorFlow 利用CNN实现mnist检测

#-*- coding:UTF-8 -*- import tensorflow as tf input_node = 784 #输入层的节点数 相当于图片的像素28*28 output_node = 10 #输出层的节点数 相当于分类器的类别的个数 IMAGE_SIZE = 28 IMAGE_CHANNELS = 1 NUM_LABELS = 10 #第一层卷积尺寸和深度 CONV1_DEEP = 32 CONV1_SIZE = 5 #第二层卷积尺寸和深度 CONV2_DEEP = 64 CONV2_SIZE = 5 #全连接层的节点个数 FC_SIZE = 512 #添加两个层 输出采用relu作为激活函数 实现列去线性化 def inference(input_tensor,train,regularizer): #================================== 第一层 卷积层 ==============================// with tf.variable_scope('layer1_cov1'): cov1_weights = tf.get_variable("weight",[CONV1_SIZE, CONV1_SIZE, IMAGE_CHANNELS, CONV1_DEEP], #过滤器的深度 initializer=tf.truncated_normal_initializer(stddev = 0.1)) cov1_bias = tf.get_variable("bias",[CONV1_DEEP],initializer = tf.constant_initializer(0.0)) cov1 = tf.nn.conv2d(input_tensor, #代表第几张图片 cov1_weights, #权重 strides=[1,1,1,1], #前后两位必须为1 中间代表步长step 长宽每次步进1 padding='SAME') #采用0来填充图片 #添加偏置项 + 计算结果正则化 relu1 = tf.nn.relu(tf.nn.bias_add(cov1,cov1_bias)) #================================== 第二层 池化层 ===============================// #这一层的输入为上一层的输出 即28*28*32 池化层选取的过滤器边长为2 使用全0填充 #移动的步长也为2 因此 输出为14*14*32 with tf.name_scope("layer2-pool1"): pool1 = tf.nn.max_pool( relu1, ksize=[1,2,2,1], #过滤器的尺寸 首尾必须为1 中间代表过滤器的尺寸 2*2 strides=[1,2,2,1], #后两位必须为1 中间代表步长step 长宽每次步进2 padding='SAME' #采用0来填充图片 ) #================================== 第三层 卷积层 ==============================// #这一层的输入为上一层的输出 即14*14*32 batch为5*5 使用全0填充 #移动的步长也为1 因此 输出为14*14*64 with tf.variable_scope('layer3_cov2'): cov2_weights = tf.get_variable("weight",[CONV2_SIZE, CONV2_SIZE, CONV1_DEEP, CONV2_DEEP], #过滤器的深度 initializer=tf.truncated_normal_initializer(stddev = 0.1)) cov2_bias = tf.get_variable("bias",[CONV2_DEEP],initializer = tf.constant_initializer(0.0)) cov2 = tf.nn.conv2d(pool1, #代表第几张图片 cov2_weights, #权重 strides=[1,1,1,1], #前后两位必须为1 中间代表步长step 长宽每次步进1 padding='SAME') #采用0来填充图片 #添加偏置项 + 计算结果正则化 relu2 = tf.nn.relu(tf.nn.bias_add(cov2,cov2_bias)) #================================== 第四层 池化层 ===============================// #这一层的输入为上一层的输出 即14*14*64 池化层选取的过滤器边长为2 使用全0填充 #移动的步长也为2 因此 输出为7*7*64 with tf.name_scope("layer4-pool2"): pool2 = tf.nn.max_pool( relu2, ksize=[1,2,2,1], #过滤器的尺寸 首尾必须为1 中间代表过滤器的尺寸 2*2 strides=[1,2,2,1], #后两位必须为1 中间代表步长step 长宽每次步进2 padding='SAME' #采用0来填充图片 ) #==================== 将第四层的输出转化为第五层全连接的输入格式 ======================// #7*7*64的矩阵拉成一维向量 3136 pool_shape = pool2.get_shape().as_list() nodes = pool_shape[1] * pool_shape[2] * pool_shape[3] #将第四层输出变成一个batch的向量 reshaped = tf.reshape(pool2,[pool_shape[0],nodes]) #================================== 第五层 全连接1 ===============================// #将3136的一维数组经过全连接之后输出512 # 输入reshaped 为 1*3136 # w为3136*512 # b为1*512 # 输出fc1为 1*512 with tf.variable_scope('layer5_fc1'): fc1_weights = tf.get_variable("weight",[nodes, FC_SIZE], # 全连接尺寸 initializer=tf.truncated_normal_initializer(stddev = 0.1)) #加入正则化 if regularizer!=None: tf.add_to_collection('losses',regularizer(fc1_weights)) #将当前变量的正则化损失加入losses集合 fc1_biasws = tf.get_variable("bias",[FC_SIZE],initializer = tf.constant_initializer(0.1)) fc1 = tf.nn.relu(tf.matmul(reshaped,fc1_weights)+fc1_biasws) if train: fc1 = tf.nn.dropout(fc1,0.5) #丢弃掉部分点 防止过拟合 #================================== 第六层 全连接2 ===============================// #将512的一维数组经过全连接之后输出10 # fc1 为 1*512 # w为512*10 # b为1*10 # 输出fc1为 1*10 with tf.variable_scope('layer6_fc2'): fc2_weights = tf.get_variable("weight",[FC_SIZE, NUM_LABELS], # 全连接尺寸 initializer=tf.truncated_normal_initializer(stddev = 0.1)) #加入正则化 if regularizer!=None: tf.add_to_collection('losses',regularizer(fc2_weights)) #将当前变量的正则化损失加入losses集合 fc2_biasws = tf.get_variable("bias",[NUM_LABELS],initializer = tf.constant_initializer(0.1)) logit = tf.matmul(fc1,fc2_weights)+fc2_biasws return logit