基于卷积神经网络的葡萄损伤自动识别框架

### 基于卷积神经网络的葡萄损伤自动识别框架 #### 1. 背景与目标 在葡萄种植中，识别葡萄浆果的受损或感染区域对于评估育种材料和优化商业葡萄园的收获计划具有重要意义。然而，人工识别和筛选感染区域非常耗时，因此需要自动化的检测程序。神经网络在图像目标检测和分类方面表现出了很大的潜力，特别是卷积神经网络（CNNs），它能够捕捉数据的相关空间特征，在植物病害检测领域已有一些应用。本文提出了一个利用RGB图像和CNN自动检测葡萄种植中受损葡萄的框架。 #### 2. 材料与方法 ##### 2.1 数据 - **数据采集**：数据集包含129张由数码单反相机（DSLR）拍摄的RGB图像，尺寸为5472×3648像素。这些数据于2017年9月在不同日光条件下使用闪光灯采集，相机与葡萄树冠的距离约为1米，像素空间分辨率为0.3毫米。 - **数据组成**：图像涵盖了39个不同品种的葡萄，包括绿色、红色和蓝色品种，分别有34张绿色、42张红色和53张蓝色浆果的图像。每个图像展示不同的植株，每个品种有1 - 6张图像。 - **数据集划分**：从129张图像中选取20张（每种颜色品种都有代表性图像），将每张图像分成两等份。一份用于生成测试集的图像块，另一份与其余109张图像一起提取训练集的图像块。在图像中，未受损和受损的葡萄通过在每个浆果中间手动标注点来区分，受损浆果周围不标注未受损浆果，以避免混合标注。训练网络时，使用120×120像素的图像块，确保每个块包含整个葡萄浆果。 | 品种颜色 | 图像数量 | | ---- | ---- | | 绿色 | 34 | | 红色 | 42 | | 蓝色 | 53 | ##### 2.2 图像块生成与数据增强 - **图像块生成**：由于神经网络训练通常需要大量数据，因此对训练集进行数据增强。对于受损浆果，除了中心标注的图像块外，在每个受损浆果周围以最大60像素的随机偏移量切割8个额外的图像块，以减少受损浆果总是位于图像块中心的系统效应。未受损浆果的图像块以标注点为中心提取。 - **数据增强操作**：为了防止类别不平衡，受损浆果的图像块不进行数据增强。对于未受损浆果的图像块，将其旋转120°和240°，并保存为额外的图像块。在旋转前，先将未受损浆果的图像块切割为170×170像素大小，在数据增强过程中再切割为120×120像素。最终，训练集包含51064个受损类别图像块和54825个未受损类别图像块，测试集包含7007个受损类别图像块和7314个未受损类别图像块。 ```mermaid graph LR A[原始图像] --> B[手动标注] B --> C{浆果类型} C -->|受损浆果| D[中心图像块 + 8个随机偏移图像块] C -->|未受损浆果| E[中心图像块] E --> F[旋转120°和240°] D --> G[训练集和测试集] F --> G ``` ##### 2.3 卷积神经网络结构 - **浅层网络**：采用基于LeNet架构的浅层网络。该网络由两个层集组成，每个层集包含一个卷积层、一个激活函数（ReLU）和一个最大池化层。之后是一个全连接层、一个激活函数和最后一个全连接层以及一个softmax分类器。第一个卷积层有20个5×5像素的卷积滤波器，第二个卷积层有50个。最后一个全连接层的神经元数量等于分类类别数（这里为2），网络输出是一个介于0和1之间的数字，表示图像块属于两个类别之一的概率。 - **深层网络**：选择了一个基于ImageNet预训练的ResNet50作为对比的深层网络，该网络广泛用于分类任务。 | 网络类型 | 结构特点 | 训练情况 | | ---- | ---- | ---- | | 浅层网络 | 基于LeNet架构，两个层集，卷积 - 激活 - 池化，全连接层和softmax分类器 | 从 scratch 训练，25个训练周期，批量大小32 |