基于补丁的卷积神经网络在树皮分类中的评估

### 基于补丁的卷积神经网络在树皮分类中的评估 #### 1. 相关工作 传统上，树皮识别被视为纹理分类问题，常使用统计方法和手工特征。以下是一些相关的研究方法： - **基于统计和手工特征的方法** - **纹理分析方法**：有研究使用灰度游程长度法（RLM）、共生矩阵（COMM）和直方图检查等文本分析方法，从160张图像中提取树皮特征。同时，通过对RGB三个通道分别应用灰度方法来捕捉颜色信息，显著提高了整体性能。 - **光谱方法**：使用Gabor滤波器的光谱方法以及像SURF或SIFT这样的兴趣点描述符也被用于树皮特征提取。例如，AFF树皮数据集（包含11个类别和1082张树皮图像），通过基于SIFT特征点构建的词袋模型和SVM分类器，实现了约70%的准确率。 - **颜色和纹理融合方法**：有研究提出将颜色色调和纹理分析融合用于树皮识别。先通过Canny边缘提取图与规则网格相交计算两个描述性特征向量，描述树皮结构和轮廓分布；再用HSV颜色空间的色调直方图捕捉颜色特征；最后使用Gabor小波进行图像滤波提取方向特征向量。将这四个特征向量拼接后的描述符在与树叶结合进行树木识别时表现出更好的性能。 - **基于局部二值模式（LBP）的方法**：一些工作基于LBP和类似LBP的滤波器。如定义了Late Statistics（LS）与两种先进的类似LBP的滤波器——Light Combination of Local Binary Patterns（LCoLBP）和Completed Local Binary Pattern（CLBP），并结合HSV空间的简化直方图中的树皮先验信息来捕捉颜色信息，该方法创建了计算高效、紧凑的特征向量，并在3个具有挑战性的数据集（BarkTex、AFF12、Bark - 101）上使用SVM和KNN分类器取得了先进的性能。另一种受LBP启发的纹理描述符Statistical Macro Binary Pattern（SMBP）在对3个数据集（BarkTex、Trunk12、AFF）进行分类时也取得了改进的性能。 - **基于人工神经网络的早期尝试**：早期有研究尝试使用人工神经网络（ANN）作为分类器。2006年，使用Gabor小波提取树皮纹理特征，并应用于径向基概率神经网络（RBPNN）进行分类，在300张树皮图像的数据集上实现了约80%的准确率。还有研究将GLCM特征与分形维数特征结合，使用3层ANN分类器在包含24个类别的360张图像数据集上获得了91.67%的准确率，但这些都是在深度学习卷积神经网络用于图像识别之前的工作。 - **基于深度学习的近期尝试** - **基于LIDAR扫描的方法**：有研究使用LIDAR扫描从点云创建深度图像，并应用于AlexNet，在仅包含日本雪松和日本柏树两个物种的数据集上实现了90%的准确率。 - **基于图像补丁的方法**：有研究使用树皮图像的补丁来微调预训练的深度学习模型，在对221个不同物种使用超过10,000个补丁时达到了96.7%的准确率，但该报告对使用的CNN架构缺乏清晰描述，且实验是在公司提供的私有数据上进行的，难以进行比较。还有研究使用图像补丁对ResNets进行迁移学习来识别BarkNet数据集中的物种，单裁剪时获得了93.88%的准确率，多裁剪使用多数投票时达到了97.81%的准确率，但BarkNet是一个包含23个类别、23,000张高分辨率图像的大型数据集，降低了分类的难度。 #### 2. 方法 本研究的方法主要包括四个主要部分：图像重新缩放、补丁提取、微调预训练的CNN和多数投票分析。 - **数据集**：选择了Bark - 101数据集，它来自PlantCLEF数据库，包含101个不同物种的2587张图像（分为1292张训练图像和1295张测试图像）。该数据集具有挑战性，原因如下： - **模拟真实世界条件**：图像是通过众包方式收集的，虽然经过手动分割去除了不必要的背景，但仍包含大量噪声，如苔藓、阴影或光照条件的影响。而且图像大小没有限制，尺寸变化很大，这在实际户外环境中是常见的。 - **高类内变异性和低类间变异性**：高类内变异性是由于树木生命周期中树皮纹理的高度多样性；低类间变异性是因为数据集中有101个类别，导致许多物种的纹理在视觉上相似。 - **补丁准备**：在纹理识别中，局部特征能为分类器提供有用信息。通过提取补丁（将原始图像分解为较小的裁剪块或片段），可以捕获邻域局部信息并减少执行时间。本研究采用224×224像素的补丁大小，遵循大多数CNN图像识别任务中使用的默认ImageNet大小标准。由于Bark - 101数据集中图像尺寸变化很大，约10%的数据没有足够的像素来提取一个224×224的正方形补丁。因此，提出先对原始图像进行上采样，再提取补丁，以更好地控制补丁提取过程，避免从低维图像中提取高度变形的补丁。实验中应用了两种不同的图像重新缩放算法：传统的双三次插值方法和高效子像素卷积神经网络（ESPCN）。 -