基于RGB-T图像的香蕉幼苗非生物胁迫预测

# 基于RGB-T图像的香蕉幼苗非生物胁迫预测 ## 1. 引言 在农业领域，准确预测植物的非生物胁迫状况对于提高作物产量和质量至关重要。利用RGB和热成像（RGB-T）图像结合机器学习方法，为植物胁迫预测提供了新的途径。本文将详细介绍基于RGB-T图像对香蕉幼苗非生物胁迫进行预测的方法、策略及结果。 ## 2. 方法与策略 ### 2.1 预处理 - **图像标注**：手动为所有图像标注植物轮廓，使用自定义的标注工具，在所有图像上标记轮廓点。 - **背景去除**：故意丢弃图像背景，因为背景包含灌溉设备、铁支撑轨、标签、地面和水泥等阻碍物。 - **热图像侵蚀**：对热图像进行侵蚀处理，以去除分割后残留的背景部分。而RGB图像由于在原始高分辨率图像上进行了更精细的轮廓标注，无需进行类似的侵蚀处理。 ### 2.2 数据集划分 每个类别30株植物中，26株用于训练，其余4株（ID为05、10、15、20）用于测试，且在训练过程中训练算法不会接触到测试植物的RGB和热图像。 ### 2.3 RGB数据处理 - **网络架构尝试**：尝试了多种网络架构，如Resnet - 50、GoogLeNet、MobileNet和VGG16或其紧凑版本，但基于Cifar - 10的CNN架构从头开始训练效果最佳。 - **数据增强**：使用Keras内置的数据增强方法，包括水平和垂直翻转、宽度和高度偏移以及旋转，以减少过拟合。 ### 2.4 热数据处理 - **模型训练**：与RGB数据类似，先尝试微调预构建的模型，如GoogLeNet和Resnet - 50架构，但从头开始训练的模型效果更好。使用与RGB数据模型相似的模型，但改变了卷积顺序以获得更好的结果。 - **数据增强**：同样应用水平和垂直翻转、宽度和高度偏移以及旋转等数据增强方法。 - **图像序列训练**：尝试使用连续3天的图像序列进行训练，将3张图像拼接成一个288 × 1152像素的图像（称为三元组）输入模型。 ### 2.5 RGB和热数据结合 由于热图像和RGB图像未对齐且分辨率不同，分别为每种类型的图像训练独特的模型。 ### 2.6 预测模型 - **标签保存**：对于植物x，将N张连续的热图像通过热数据模型，对应的RGB图像通过RGB数据模型。对于每个图像预测，根据两个模型的准确率比例保存匹配的标签。 - **最终预测**：使用滚动平均预测方法的变体，最终预测结果为出现次数最多的标签。具体步骤如下： 1. 对于每个RGB图像，通过RGB模型预测标签，并将预测结果复制Q次： \[pred^{*}_{rgb}(RIn) = (pred_{rgb}(RIn), \cdots, pred_{rgb}(RIn)) \in N^Q\] 2. 对于每个热图像，通过热模型预测标签，并将预测结果复制P次： \[pred^{*}_{th}(TIn) = (pred_{th}(TIn), \cdots, pred_{th}(TIn)) \in N^P\] 3. 第n天的组合预测结果为两个标签向量的拼接： \[pred^{*}(n) = pred^{*}_{th}(TIn) \parallel pred^{*}_{rgb}(RIn) \in N^{(P + Q)}\] 4. 将所有N张图像的预测向量组合成一个1×N(P + Q)的标签缓冲区： \[buffer = pred^{*}(1) \parallel pred^{*}(2) \parallel \cdots \parallel pred^{*}(N) \in N^{N(P + Q)}\] 5. 对于每个可能的标签，统计其在向量中出现的次数： \[C(l) = \sum_{l' \in buffer} I\{l' = l\}\] 6. 选择出现次数最多的标签作为最终预测结果： \[pred(x) = argmax_{l \in labels}(C(l))\] 此外，还尝试了将该预测方法分别应用于每个模型，并在缓冲区中每次预测只保存一个标签，该方法提高了两个模型的预测准确率。同时，尝试了循环神经网络（RNN）方法，但结果不太理想。 ## 3. 结果 ### 3.1 初步分析 - **温度分析**：通过提取植物平均温度与植物轮廓平均温度进行比较，仅基于植物平均温度的预测准确率约为50%，基于植物与轮廓温度差的预测准确率约为60%。 - **预测方法**：采用简单的预测方案，先按处理和日期从每个热图像中获取植物温度，然后为每个类别求平均值，将测试图像的预测标签定义为平均温度最接近的处理标签。 - **准确率提升**：使用连续三天的图像，预测准确率提高到约70%。 ### 3.2 单独使用RGB图像预测 使用批量大小为24，训练100个周期，使用ADAM优化器。数据增强显著改善了结果，使用连续3天的图像序列比单张图像的预测效果略好。 ### 3.3 单独使用热图像预测 使用批量大小为32，训练1000个周期，使用SGD优化器。数据增强和使用连续