TinyML-On-The-Fly: 实时、低功耗、低成本的微控制器嵌入式设备内计算机视觉技术用于无人机图像分类

这篇论文的标题是《TinyML-On-The-Fly: Real-Time Low-Power and Low-Cost MCU-Embedded On-Device Computer Vision for Aerial Image Classification》，作者是 Riya Samanta, Bidyut Saha, Soumya K. Ghosh，来自印度理工学院克勒格布尔分校。论文主要研究了在资源受限的微控制器单元（MCU）上，实时、低功耗、低成本地进行无人机（UAV）图像分类的方法。

以下是论文的主要内容概述：

摘要：

• 论文提出了一种基于 TinyML 框架的实时推理模型 TinyAerialNet，用于在资源受限的 ESP32 CAM 上进行空中图像分类。
• 该模型在 AIDER 数据集上进行了测试，在微控制器上达到了 88% 的准确率，使用了 103.9 KB 的 RAM 和 850 毫秒的推理时间。

关键词：

• 空中图像分类
• 计算机视觉
• MobileNet
• TinyML
• 设备内推理
• 无人机

1. 引言：

• 论文讨论了空中图像分类在军事、农业、城市规划、监视、搜索和救援行动等领域的重要性。
• 传统的图像分类方法要么依赖高端服务器进行计算卸载，要么依赖边缘设备，但无人机平台有资源和功率限制。

2. 相关工作：

• 论文回顾了有关空中图像分类和 TinyML 的最新研究。
• 讨论了其他研究中使用的方法，如基于深度学习的对象检测、图像处理技术和迁移学习框架。

3. 实验设置：

• 数据集： 使用了公开的 AIDER 数据集，包含五种不同的类别：火灾/烟雾、洪水、倒塌建筑/瓦砾、交通事故和正常情况。
• 方法论： 开发了基于 MobileNet 架构的 TinyAerialNet 模型，输入 RGB 图像尺寸为 (96 × 96 × 3)。
• 训练配置： 使用 TensorFlow 框架构建和训练模型，采用 ADAM 优化器和类权重来解决类别不平衡问题。
• 部署： 将模型转换为 TensorFlow Lite 格式，并在 ESP32 CAM 上部署，使用 Arduino IDE。

4. 结果和讨论：

• 论文讨论了使用各种评估指标生成的结果，包括精确度、召回率和 F1 分数。
• 模型在测试数据上的准确率达到了 88%。
• 论文还展示了模型在 MCU 上的推理时间、帧率和功耗。

5. 结论：

• 论文提出了在实时、低成本、高能效的 MCU 环境中部署空中图像分类模型的首个工作，利用 TinyML 框架在无人机上进行机载部署。
• 论文利用 AIDER 数据集，介绍了基于 MobileNet 的 TinyAerialNet 架构，并在 ESP32 CAM 板上进行了部署。
• 论文计划改进 TinyAerialNet 以识别更小的物体，包括车辆、人员和其他街道道具，并探索其他成本效益高且资源受限的 MCU。

参考文献：

• 论文列出了一系列相关的研究和资源，包括空中图像分类、TinyML、深度学习、MobileNet 和 ESP32 CAM 相关的文献。

论文详细介绍了 TinyAerialNet 模型的设计、实现和评估过程，证明了其在资源受限的微控制器环境中进行空中图像分类的有效性和实用性。