机器学习与神经形态芯片：从基础应用到未来展望

# 机器学习与神经形态芯片：从基础应用到未来展望 ## 1. 电子元件识别模型的训练与测试 在电子元件识别方面，电阻和晶体管的识别混淆矩阵显示，虽有 34 个晶体管被误分类为电阻，但仍正确识别了 81 个电阻。不过，这些结果还有很大的提升空间，增加训练数据集的规模能显著提高识别准确率。当前的识别精度已足以在实际应用中对系统进行测试。 ### 1.1 现场测试流程 由于 MaixDuino 仅有 2MB RAM，无法运行完整的 TensorFlow 系统。为执行模型，需将 TensorFlow 操作转换为 Maix 的 KPU 专用指令集，此转换还能优化模型，降低计算能力和内存需求。具体操作步骤如下： 1. 处理完 `ElectronicsClassifier_1V0.ipynb` 笔记本后，当前目录会生成 `ec.tflite` 文件。 2. 将训练图像复制到名为 `images_ElectronicsClassifier` 的子文件夹中。 3. 在 Windows 控制台执行转换命令： ```plaintext ncc compile ec.tflite MNIST_ec.kmodel -i tflite --dataset images_ElectronicsClassifier ``` 4. 将生成的 `kmodel` 文件复制到 MaixDuino 上。 5. 因内存资源有限，需使用 `kflash` 工具安装编译器版本 `maixpy_v0.6.2_41_g02d12688e_minimum_with_kmodel_v4_support.bin`，该版本针对最小内存需求进行了优化。 6. 启动相应的 Python 程序 `ElectronicsClassifier.py`。若在运行过程中出现内存不足的错误，需对 `ElectronicsClassifier_1V0.ipynb` 中的原始模型进行缩减。 程序成功启动后，会显示相机的实时图像，并在左上角显示检测到的元件名称。 ### 1.2 影响分类器质量的因素 分类器的质量主要取决于训练图片的数量。若每类使用的图像少于 100 张，结果通常不可靠；实验表明，每类使用多达约 500 张图片可显著提高识别准确率。此外，图片质量、光照条件和背景等因素也会产生重要影响。网络的训练和结构也有改进空间，以下参数值得关注： - 训练轮数 - 所使用的神经网络结构 - 数据划分为训练集和验证集的方式 需注意的是，MaixDuino 的内存相对较小，扩展神经网络结构时很快会达到极限。不过，当系统稳定运行后，可使用其他训练图像进行动物识别、车辆分类等任务，也可使用多于两类的分类，但这会成倍增加所需的训练图像数量。 ## 2. 多目标检测器：YOLO 架构 此前的图像识别和分类模型以整幅图像作为输入，输出是每个待识别类别的概率列表。当目标对象占据图像较大部分时，能取得最佳效果，目标在视野中的精确位置并不重要。然而，许多应用（如目标或面部跟踪）不仅需要识别图像中的对象，还需确定其精确位置，同时检测图像中的多个对象也需要确定它们在相机图像中的位置。 ### 2.1 YOLO 架构原理 为完成这些任务，需要更复杂的目标识别模型，YOLO（You Only Look Once）架构可用于此类任务。其原理如下： 1. 为待检查的图像数据添加坐标网格。 2. 使用已知方法确定每个网格中目标对象的存在与否。 3. 使用“锚点”，这些“锚点”适应预期的目标大小，便于预选可能的图像特征。 4. 若检测到单个特征，为每个网格单元计算一组预测结果，丢弃概率较低的预测。 YOLO 架构的三个重要参数为： - S：图像划分的网格单元数量 - B：每个网格单元计算的边界框数量 - C：每个网格单元可预测的不同类别数量 ### 2.2 YOLO 架构的应用与训练 YOLO 架构先将整个图像划分为小区域或网格区域，然后对每个网格应用神经网络搜索。通过为每个网格单元分配包含目标对象的概率，标记高概率的单元，再为每个单元分配类别概率，最后将结果组合成目标框，并确定目标框包含特定对象的概率，若概率超过阈值，则将对象分配到相应类别。 不过，YOLO 系统的训练比之前的方法复杂得多。不仅需要大量的图像或照片