MT-DETR：鲁棒多模态检测网络在恶劣天气下的性能提升

DETR在不同输入下的表现。图像 (a) 显示了仅使用摄像头的检测结果，可能存在遗漏；(b) 展示了激光雷达数据稀疏可能导致的不足；(c) 是MT-DETR的预测，利用多模态信息提高检测精度；(d) 是实际的场景情况。 1. 多模态多级目标检测 多模态目标检测是结合多种传感器数据（如摄像头、激光雷达、雷达）来提升目标检测的准确性和鲁棒性。这种技术的关键在于有效地融合不同模态的信息，以克服单一模态的局限性。例如，摄像头可以提供丰富的色彩和纹理信息，但在低光照或恶劣天气条件下效果受限；而激光雷达和雷达则能提供精确的距离和速度信息，但可能缺乏细节。 2. MT-DETR的架构与创新 MT-DETR是一种端到端的多模态多级目标检测网络，它包含了以下核心组件： - **残差融合模块 (Residual Fusion Module, RFM)**：RFM旨在整合来自不同传感器的数据，通过残差学习方式增强信息交互。 - **置信度融合模块 (Confidence Fusion Module, CFM)**：CFM考虑了不同模态数据的可信度，根据置信度权重进行融合，提高预测的可靠性。 - **剩余增强模块 (Residual Enhancement Module, REM)**：REM提升了各单一模态分支的性能，同时引入多级损失以优化分支间的协同作用。 3. 合成数据生成与训练 为应对恶劣天气条件下的检测挑战，MT-DETR利用合成算法在雾天条件下生成相机-激光雷达数据对，以增强模型对不可见环境的适应能力。 4. 实验与评估 实验在STF数据集上进行，涵盖了多种天气条件，结果显示MT-DETR超越了现有最先进的方法。此外，通过替换特征提取器，验证了MT-DETR的泛化能力和模型的灵活性。 5. 结论 MT-DETR通过引入多模态信息和创新的融合机制，显著提高了目标检测的鲁棒性和准确性，特别是在恶劣天气下。这一方法对自动驾驶和智能交通系统的安全性和可靠性具有重要意义。 6. 可用资源 MT-DETR的源代码和预训练模型可在https://github.com/Chushihyun/MT-DETR找到，供研究者和开发者参考和使用。 MT-DETR是针对多模态传感器数据的端到端目标检测解决方案，其创新的融合策略和模块设计显著提升了在复杂环境下的检测性能。这一技术对于提升自动驾驶系统在恶劣天气条件下的安全性具有重大价值。