【论文笔记】SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object Detection

原文链接：https://arxiv.org/abs/2403.07284

简介：稀疏3D检测器因其无需密集BEV特征表达的低延迟特性受到了广泛关注，但其性能低于密集检测器。本文的SparseLIF是一个完全稀疏的端到端多模态3D目标检测器，包含3个关键设计：（1）透视感知的查询生成（PAQG），利用透视先验生成高质量3D查询；（2）RoI感知的采样（RIAS），通过从各模态采样RoI特征细化先验查询；（3）不确定性感知的融合（UAF），精确量化各模态的不确定性并自适应融合，实现对传感器噪声的鲁棒性。实验表明SparseLIF在NuScenes上能达到最优性能。

0. SparseLIF概述

使用图像主干和FPN提取多视图/多尺度/多帧的图像特征，记为 X c a m = { X c a m v m t } v = 1 , m = 1 , t = 1 V , M , T X_{cam}=\{X_{cam}^{vmt}\}_{v=1,m=1,t=1}^{V,M,T} Xcam​={ Xcamvmt​}v=1,m=1,t=1V,M,T​，其中$V,M,T$分别为相机视图数，特征尺度数和时间帧数。同时，使用3D激光雷达主干和FPN提取多尺度激光雷达特征，记为 X l i d = { X l i d r } r = 1 R X_{lid}=\{X_{lid}^r\}_{r=1}^R Xlid​={ Xlidr​}r=1R​，其中$R$为激光雷达特征尺度数。

透视感知的查询生成（PAQG）模块使用耦合的2D和单目3D图像检测器，利用透视先验生成高质量3D查询。此后，RoI感知的采样（RIAS）模块会将查询与图像和激光雷达特征交互，提取RoI特征进行细化。不确定性感知的融合（UAF）模块会量化RoI特征的不确定性，并进行多模态特征的自适应融合，用于3D目标检测。

1. 透视感知的查询生成

最近的方法通常使用可学习查询，但学习将与输入无关的查询移动到真值附近较为困难。可视化表明，2D检测对远处和小物体的检测更好，因此本文利用2D检测提供的透视先验生成3D查询。

PAQG中的轻量级透视检测器包括耦合的2D和单目3D子网络，前者预测中心位置$(c_x,c_y)$、置信度分数和类别标签，后者预测不同视图下的深度$d$、旋转角、大小和速度。基于相机外参$E_v$和内参$I_v$，将边界框中心投影到3D空间：
$$c^{3D}=E_v^{-1}{I}_v^{-1}[c_{x}d,c_{y}d,d,1]$$

3D中心$c^{3D}$会与预测大小、旋转角和速度组合得到3D边界框。然后，进行非最大抑制，根据置信度分数选择前$N_k$个边界框，通过交叉注意力，用图像特征初始化查询：
$$q_i=\frac{1}{|\mathcal{V}|}\sum _{v\in \mathcal{V}}\sum _{m=1}^{M}BS(X_{cam}^{vm}$$