MapTracker：Tracking with Strided Memory Fusion for Consistent Vector HD Mapping

参考代码：MapTracker

动机与出发点

为了提升帧间检测的稳定性通常会添加时许信息，这个可以BEV特征处做时序融合，也可以是用当前帧query去cross-attn历史帧信息，则更多的时候是将之前帧信息与当前做融合或者cross-attn实现信息传递，是一种只在当前帧做检测的思路。这篇文章提出使用tracking的思路去做帧间融合，也就是历史帧的目标信息和匹配关系会随着时间流转到当前时刻，融合也是分为BEV特征和query维度的：

• 1）BEV特征（BEV query）融合：将上一帧BEV特征通过egomotion变换到当前帧位置下用于当前帧query的初始化，没有重叠的区域就用原本embedding的值（default val），之后再与历史帧做跳帧融合，如使用距离当前ego距离为1m、5m、10m、15m处帧数据，这个融合的过程可以直接warp对齐之后做融合
• 2）vector query融合：将上一帧object query做帧间对齐之后与当前帧的query做concat操作，再与历史帧的query做inst级别的cross-attn操作，这样就相当于历史帧中的query流转到了当前时刻（做数据的时候就要把跟踪关系做好，同一个clip用同一个实例ID就行），同时也有新定义query去处理新出现的目标

使用tracking的方式去做感知具有如下优势：

• 1）