【论文阅读】Efficient Visual Tracking via Hierarchical Cross-Attention Transformer

1.本文针对什么问题

针对跟踪器的速度问题，大多数跟踪器只能在专业的gpu达到实时的跟踪速度，特别是基于transformer的跟踪器，需计算速度与输入成平方关系

2.已有的工作是什么，有什么问题

PrDiMP、DiMP等跟踪模型，但是他们只能在高性能GPU上达到实时速度，在一些边缘设备上根本达不到实际应用的需求

3.为了解决这个问题，做了什么工作

首先，设计了一个分层交叉注意力(HCA)’结构来减少串行性，并使用分层连接方式来增强表示能力；

其次，设计了一个特征稀疏化模块来稀疏模板特征并减少transformer的计算数量；

结合上面的设计，形成了一个新的跟踪器，叫HCAT

4.具体方法是什么

分为三个部分：特征提取网络、特征融合网络、预测头

• 特征提取网络

  提取模板特征和搜索区域特征，模板区域是初始框边长的两倍，搜索区域边长是上一帧中目标边长的4倍，然后全部reshape成方形。

  结构类似于Siamese网络，使用的特征提取网络是ResNet18，但是移除了最后一阶段；特征提取完之后使用1x1的卷积层来转换通道维度©到256，并且将所有特征在空间维度(H,W)上拉直；采样率是16，大的采样率能够减少特征的分辨率，减少计算损耗；

• 特征融合网络

  融合模板和搜索区域的特征。由FS模块和分层交叉注意力两个部分组成：

  1） FS模块：如下图所示，稀疏模板特征的向量数量到16(64–>16)，减少计算的数量（多层注意力的计算数量为$2C{H}_x{W}_x{H}_t{W}_t->2C{H}_x{W}_{x}S$）。整个FS模块整体是残差结构，输入中k上的是$\oplus$指加上了位置编码，输入中的sparse verctors是从训练中得到的。从上面的结构图中我们可以看到只对模板特征进行了稀疏，因为作者通过实验发现如果对搜索区域的特征也进行稀疏的话会严重影响跟踪的性能。
  
  2） 分层交叉注意力：灵感来自于TransT模型中的特征融合网络，使用了TransT中的基础单元CFA，然后两个CFA构成一个HCA层，如上图中的黄色框区域即为一层HCA；注意本文使用的是全注意力结构而不是自注意力结构 ，因为自注意力结构的性能增益与所花费的运算时间相比相对收益较低。最后，使用一个额外的CFA来decode最后的融合特征向量。
  

• 预测头

  ​ 预测头分为两个部分：回归头、分类头，都是由三层的全连接网络构成，隐藏层为256维，激活函数使用的是ReLu函数。如结构图所示，预测头接收256个向量然后产生256组预测，每组预测包含一个边界框和一个二分类结果（前景or背景），在计算损失的时候，所有分类结果都计算分类损失，使用binary cross-entropy 损失函数，但只有分类结果为前景回归结果才计算回归损失，使用IOU和$l_1$-norm线性相加作为损失函数。

  1）回归头：直接输出正则化的坐标。

  2）分类头：生成对应边界框的分类分数