浅谈目标跟踪及对SPM-tracker论文的简单理解

SPM追踪器

为什么写这个追踪器算法？
之前对目标跟踪是完全不了解的，但这次老师给的作业是从一些计算机视觉论文中抽取一篇进行分析，抽到了这个。虽然这个不是特别经典的算法，但了解过后发现通过对他了解的过程让我学到了很多。

目录

1. 什么是目标跟踪？
2. 如何实现目标跟踪？
3. SPM的摘要简介。
4. SPM算法的框架流程？
5. SPM的特点？

一、什么是目标跟踪？
网上关于目标跟踪的内容有很多，我这里只做简单介绍。首先，我们都知道目标检测，给定一张图像经过运算后我们能够检测到图像中出现的人脸（可以参考我之前写的MTCNN）。
而目标跟踪则是给定一个视频，我们能够在这个视频内对某一人或者物体进行跟踪定位。目标跟踪分为单目标跟踪和多目标跟踪，这篇论文用的是单目标跟踪。
其实目标跟踪在我看来是一个特殊的目标检测。他在进行跟踪时其实时对每帧图片都进行目标检测。目标跟踪的根本就是给定一个已经定位好的图片，在下一帧图片中找到对应的跟踪物体。

二、如何实现目标跟踪？

目标跟踪入门
这里推荐一篇文章，其中讲的实现目标跟踪的方法比较清晰。

在这里实现目标跟踪的流程我就不再说。但对于其中观测模型中常用的两种方法补充一下：
1.生成式方法：通常寻找与目标模板最相似的候选作为跟踪结果，这一过程可以视为模板匹配。常用的像粒子滤波，稀疏矩阵。
这里可以举个例子：从当前帧我们知道了目标区域70%是绿色，30%是红色。那么对于生成式方法我们会在下一帧中一直去寻找符合这个颜色比例的区域。
2.判别类方法：通过训练一个分类器去区分目标与背景，选择置信度最高的候选样本作为预测结果。在早期，常用的是图像特征+机器学习。其中采用了机器学习，在训练中用到了背景信息，这样分类器就能更好的区分背景和前景。
这里可以举个例子：利用这种方法不仅会知道目标区域70%是绿色，30%是红色，还会告诉你目标区域的背景中会出现其他颜色，这样分类器就知道了更多的信息。从而提升了跟踪效果。
但是后来，随着计算机运算能力的提高，出现了新的判别类套路，相关滤波与深度学习。因为那篇文章已经讲解，这里不在说。

三、SPM的摘要简介

这是论文的摘要，从摘要我们可以看到，目前目标视觉跟踪领域面临的最大挑战是同时实现鲁棒性和高辨别力。在这篇论文，我们基于SiamFC实现了一种一种追踪器SPM，我们把这两个需求分两部分进行，在粗匹配阶段去实现增强鲁棒性，在细匹配阶段去实现高辨别力。其中CM阶段的输出是FM阶段的输入，所以他们是串行的，因此这是一种串行并联匹配的追踪器。

四、SPM算法的框架流程

这里具体内容可以去翻阅论文，这里来说一下具体流程图。
首先从图中我们可以知道这是一种多输入的神经网络，它分为四个阶段，图片输入——特征提取——粗匹配阶段——精细匹配阶段。

• 首先是图片输入，这时我们输入两张图片，其中一个是已经标注好的图片，和一张需要跟踪的目标图片。
• 接着是特征提取，这里也是实用卷积神经网络。说明选取的特征是深度特征。
• 然后是粗匹配阶段（CM），在这个阶段通过分类分支和回归分支，增强鲁棒性，这里我们会发现第二张图的所有人物都会被标记。因为在这个阶段只用来做增强鲁棒性，而不去强调辨别力。
• 最后是精细匹配阶段，从图中我们可以看到在这个阶段的输入是粗匹配阶段的输出，这个阶段用来精准定位，最终得到需要的定位结果。

SPM的特点

1.实用粗匹配（CM），细匹配（FM）相结合。
2.把实现鲁棒性和精准定位的操作分为两部分，从而减少了两者在一部分的干扰。
3.依旧是Siamese结构。

（1）.
粗糙(CM） :视频预处理时，不仅把单个物体作为正样本，而是把同一类作为正样本。
优点:能学到更多信息，提高鲁棒性(robust)，捕获高级语义信息(类似深度特征)。即使物体状态发生改变也能定位。
缺点:特征不够，因为是把同一类作为正样本，所以这个阶段不能精准跟踪。

由上图可知他不能精准跟踪，在CM阶段是把同一类的作为了正样本。

由上图可知这个阶段增强了鲁棒性，即使物体表观发生变化，也能够精准定位。

（2）
精细（FM）:输入是CM阶段中输出置信度高的，精细匹配阶段是为了捕捉外观信息，从而将真实目标与背景或周围类似物体区分开来。FM阶段只评估CM阶段中得分最高的K个补丁。
精细匹配阶段:精细匹配阶段有望捕获细粒度的外观信息，以便可以将真实目标与背景或类似的周围物体区分开。

由上图我们可以分析三种算法的差异SiamFC，SiamRPN，SPM。
其中SiamFC和SiamRPN只有一个值，而SPM则分为C和F，在SiamFC中我们可以发现需要定位的人评分为1.00，另外一个为0.57，因此实现了目标跟踪。在SiamRPN中我们可以发现需要定位的人评分为1.00，另外一个为0.57，因此也能实现目标跟踪，但我们会发现这两个算法的差别不大。
而在SPM算法中，其中粗匹配阶段增强鲁棒性而不去注意精准定位，所以在这个阶段两个人的值差别不大。但在精细匹配阶段，我们可以明显看到他们的差别较大，更加易于去实现精准跟踪，而这也正是这个算法相对于其他算法的优势，也是他们的特点。