【视频理解论文】——TSM：Temporal Shift Module for Efficient Video Understanding

TSM: Temporal Shift Module for Efficient Video Understanding(ICCV2019)

这是一篇关于视频理解的文章，主要介绍了一种可以达到3DCNN的效果的，但是保持2DCNN计算量和参数量的方法，叫做TSM（Tempora Shift Module）也就是在一簇要处理的帧之间，把相邻帧之间的channel进行了交替拼接！比如我把第一帧图片的某个channel和第二帧之间的的某个channel进行了交替，这样使得相邻帧之间包含了对方的信息，因而保证了时间上的信息的获取，也就是文章中说的时域建模！
这也就是为什么这个方法有效的原因了！

【摘要Abstract】

1. 当前的难点：

• 视频流的大量增长导致了对视频理解达到高准确率以及低消耗变得十分具有挑战性；
• 传统的2DCNN虽然计算量小，但是却不能好好利用时域上的连续信息（而这又是非常重要的）
• 3DCNN虽然效果很好，但是却不得不面临密集的计算量，使得实际应用变得困难

2.本文的着力点：

提出了TSM模块：能过兼顾良好效果表现以及计算量（Specifically, it can achieve the performance of 3D CNN but maintain 2D CNN’s complexity.）

• TSM做了什么：在时间维度上，移动了帧与帧之间的一些channel，因此使得帧间的信息得到了交换
• TSM可以怎么用：这个模块是可以直接应用在传统2DCNN的模型上，在以基本上近乎于零的运算量的消耗上使其获得时域上的信息建模！
• TSM还怎么用：本文坐着不但在一般视频上做了工作，还进行了拓展工作，让该方法可以实时在线运行，但是shift的方式和offline不同
• TSM的主要应用场景：