持续3D卷积神经网络：原理、优势与实验验证

# 持续3D卷积神经网络：原理、优势与实验验证 ## 1. 3D卷积神经网络的现状与问题 当前，一些表现出色的架构（如X3D和SlowFast）采用3D卷积作为主要构建块，对时空输入体积（视频片段）进行预测。在离线场景下，这些架构能以合理的计算成本实现较高的预测准确率。然而，在在线视频分类任务中，输入是连续的视频帧流，且需要为每一帧做出类别预测，常规的3D CNN就显得不太适用。 常规3D CNN在处理包含$m_T$帧的视频片段时，需要在时间步之间存储前$m_T - 1$个输入帧，并在采样到下一帧时组装成新的视频片段。这会导致计算冗余，因为在连续视频流的在线处理过程中，每个帧会被处理$n_T$次（片段中的每个位置处理一次），冗余程度与$n_T - 1$成正比。此外，存储先前输入帧会带来内存开销，推理过程中网络还需临时存储特征图。 3D卷积的计算复杂度为： \[ \Theta([k_H \cdot k_W \cdot k_T + b] \cdot c_I \cdot c_O \cdot n_H \cdot n_W \cdot n_T) \] 其中，$k$表示核大小，$T$、$H$和$W$分别是时间、高度和宽度维度的下标，$b \in \{0, 1\}$表示是否使用偏置，$c_I$和$c_O$分别是输入和输出通道的数量。 存储先前输入帧的内存开销为： \[ \Theta(c_I \cdot m_H \cdot m_W \cdot [m_T - 1]) \] 推理过程中临时存储特征图的大小为： \[ \Theta(c_O \cdot n_H \cdot n_W \cdot n_T) \] ## 2. 持续卷积（Continual Convolution） 为解决常规3D卷积存在的问题，我们引入持续卷积（CoConv）。其核心思想是将沿着时间维度不断移动的3D核与3D输入片段的重复卷积重新表述为一种新的计算方式。在这种方式下，3D核与每个2D输入帧的所有卷积计算（除最终求和外）都在一个时间步内完成。中间结果作为状态存储起来，用于后续步骤，同时将先前和当前的结果相加得到输出。 以下是持续卷积的Python风格伪代码： ```python def coconv3d(frame, prev_state=(mem, i)): frame = spatial_padding(frame) frame = temporal_padding(frame) feat = conv3d(frame, weights) output, rest_feat = feat[0], feat[1:] mem, i = prev_state or init_state(output) M = len(mem) for m in range(M): output += mem[(i + m) % M, M - m - 1] output += bias mem[i] = rest_feat i = (i + 1) % M return output, (mem, i) ``` 持续卷积处理一帧的计算复杂度变为： \[ \Theta([k_H \cdot k_W \cdot k_T + b] \cdot c_I \cdot c_O \cdot n_H \cdot n_W) \] 虽然计算复杂度降低了，但由于需要在时间步之间保存状态，每层会产生一定的内存开销。存储一帧部分计算特征图的开销为： \[ \Theta(d_T \cdot [k_T - 1] \cdot c_O \cdot n_H \cdot n_W) \] 不过，在深度神经网络的推理过程中，每个时间步内的临时内存使用量减少了$n_T$倍，变为： \[ \Theta(c_O \cdot n_H \cdot n_W) \] 持续卷积的优点包括计算复杂度、状态开销和临时内存消耗与片段长度无关。但从非因果的常规卷积转变为因果的持续卷积会导致输出产生延迟，延迟量为： \[ \Theta(d_T \cdot [k_T - p_T - 1]) \] ## 3. 持续残差连接（Continual Residuals） 持续卷积带来的延迟会对残差连接产生不利影响。在常规CNN中，残差连接很简单，但在持续卷积中，不能直接将输入与输出相加，因为持续卷积可能会延迟输出。因此，与持续卷积的残差连接必须延迟相同的量，这会产生内存开销： \[ \Theta(d_T \cdot [k_T - 1] \cdot c_O \cdot m_H \cdot m_W) \] ## 4. 持续池化（Continual Pooling） 池化操作的结合律允许将其跨维度分解，即$pool_{T,H,W}(X) = pool_T(pool_{H,W}(X))$。对于持续的时空池化，空间维度上的池化与常规池化相同，但需要存储先前时间帧的中间池化结果。 对于时间核大小为$k_T$、空间输出大小为$n_H \cdot n_W$的池化操作，内存消耗和延迟分别为： \[ \Theta([k_T - 1] \cdot n_H \cdot n_W) \] \[ \Theta(k_T - p_T - 1) \] 内存消耗和延迟都与时间核大小呈线性关系。幸运的是，对于大多数CNN架构，时间池化层消耗的内存相对较小。在实际应用中，延迟可能比内存消耗更值得关注，对于某些网络模块，在转换为持续CNN时跳过池化操作可能是有意义的。 ## 5. 时间填充问题（The Issue with Temporal Padding） 在常规CNN中，卷积层的零填充是一种常用策略，用于保持连续CNN层中特征图的时空维度。但对于持续CNN，时间零填充会带来问题。 考虑一个两层的1D CNN，每层的核大小为3，零填充为1。对于连续输入流中的每个新帧，第一层会产生两个