具有自适应聚类器的动态局部聚合网络：异常检测新方案

# 具有自适应聚类器的动态局部聚合网络：异常检测新方案 ## 1. 核心网络与特征融合 在异常检测的研究中，提出了动态局部聚合网络（DLAN），它借助卷积神经网络替代了vlad的执行过程。这里有相关参数，$W_l = 2\alpha c^*_l$，$b_l = -\alpha \|c^*_l\|^2$，其中$\alpha$是一个正的常数，用于控制响应随距离大小的衰减。 为了让解码器能利用正常原型预测未来帧，增强自动编码器（AE）对正常情况的建模能力，减少其对异常的过度泛化，需要将$F_t$和$P_m$进行融合。具体操作步骤如下： 1. 计算每个$F^n_t$与初始原型$P_m$的余弦相似度，得到一个大小为$M\times N$的二维相似度矩阵。 2. 应用softmax函数，得到匹配概率权重向量$w^n_{t,m}$，公式如下： \[w^n_{t,m} = \frac{\exp((P_m)^T F^n_t)}{\sum_{m'=1}^{M} \exp((P_{m'})^T F^n_t)}\] 3. 对于初始原型$P_m$，将其与对应的匹配概率权重$w^n_{t,m}$相乘，得到特征$\tilde{P}^n_t \in R^D$，公式为： \[\tilde{P}^n_t = \sum_{m'=1}^{M} w^n_{t,m'} P_{m'}\] 4. 对每个$F^n_t$执行上述步骤，得到最终原型$\tilde{P}_t \in R^{H\times W\times D}$。 5. 将$\tilde{P}_t$和$F_t$在通道上进行拼接，得到最终融合特征$\hat{F}_t = F_t \cup \tilde{P}_t$，并将其输入解码器以预测未来帧$\hat{I}_t$。 ## 2. 损失函数 为了让AE能提取输入帧序列的正确高级特征，学习正常特征表示的原型，同时使原型具备紧凑性和多样性，采用了以下几种损失函数： ### 2.1 强度损失 使用$L_2$距离来约束预测帧$\hat{I}_t$和真实帧$I_t$之间的强度差异，公式为： \[L_{int} = \|\hat{I}_t - I_t\|^2\] ### 2.2 梯度损失 为提高预测图像的清晰度，使用梯度损失来惩罚预测帧和真实帧之间的梯度差异，梯度是图像中相邻像素之间的强度差异。梯度损失函数如下： \[L_{gd} = \sum_{i,j} \left| |I_{i,j} - I_{i-1,j}| - |\hat{I}_{i,j} - \hat{I}_{i-1,j}| \right|_1 + \left| |I_{i,j} - I_{i,j-1}| - |\hat{I}_{i,j} - \hat{I}_{i,j-1}| \right|_1\] 其中$i$，$j$表示视频帧的空间索引。 ### 2.3 紧凑损失 特征紧凑损失促使编码器提取的$F_t$接近原型，使原型更紧凑，减少类内变化。它以$L_2$范数惩罚高级特征与其最接近原型之间的差异，公式为： \[L_{cp} = \sum_{t=1}^{T} \sum_{n=1}^{N} \|F^n_t - P_a\|^2\] 这里$a$是$F_t$和$P_m$之间匹配概率最大的项的索引： \[a = \arg \max_{m\in M} w^n_{t,m}\] ### 2.4 分离损失 正常视频帧的原型应该具有多样性，彼此之间应保持较远的距离。为此，使用三元组损失函数，定义如下： \[L_{sp} = \sum_{t=1}^{T} \sum_{n=1}^{N} [ \|F^n_t - P_a\|^2 - \|F^n_t - P_b\|^2 + \gamma ]_+\] 其中，高级特征$F^n_t$、匹配概率最大的项$P_a$和匹配概率第二大的项$P_b$分别表示锚帧、正例和难负样本，$\gamma$表示边界。类似地，$b$表示为： \[b = \arg \max_{m\in M, m\neq a} w^n_{t,m}\] ### 2.5 总体损失 将上述四个损失项用$\lambda_{int}$、$\lambda_{gd}$、$\lambda_{cp}$和$\lambda_{sp}$进行平衡，得到总体损失函数： \[L_{all} = \lambda_{int} L_{int} + \lambda_{gd} L_{gd} + \lambda_{cp} L_{cp} + \lambda_{sp} L_{sp}\] ## 3. 测试数据中的异常检测 在大量正常样本上进行训练后，DLAN - AC能够自动捕捉正常原型特征，因此对正常帧有很好的预测效果。对于异常帧，它无法捕捉异常特征，只能挖掘正常特征部分，从而会产生较大的预测误差。基于此，可以根据预测误差进行异常检测。 具体步骤如下： 1. 计算预测帧$\hat{I}$与其真实帧$I$之间的峰值信噪比（PSNR），以评估预测帧的质量，公式为： \[PSNR(I, \hat{I}) = 10 \log_{10} \frac{[\max \hat{I}]^2}{\frac{1}{K} \sum_{i=0}^{K} (I_i - \hat{I}_i)^2}\] 其中$K$是图像像素的总数，$\max \hat{I}$是图像像素的最大值。PSNR值越小，测试帧出现异常行为的概率越高，反之亦然。 2. 为了进一步量化异常发生的概率，对每个PSNR进行归一化，得到范围在$[0, 1]$内的