无监督异常检测中的师生特征金字塔匹配

motivation

• 利用知识蒸馏的思想，训练一个student网络，使得这个网络尽可能的和teacher网络，在正样本数据集上有着相同的表达能力。
• 由于在异常样本上，student网络没有参与训练，那么进行特征提取的效果相对于teacher网络会存在比较大的差异，利用这种FeatureMap上的差异可以实现基于正常样本的异常检测。
• 原有的Teacher-Student模型的缺点：转移知识的不完全性和处理缩放的效率低下

创新点

• 多尺度特征匹配：该方法通过整合多尺度特征匹配策略，使得学生网络能够从特征金字塔接收多层次知识，从而检测各种尺寸的异常。
• 一步式知识转移：通过将预训练的强大模型（教师）的知识转移到具有相同架构的学生网络中，该方法尽可能多地保留了关键信息，提高了检测的准确性和效率。
• 高效的推理速度：该方法不仅在准确性上取得了显著的成果，而且在推理速度上也大幅度超过了现有的技术，至少比最新的模型快几十倍。

方法

1. 教师模型的选择与预训练：

   • 教师模型是在大规模图像分类数据集上预训练的深度神经网络，例如ImageNet。这个模型已经学习到了丰富的特征表示，能够捕捉到正常数据的内在分布。

2. 学生模型的结构：

   • 学生模型具有与教师模型相同的网络架构，但参数较少，目的是为了减少模型的复杂性和计算成本，使其更适合实时或资源受限的环境。

3. 特征金字塔匹配：

   • 该方法使用多尺度特征匹配策略，即在不同的特征层级