SPCL：Siamese Prototypical Contrastive Learning

论文链接：https://arxiv.org/abs/2208.08819 BMVC 2021

abstract
CSL(Contrastive Self-supervised Learning)的一个缺点是，对比损失函数需要大量的负样本，以提供更好的理想互信息边界。

通过变大batch size来增加负样本数理，同时也会增强假负例的影响(某张同类图被错误认为原图的负例)，即语义相似的样本(其他同类图片)被远离了原图，从而降低了模型效果。

通过引入一个简单的对比学习模型Siamese Prototypical Contrastive Learning(SPCL)来解决上述问题。关键是使用siamese-style的度量损失(metric loss)来匹配原型内特征，同时增加原型间特征之间的距离。

introduction

CSL核心思想是利用样本的增强图去构建对应的pretext任务。此任务学习深度神经网络提取特征表示的能力，可进一步用于大量下游任务，如图像分类，目标检测，语义分割。

之前说过CSL的缺点即假负例，其有如下解决方法：

1）一种直接的方法就是使用样本的标签信息，即监督对比学习。

2）另一种方法是使用原型(prototype)，以task-agnostic(任务无关)的方式解决问题。

• 聚类可以预先定义，也可以在训练小批量期间计算
• 来自同一原型的样本包含非常相似的语义信息
• 学习到的嵌入特征对于下游分类任务提供更好的辨别能力

注："prototype"指嵌入空间中的样本聚类

实验发现直接添加原型的交叉熵损失会降低性能。此外，通过最小化聚类中心的相似性来分离聚类中心是没有帮助的。实验推测在原始嵌入空间中区分语义假负例是不可行的。为了解决这个问题，提出了一种Siamese-style metric loss，以最大化原型间距离，同时保持原型内相似性。实验揭露在对比投影空间(contrastive projec