【损失函数】Contrastive Loss, Triplet Loss and Center Loss

本文链接：https://blog.csdn.net/weixin_43882112/article/details/121125272

本文详细介绍了深度学习中三种重要的损失函数：对比损失、三元组损失和中心损失。对比损失通过孪生网络处理成对数据，旨在增大类间差异；三元组损失引入了正负样本的概念，优化了特征表示，使相同标签的特征靠近，不同标签的特征远离；中心损失则为每个类别提供一个中心点，缩小类内距离，增强判别能力。这些损失函数在人脸识别等任务中起到关键作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 损失函数

Contrastive Loss [1]：

来源：Yann LeCun论文：Dimensionality Reduction by Learning an Invariant Mapping
目的：增大分类器的类间差异

Triplet Loss [2]：

来源： FaceNet: A Unified Embedding for Face Recognition and Clustering
目的：对Contrastive Loss的改进

Center Loss[3]:

来源：A Discriminative Feature Learning Approach for Deep Face Recognition
目的：解决三元组数据激增导致的网络收敛缓慢

2. 问题引入：

假设我们有2张人脸图片，需要判断这两张人脸图片是不是对应于同一个人，一般情况下如何解决？
一种简单直接的思路就是提取图片的特征，然后对比两个特征向量的相似度。但这种简单做法存在一个明显问题，就是CNN提取的特征“类间”区分性真的有那么好吗？
用SoftMas损失函数训练出的分类模型在Minst测试集上就表现出“类间”区分边缘不大的问题，使得遭受对抗样本攻击的时候很容易分类失败。况且人脸识别需要考虑到样本的类别以及数量都非常多，这无疑使得直接用特征向量来对比更加的困难。

3. Contrastive Loss：对比损失

3.1 本质

原本主要用于降维，即本来相似的样本经过降维（特征提取）后，两个样本仍旧相似；而原本不想死的样本，经过降维后，两个样本人就不想死。

针对上面问题，提出了孪生网络，结构如下：
在这里插入图片描述

3.2 定义

Contrastive Loss 可以有效的处理孪生网络中的成对数据关系。
在这里插入图片描述

● W是网络权重，X是样本，Y是成对标签。
● 如果X1与X2这对样本属于同一类则Y=0，否则Y=1。
● Dw是X1与X2在潜变量空间的欧几里得距离。
● 当Y=0，调整参数最小化X1与X2之间的距离
● 当Y=1，当X1与X2间距大于m，则不做优化。当X1与X2间距大于m，则增大两者距离到m。