opl：正交投影损失函数，提升深度学习分类性能

opl：正交投影损失函数，提升深度学习分类性能

opl Official repository for "Orthogonal Projection Loss" (ICCV'21) 项目地址: https://gitcode.com/gh_mirrors/op/opl

在深度学习的分类任务中，softmax交叉熵（CE）损失函数已经成为事实上的标准目标函数。CE损失鼓励一个类的特征在真实类向量上有更高的投影得分，与其他类相比具有相对约束。然而，这种方法并没有明确地强制不同类的特征彼此分离。基于这一观察，orthogonal projection loss（OPL）应运而生，它在特征空间中引入正交性，直接强化类间分离和类内聚类。

项目介绍

Orthogonal Projection Loss（OPL）是一个新颖的损失函数，通过在特征空间中施加正交性约束，直接实现类间分离和类内聚类。与传统的CE损失相比，OPL增强了CE损失的性质，通过正交性约束在批次级别上直接强制类间分离。此外，OPL具有无需额外可学习参数、无需细致的负样本挖掘、对批次大小不敏感等独特优势。其即插即用的特性使得OPL可以轻松地与其他损失函数结合使用。

项目技术分析

OPL的核心思想是在特征空间中施加正交性约束，从而实现类间分离和类内聚类。这种约束有效地补充了CE损失，使得模型在特征空间中的表示更加具有区分性。OPL的数学表达简单，易于集成到现有的深度学习框架中，且不需要额外的可学习参数。

项目技术应用场景

OPL适用于多种图像分类任务，包括但不限于：

• 图像识别（如CIFAR-100）
• 大规模分类（如ImageNet）
• 领域泛化（如PACS）
• 少样本学习（如miniImageNet, CIFAR-FS, tiered-ImageNet 和 Meta-dataset）

此外，OPL还展现出对对抗性攻击和标签噪声的鲁棒性。

项目特点

• 正交性约束：通过在特征空间中施加正交性约束，OPL能够直接实现类间分离和类内聚类。
• 即插即用：OPL可以轻松地与现有损失函数（如Softmax CE）结合使用，无需复杂的调整。
• 无需额外参数：OPL不需要额外的可学习参数，简化了模型的复杂性。
• 鲁棒性：OPL学习的特征对对抗性攻击和标签噪声具有较强的鲁棒性。

以下是结合了OPL的项目使用方法：

import torch.nn.functional as F
from loss import OrthogonalProjectionLoss

ce_loss = F.cross_entropy
op_loss = OrthogonalProjectionLoss(gamma=0.5)
op_lambda = 1

for inputs, targets in dataloader:
    features, logits = model(inputs)

    loss_op = op_loss(features, targets)
    loss_ce = ce_loss(logits, targets)

    loss = loss_ce + op_lambda * loss_op
    loss.backward()

通过上述代码，我们可以看到OPL与CE损失的结合使用方式非常直观，只需简单地调整损失计算部分即可。

总结

Orthogonal Projection Loss（OPL）作为一种新颖的损失函数，在特征空间中引入了正交性约束，有效地补充了传统的softmax交叉熵损失。OPL易于集成、无需额外参数，并在多个图像分类任务中展现出了优异的性能和鲁棒性。对于希望提升深度学习模型分类性能的研究者和工程师来说，OPL无疑是一个值得尝试的选择。

opl Official repository for "Orthogonal Projection Loss" (ICCV'21) 项目地址: https://gitcode.com/gh_mirrors/op/opl