Decoupling Representation and Classifier for Lont-Tailed Recognition_decoupling representation and classifier for long--CSDN博客

本文链接：https://blog.csdn.net/MrR1ght/article/details/116804030

Decoupling Representation and Classifier for Lont-Tailed Recognition

长尾问题是基于深度学习分类模型的一大难点。现有的解决方案包括损失加权，数据重采样，头部类别到尾部类别的迁移学习。大多数方案都将表示和分类器联合学习。本文将学习过程分解成表示学习和分类。系统的探索了上述方法是怎么影响这两个部分，以获得在长尾分布上更好的表示。发现两个结果：

（1）在学习高质量的文本表示时，数据不均衡不是一个问题。（即使数据不均衡，也能学习到高质量的文本表示）

（2）使用最简单的实例均衡采样学习的表示，仅仅调整分类器就能获得很强的长尾识别效果。

本文为了研究针对长尾问题的方法究竟是学习了更好的文本表示，还是得到了更好的决策器分类边界。为此，将长尾识别分离成表示学习和分类器学习。

1、representation learning

采用不同的采样方法，直接用训练数据训练模型。得到每个样本的特征表示。在之后的分类器学习时，冻结表示学习部分，只调整分类器。在表示学习中，尝试了三种采样策略：

样本均衡采样。（按原始长尾分布采样）
类别均衡采样。（每个类别等概率采样，相当于过采样到每个类别数相等）
两种采样方式的混合

2、classification

采用下面三种方法来获得具有均衡边界的分类器。分类器的边界均衡在长尾问题识别中很重要。

Classifier Re-training(cRT)，使用类均衡采样重新训练分类器。只训练分类器，冻结其他参数。
Nearest Class Mean classifier(NCM)，不含参数的最近邻均值分类器。先求每个类别的特征均值，再根据距离度量选择最近样本的类别作为预测结果。
$\tau-normalized classifier(\tau-normalized)$ ，对分类器的权重进行归一化。直接使用归一化将权重调整的更加平衡，同时使用 $\tau,temperature$ 来调整归一化过程。

通过观察发现，使用样本平衡采样进行联合训练后，分类器中第j类的权重 $w_j$ 的范数和该类的样本数 $N_j$ 成正相关。如下图：

在这里插入图片描述

分类器中属于每个类别的权重范数不同，头部类别的决策边界会更占优。如下图：
在这里插入图片描述

文章使用上述三种方法来获得更加均衡的决策边界。使用类均衡采样再次训练，每个类别的范数会更相近。最近邻由于没有参数，决策边界也是均衡的。下面详细介绍 $\tau-normalized$ 方法。

2.1 $\tau-normalized$

样本均衡采样联合训练后，权重 $w_j$ 的范数和该类样本数 $N_j$ 相关。而使用类均衡采样微调后，分类器权重的范数更加接近。我们考虑使用 $\tau-normalization$ 方法调整分类器权重的范数，来纠正不均衡的分类边界。设 $W=\{w_j\}\in R^{d\times C}$ ，其中 $w_j\in R^d$ 是分类器对应于类别j的权重。使用下面公式将 $W$ 放缩到 $\widetilde W=\{\widetilde w_j\}$ :
$\widetilde W_i=\frac{W_i}{||W_i||^\tau},$
其中 $||\cdot||$ 表示二范数， $\tau$ 是控制正则“温度”的超参。当 $\tau=1$ 时，公式退化成标准L2正则。 $\tau=0$ 时，不做放缩。经过 $\tau-normazation$ 后，分类logits通过 $\hat y=\widetilde W^Tf(x;\theta)$ 给出。 $\tau$ 值的选择和准确率曲线如下图：

在这里插入图片描述

Learnable weight scaling (LWS).

$\tau-normalization$ 的另一个解释是把它看做分类器 $w_i$ 放缩因子，保持其原有方向不变。
$\widetilde w_i=f_i*w_i,where\ f_i=\frac{1}{||w_i||^\tau}$
超参 $\tau$ 可以通过交叉验证来确定，也可以把它当做是可学习的参数，通过在训练学习得到。学习过程中冻结其他所有参数的权重。