解决one-stage目标检测正负样本不均衡的另类方法--Gradient Harmonized

本文链接：https://blog.csdn.net/watermelon1123/article/details/89362220

正负样本不均衡问题一直是One-stage目标检测中被大家所诟病的地方，He Keming等人提出了Focal Loss来解决这个问题。而AAAI2019上的一篇论文《Gradient Harmonized Single-stage Detector》则尝试从梯度分部的角度，来解释样本分步不均衡给目one-stage目标检测带来的瓶颈本质，并尝试提出了一种新的损失函数：GHM(Gradient Harmonizing Mechanism)来解决这个问题。

Gradient Norm

Cross Entropy Loss是分类中常用的一种损失，其表达式：

其中 $p=sigmoid(x)$ ， $p^*$ 为类别的真实标签，如果 $L_C_E$ 对 $x$ 求导，可以得到下列式子：

可以定义g为：

这里的g被定义为梯度模长gradient norm。直观表示上看，g表明了样本的真实值与当前预测值的距离。观测下图，下图是一个one-stage模型收敛后画出的梯度模长分布图。横坐标为gradient norm，纵坐标可以理解为数据分部的比例（做了log scale）。画红框的部分为easy examples，对应着横坐标有着非常低的gradient norm，可以看到easy examples的梯度模长非常小，表明了这些样本的真实值和预测值非常接近了，但是其数量所占比例非常大，其实这部分easy example对于模型的提升效果非常小。

同时注意画绿框的部分，这部分为样本中的very hard example，文中认为，这部分样本同样对模型的提升效果没有帮助，这部分样本同样也有着非常大的比例。其实我们需要关注的应该是中间部分的样本（既不是easy example也不是very hard example），这些样本对模型的提升更有帮助。