和你一起学习合页损失函数(hinge loss function)

损失函数，loss function的定义为：将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在机器学习中，损失函数经常被当作学习准则与优化问题相联系，也就是通过最小化损失函数求解和评估模型。合页损失函数(hinge loss function)就是常见的损失函数之一，今天就给大家分享什么是合页损失函数。

一、合页损失函数简介

目标函数第一项为经验损失或经验风险，就是合页损失函数hinge loss function，其中下标“+”表示以下取正值。

我们将括号中的部分用z代替：

这也就代表着，如果样本点：能够被正确分类，并且函数间隔(也就是确信度)：大于1时，那么损失就是0.否则损失就是：目标函数的第二项是系数为λ的w的L2范数，也就是是正则化项。

二、合页损失函数图像

 根据上图可以看出，合页损失函数的形状就像一个合页，这也是合页损失函数名字的由来。

其中横轴表示的是函数间隔，下面我们来具体解释一下函数间隔：

1.正负

样本在被正确分类的情况下，y(wx+b)>0;

样本在被错误分类的情况下，y(wx+b)<0。

2.大小

|y(wx+b)|代表着样本距离决策边界的远近程度。y(wx+b)的绝对值越大，那也就代表着样本距离决策边界越远。

由此，我们能够得出：

如果y(wx+b)>0.那么y(wx+b)的绝对值越大，就代表着决策边界对样本的区分度越好

如果y(wx+b)<0时，那么y(wx+b)的绝对值越大，就表示决策边界对样本的区分度越差

从上图中我们可以看出，

1)0-1损失

在样本被正确分类的情况下，损失为0;在样本被错误分类的情况下，损失为1.

2)感知机损失函数

如果样本被正确分类，那么损失为0;如果样本被错误分类，那么损失就为-y(wx+b)。

3)合页损失函数

在样本被正确分类同时函数间隔大于1时，合页损失才会是0.否则损失就是1-y(wx+b)。

三、SVM的损失函数

合页损失函数又被称为max-margin objective，它最主要的应用就是作为SVM的目标函数。

在SVM支持向量机中，构造目标函数时，我们通常会选择合页损失函数作为损失函数。这也就意味着，合页损失函数不仅需要分类正确，并且确信度足够高时，损失才为0. 换句话说，合页损失函数对机器学习有更高的要求。

SVM的损失函数公式

其实，SVM的损失函数就是合页损失函数加上正则化项。