机器学习----交叉熵(Cross Entropy)如何做损失函数

一枕眠秋雨>o<

已于 2024-03-22 13:10:29 修改

阅读量6.2k

点赞数 128

CC 4.0 BY-SA版权

文章标签：机器学习人工智能

于 2024-03-22 12:49:52 首次发布

本文链接：https://blog.csdn.net/lmy050813/article/details/136927204

一.概念引入

1.损失函数

损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。在机器学习中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。

不同的任务类型需要不同的损失函数，例如在回归问题中常用均方误差作为损失函数，分类问题中常用交叉熵作为损失函数。

2.均值平方差损失函数

定义如下： $L(y,f(x;\Theta )) = \frac{1}{N}\sum_{i = 1}^{N}(yi - f(xi;\Theta ))^{2}$

意义：N为样本数量。公式表示为每一个真实值与预测值相减的平方去平均值。均值平方差的值越小，表明模型越好。

对于回归问题，均方差的损失函数的导数是局部单调的，可以找到最优解。但是对于分类问题，损失函数可能是坑坑洼洼的，很难找到最优解。故均方差损失函数适用于回归问题。

3.交叉熵损失函数

交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。在机器学习中，交叉熵表示真实概率分布与预测概率分布之间的差异。其值越小，模型预测效果就越好。

交叉熵损失函数的公式为：
$L = -(y log \hat{y} +(1-y)log(1- \hat{y}))$

其中，y表示样本的真实标签，\hat{y}表示模型预测的标签。当y=1时，表示样本属于正类；当y=0时，表示样本属于负类。

3.1信息量

信息量是指信息多少的量度。

比如说

1：太阳从东边升起，这个信息量就是0，因为这个是一句废话。没有不确定性的东西。

2：今天会下雨。从直觉上来看，这个信息量就比较大了，因为今天天气具有不确定性，但是这句话消除了不确定性。

根据上述总结如下：信息量的大小与信息发生的概率成反比。概率越大，信息量就越小，概率越小，信息量就越大。设某件事发生的概率为p(xi),则信息量为：

$I(xj) = -ln(p(xi))$

3.2信息熵

信息熵是信息论中的一个重要概念，用于衡量一个系统或信号中信息量的不确定性或随机性。

信息熵的定义可以用数学公式表示。假设有一个离散的随机变量X，它可以取n个不同的可能值 $x_1,x_2,\ldots,x_n$ ，每个可能值的概率为 $p_1,p_2,\ldots,p_n$ ，则信息熵H(X)的计算公式为：

$H(X)=-\sum_{i=1}^{n}p_i\log_2p_i$

其中， $\log_2$ 表示以2为底的对数。

信息熵的物理意义是：它表示了在给定概率分布的情况下，系统的平均不确定性或信息量。信息熵的值越大，表示系统的不确定性越高；信息熵的值越小，表示系统的不确定性越低。

3.3相对熵

相对熵，也称为KL 散度（Kullback-Leibler Divergence），是一种用于比较两个概率分布差异的度量。它衡量了一个概率分布P与另一个参考概率分布Q之间的差异程度。

相对熵的定义为：

$D_{KL}(P||Q)=\sum_{x}P(x)\log\frac{P(x)}{Q(x)}$

其中，P(x)和Q(x)分别是概率分布P和Q在事件x上的概率。

相对熵的物理意义是：它表示了将概率分布P表示为参考概率分布Q的编码时所需的额外信息量。如果P和Q非常接近，相对熵的值会比较小；如果P和Q差异较大，相对熵的值会比较大。