Cross-Entropy Loss
交叉熵损失函数
(Cross-Entropy Loss)是在机器学习和深度学习中常用的一种损失函数,主要用于衡量模型输出与真实标签之间的差异,特别适用于分类任务,尤其是多类别分类问题。
1.二分类
交叉熵损失函数的数学公式可以有多种表示形式。对于二分类
问题,其公式可以表示为:
L = - [ y * log§ + (1 - y) * log(1 - p) ]
其中,y 表示真实标签,取值为 0 或 1;p 表示模型预测为正类的概率。当 y = 1 时,损失函数只关注 log§,即模型预测为正类的概率;当 y = 0 时,损失函数只关注 log(1 - p),即模型预测为负类的概率。
2. 对于多类别分类问题,其公式可以表示为:
L = - Σ (y_i * log(p_i))
其中,y_i 表示真实标签中第 i 类的取值,取值为 0 或 1;p_i 表示模型预测第 i 类的概率。Σ 表示对所有类别进行求和。
在这些公式中,log 表示自然对数,p 和 q 分别表示实际分布概率和模型预测分布概率,n 表示样本数量。交叉熵损失函数的值越小,表示模型预测与真实标签之间的差异越小,即模型的性能越好。