本文介绍了TensorFlow中的四种交叉熵函数：sigmoid_cross_entropy_with_logits、softmax_cross_entropy_with_logits、sparse_softmax_cross_entropy_with_logits和weighted_sigmoid_cross_entropy_with_logits。交叉熵在损失函数中用于衡量模型预测值与真实值的差距。文章详细解析了每种函数的适用场景，例如sigmoid适用于多目标问题，softmax适用于互斥的多分类问题，而sparse_softmax_cross_entropy_with_logits则简化了多分类问题的输入。此外，weighted_sigmoid_cross_entropy_with_logits支持对正样本的加权。选择合适的交叉熵函数对模型训练至关重要。
TensorFlow四种Cross Entropy算法实现和应用
深入理解交叉熵算法定义和TensorFlow深度学习框架的函数实现
交叉熵介绍
交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小，常见的Loss函数就是均方平方差（Mean Squared Error），定义如下。
平方差很好理解，预测值与真实值直接相减，为了避免得到负数取绝对值或者平方，再做平均就是均方平方差。注意这里预测值需要经过sigmoid激活函数，得到取值范围在0到1之间的预测值。
平方差可以表达预测值与真实值的差异，但在分类问题种效果并不如交叉熵好，原因可以参考这篇博文 https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/ 。交叉熵的定义如下，截图来自
最低0.47元/天 解锁文章
扫一扫
6206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
