本文探讨了交叉熵在机器学习分类任务中的优势，包括其衡量细微差异的能力及作为凸优化函数便于求解的特点。文章对比了均方误差（MSE）在分类初期的局限性，并介绍了交叉熵计算的一般流程，特别指出其在one-hot编码下的计算方式及对focal loss的理解帮助。
1交叉熵的优点
- 能衡量细微的差异。
- 凸优化函数，便于利用梯度下降方法找到最优解。
- mse在分类初始阶段loss很小，不利于训练，详细见：https://blog.csdn.net/u014313009/article/details/51043064
- 回归的时候一般可能用mse
2交叉熵的计算
计算的话是onehot形式然后计算的，所以每一位都可以利用二进制交叉熵来算的，这样对于focal loss理解的话就更方便了。
参考：
http://jackon.me/posts/why-use-cross-entropy-error-for-loss-function/
https://blog.csdn.net/xg123321123/article/details/80781611
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
