MindSpore:损失函数nn.SoftmaxCrossEntropyWithLogits 解析

本文介绍了Softmax在多分类深度学习中的作用,解释了交叉熵作为分类任务损失函数的意义,详细解析了MindSpore中的nn.SoftmaxCrossEntropyWithLogits接口的使用,包括其参数设置和输入要求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 关于Softmax

机器学习中有一个经典的方法:逻辑回归(Logistic Regression)。它属于一种有监督学习(Supervised Learning)方法。 逻辑回归输出的范围为0-1的值,表示概率,并依据概率的大小将样本归类,其中包括二分类问题与多分类问题。二分类逻辑回归模型输出一个值,该值用于表示样本属于其中一类的概率,多分类逻辑回归模型的输出结果为所有类别的概率分布。
在多分类深度神经网络中,在输出层加上Softmax,使得输出结果为0~1的向量,合为1,表示一种概率分布。此时概率最大的项作为分类预测的类别。Softmax便是沿用了逻辑回归的方法。

详细内容可参考:二分类逻辑回归与多分类逻辑回归的公式推导

2. 交叉熵

交叉熵(Cross Entropy) 本质上是用来衡量两个概率分布的相似性:

“… the cross entropy is the average number of bits needed to encode data coming from a source with distribution p when we use model q …”

— Page 57, 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值