【小白学AI系列】NLP 核心知识点(六)Softmax函数介绍

Softmax 函数

Softmax 函数是一种常用的数学函数,广泛应用于机器学习中的分类问题,尤其是在神经网络的输出层。它的主要作用是将一个实数向量“压缩”成一个概率分布,使得所有输出的值在 0 到 1 之间,并且总和为 1。换句话说,Softmax 将模型的原始输出(logits)转化为概率,帮助我们做分类决策。

定义与公式

假设我们有一个向量 z=[z1,z2,…,zn] \mathbf{z} = [z_1, z_2, \dots, z_n] z=[z1,z2,,zn],其中每个元素zi z_i zi 是模型的原始输出(logit)。Softmax 函数会将每个 zi z_i zi转换成一个概率 P(yi)P(y_i) P(yi),公式如下:

Softmax(zi)=ezi∑j=1nezj \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}} Softmax(zi)=j=1nezjezi
其中:

  • ezi e^{z_i} e
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值