cs224n-naive-softmax-的推导与实现

最新推荐文章于 2025-03-13 19:00:00 发布
最新推荐文章于 2025-03-13 19:00:00 发布
阅读量1.2k 收藏 1
点赞数 3
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/StarLib/article/details/100669485
版权
This blog covers the derivation and implementation of naive softmax in the context of CS224n (2019). It starts with an introduction, followed by a detailed explanation of the formula derivation using chain rule and the gradient of the softmax function. The post concludes with a brief mention of the provided code for the implementation." 88195562,5040019,在线编译器推荐：从调试到汇编查看,"['编译器', '工具', '在线开发', '调试工具', '代码编辑']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

cs224n-naive-softmax-的推导与实现

文章目录

0、简介

在cs224n（2019）第二次课后作业Assignment 2的手写作业b（推导梯度公式）和编程作业a中对naive softmax的实现。首先手写作业的推导公式，编程作业则是对这些公式的简单实现

1、公式推出

首先看下背景和问题

image-20190909170321836

image-20190909170250701

首先问题a中已经证明了 损失函数 J = C r o s s E n t r o p y ( y , y ^ ) J = CrossEntropy(y, \hat{y}) J=CrossEntropy(y,y^​)，而且有 y ^ = s o f t m a x ( U T v c ) \hat{y}=softmax(U^Tv_c) y^​=softmax(UTvc​), 不妨用 θ = U t v c \theta=U^tv_c θ=Utvc​,现在有 y ^ = s o f t m a x ( θ ) \hat{y}=softmax(\theta) y^​=softmax(θ), 然后用chain rule推导J关于vc的偏导数。

关 于 的 求 导 如 下 ： 由 以 上 的 导 数 可 推 ： 由 链 式 法 则 ： J = − y log ⁡ y ^ ;   ∂ J ∂ y ^ = − y y ^ y

最低0.47元/天 解锁文章
CS224n 词的向量表示word2vec 之skipgram （softmax）
段智华的博客
12-08 768
CS224n 词的向量表示word2vec 之skipgram： word2vec是google的一个NLP工具，将词向量化，挖掘词之间的联系，本案例通过Skip-Gram模型,softmax交叉熵计算损失度cost及对权重参数W（inputVectors）、W'（outputVectors）计算梯度 gradIn、gradOut。 cs231 softmax函数求导参考： https://...
Naive Softmax&Negative Sampling
weixin_37616971的博客
09-20 981
Naive Softmax&Negative Sampling Naive Softmax 损失定义为: J=−log⁡exp(uoTvc)∑w=1Vexp(uxTvc)=−log⁡exp(uoTvc)+log⁡∑w=1Vexp(uxTvc)=−uoTvc+log⁡∑w=1Vexp(uxTvc) \begin{aligned} J &= -\log \frac{exp(u_o^Tv...
CS224n斯坦福课程assiment1——softmax函数
潘多拉星系的专栏
12-15 267
一、softmax的常数不变性。 二、写代码 代码要求不仅要保证对一维向量，也要对多维的矩阵有效。所以分为了maxtir和vector两个处理方法。 matrix： vector： 三、小结 1、softmax通过指数变换去掉了负数，突出了特征 2、通过归一化处理，变为了概率的近似 3、利用常数不变，防止了溢出。（x-x_max,减去了每个样本中的最大值） 4、要弄清每个维度代表的含义...
c++高性能多进程 cuda编程: naive_softmax实现和图示
ResumeProject的博客
03-13 803
分母d_total_inverse的计算图示： Layer 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 SM BlockReduce 0 1 2 3 4 5 6 7 8 9
python中yield总结
stone15165的博客
12-28 437
总结： 1.通常的for…in…循环中，in后面是一个数组，这个数组就是一个可迭代对象，类似的还有链表，字符串，文件。它可以是mylist = [1, 2, 3]，也可以是mylist = [x*x for x in range(3)]。 它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 2.生成器是可以迭代的，但只可以读取它一次。因为用的时候才生成。比如 mygenerator ...
CS224n_2019_Assignment2: word2vec coding solution
qq_44695832的博客
11-26 1492
CS 224n Assignment #2: word2vec 作業答案 coding part solution前言題目詳情Coding: Implementing word2vec (20 points)( a )( b )( c ) 前言 A2是關於word2vec的forward and backward propagation的實現。要想A2的coding part完全正確，完成writ...
【深度学习】cs224n 自然语言处理
froot的博客
04-15 1264
【深度学习】cs224n 自然语言处理
cs231n - assignment1 - softmax 梯度推导
好记性不如烂笔头
07-16 1万+
Softmax exercise Complete and hand in this completed worksheet (including its outputs and any supporting code outside of the worksheet) with your assignment submission. For more details see the assig
斯坦福CS224n-assignment1
l422380631的博客
04-28 289
总结： 1、softmax 函数公式，作用在输出层，把预测值转换成输出值的概率分布。 2、softmax函数加一个常量，结果不变，这个性质可以用在指数太大防止数值溢出，将x-max(x),其中x是矩阵，max(x)是行最大值。 3、sigmod函数，激活函数，把线性变成非线性。 4、损失函数 5、从损失函数到x输入的求导。 一、softmax 1.1证明SoftMax对于...
cs231n-assignment1的笔记
Zamirquito的博客
02-17 1万+
在看完cs231n前面几章的内容后，准备做一下assignment1，然后怕之后忘记，所以写博文记录一下......由于我是个low逼程序员，平时能用Windows就绝不用linux，所以在这次作业时使用虚拟机完成了作业，装好ubuntu16.04之后，配好环境，使用jupyter notebook查看相应的要求Q1: k-Nearest Neighbor classifier由于我对matplo...
【深度学习CV】SVM, Softmax损失函数
白辰甲
12-26 1万+
Deep learning在计算机视觉方面具有广泛的应用，包括图像分类、目标识别、语义分隔、生成图像描述等各个方面。本系列博客将分享自己在这些方面的学习和认识，如有问题，欢迎交流。 在使用卷积神经网络进行分类任务时，往往使用以下几类损失函数： 平方误差损失 SVM损失 softmax损失 其中，平方误差损失在分类问题中效果不佳，一般用于回归问题。softmax损失函数和SVM(多分类)损失函数在实际
2019-CS224n-Assignment2
weixin_33907511的博客
03-14 1415
我的原文：2019-CS224n-Assignment2 这次复习cs224n主要是先熟悉python和pytorch，方便之后进行论文复现等工作，同时也回顾一下模型和数学公式推导，找找感觉。 解答：理解词向量（23分） 我们先快速回顾一下word2vec算法，它的核心思想是“一个词的含义取决于它周围的词”。具体来说，我们有一个中心词（center word） c，和这个词 c 周围上下文构成的窗...
tensorflow常用函数之tf.nn.softmax
12-13 1213
文章来源:http://www.datacups.com/post/35 关于softmax的详细说明，请看Softmax。 通过Softmax回归，将logistic的预测二分类的概率的问题推广到了n分类的概率的问题。通过公式 可以看出当月分类的个数变为2时，Softmax回归又退...
2019-CS224n-Assignment1
weixin_33971130的博客
03-12 915
我的原文：www.hijerry.cn/p/54554.htm… 去年冬季学习了cs224n的2017课程，做了三个assignments，用的是TensorFlow。今年cs224n再次放课，一共有5个assignments，使用PyTorch，主讲还是Manning，特别喜欢这个老师，讲课生动有趣还挺可爱的哈哈哈~~ Assignment1(点击下载) 的任务是探索词向量。以基于计数的共现矩阵...
CS 224n Assignment #2: word2vec (written部分）
一桩事先张扬的梦
01-26 1243
CS 224n Assignment #2: word2vec (written部分） written部分CS 224n Assignment #2: word2vec (written部分）understanding word2vecQuestion and Answer understanding word2vec ==The key insight behind word2vec is that ‘a word is known by the company it keeps’. == Concret
卷积神经网络系列之softmax loss对输入的求导推导
热门推荐
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
softmax求导--参照cs224n作业
z2539329562的博客
05-16 391
n-image naive
最新发布
03-22
### Naive 图像处理技术和库 Naive图像处理通常指的是基于简单算法或基础操作的技术，这些技术可能不涉及复杂的机器学习模型或者深度神经网络。以下是几种常见的 naive 图像处理技术和对应的 Python 库： #### 基础图像处理概念 1. **灰度转换**: 将彩色图像转换为灰度图像是许多图像处理任务的第一步[^2]。 ```python import cv2 img = cv2.imread('image.jpg') gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ``` 2. **二值化**: 使用阈值将像素分为两类（黑或白），这是简单的分割方法之一[^3]。 ```python _, binary_image = cv2.threshold(gray_img, 127, 255, cv2.THRESH_BINARY) ``` 3. **边缘检测**: Sobel 或 Canny 方法可以用于提取图像边界[^4]。 ```python edges = cv2.Canny(gray_img, threshold1=100, threshold2=200) ``` #### 常见的 Naive 图像处理库 1. **OpenCV**: OpenCV 是一个功能强大的计算机视觉库，支持多种基本到高级的图像处理操作[^5]。 2. **Pillow (Python Imaging Library)**: Pillow 提供了易于使用的接口来执行诸如裁剪、旋转和滤波等基础图像操作[^6]。 3. **Scikit-image**: Scikit-image 是 SciPy 生态的一部分，专注于提供高质量的图像处理工具集[^7]。 #### 实验设置与假设 在实际应用中，使用上述技术时需注意实验环境的选择。例如，在某些场景下，光照条件的变化可能会显著影响结果质量。因此，合理的数据预处理和标准化是非常重要的[^8]。 ```python from PIL import Image, ImageFilter img_pil = Image.open('image.jpg').convert('L') # 转换为灰度模式 blurred = img_pil.filter(ImageFilter.BLUR) # 添加模糊效果 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值