Embedding改进CBOW

最新推荐文章于 2024-08-15 10:25:10 发布
最新推荐文章于 2024-08-15 10:25:10 发布
阅读量949 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 学习笔记 文章标签： CBOW
请勿用于任何商业用途；转载的话请加上我的地址；
本文链接：https://blog.csdn.net/qq_40828914/article/details/122592289
本文探讨了在词汇量为100万的CBOW模型中，由于one-hot表示和权重矩阵乘法以及Softmax计算导致的时间消耗问题。提出使用Embedding层来解决这些问题，通过直接提取权重矩阵的特定行来减少内存占用和计算时间。在正向传播和反向传播过程中，Embedding层能有效传递信息和更新梯度，提高模型训练效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

假设词汇量为 100 万个时的 CBOW 模型如下，输入层和输出层存在 100 万个神经元。

下面两个问题导致耗时严重。

问题一、输入层的 one-hot 表示和权重矩阵的乘积。one-hot 表示占用内存过多，计算 one-hot 表示与权重矩阵 的乘积，需要花费大量时间。

问题二、中间层和权重矩阵的乘积以及 Softmax 层的计算。需要大量的计算，花费大量时间。

在这里插入图片描述

解决问题一：

计算one-hot 表示矩阵和权重矩阵的乘积，其实就是将权重矩阵的某个特定的行取出来。如下图所示。

在这里插入图片描述

Embedding 层：一个从权重矩阵中抽取单词ID对应行(向量)的层。

使用 params 和 grads 作为成员变量，params中保存要学习的参数，grads中保存梯度。并在成员变量 idx 中以数组的形式保存需要提取的行的索引(单词ID)。

正向传播：从权重矩阵W中提取特定的行，并将特定行的神经元原样传给下一层。

反向传播：上一层(输出侧的层)传过来的梯度将原样传给下一层(输入侧的层)。上一层传来的梯度会被应用到权重梯度dW

了解本专栏 订阅专栏 解锁全文
改进版的CBOW模型
及时总结
01-29 1952
复习 首先复习一下之前的CBOW笔记。 采用推理的方法认知单词、CBOW模型这里面主要是： CBOW模型的核心思路：给出周围的单词（上下文）时，预测目标词处会出现什么单词。 要用神经网络处理单词，需要先将单词转化为固定长度的向量，这就引出了单词的表示。 单词的表示：将单词转化为固定长度的向量(one-hot 表示)，神经网络的输入层的神经元个数就可以固定下来。 CBOW模型：它是根据上下文预测目标词的神经网络。模型的输入是上下文。大致结构如下。 上图中的Win和Wout都是矩阵，也就是说，全连接层变换可以
二分类改进CBOW
及时总结
01-19 764
解决问题二：中间层的神经元和权重矩阵的乘积、Softmax 层的计算需要花费很多计算时间 第k个单词的 Softmax 的计算式如下，其中Si是第i个单词的得分。这个计算也与词汇量成正比，所以需要一个替代Softmax的计算。 使用 Negative Sampling (负采样) 替代 Softmax。也就是用二分类拟合多分类。 多分类问题：从100万个单词中选择1个正确单词。 二分类问题：处理答案为是或否的问题，比如目标词是 say 吗。 让神经网络来回答：当上下文是 you 和 goodbye 时，目
Word Embedding 之CBOW
shzhqmeng的博客
11-03 1102
Word Embedding 之CBOWCBOW模型结构准备文字数字化构建损失函数基于RNN的方法基于CBOW的方法 CBOW CBOW 是一个非常优秀的Word Embedding模型，其原理非常简单，本文章尝试深入模型内部，探索这个模型的性能和表现。 模型结构 准备 再介绍模型的网络结构之前，首先要介绍的是一个向量计算。假定特征为， x=(x0,x1,⋯ ,xn−1...
几种改进的embedding方法
weixin_41089007的博客
06-07 3129
最近看论文的时候发现好几篇改进词向量的小论文，方法虽然不复杂但是都挺有意思的，可能在工业界的某些任务上有奇效，分享一下~ 1.平均加权词向量 paper：https://arxiv.org/abs/2002.05606 方法 先，分别用word2vec和glove计算出各个单词的词向量，后将其归一化： 其中，d代表word2vec或者glove词向量的尺寸d1或d2，w是word2vec或glove算法输出的单词的向量，表示归一化的单词向量。 然后将评论的评论向量r计算为标准化单词向量的平均值
自然语言处理(NLP)- 2.4 用CBOW实现词嵌入(Word embeddings with neural networks)
Ogmx的博客
03-31 1432
1.词的表示方法 1.1 整数表示 定义：每个词用一个整数表示 优点：简单 缺点：缺少语义信息 1.2 独热码表示(one-hot vectors) 定义：指定位置为1，其余位置为0 优点：简单、不用考虑单词间顺序 缺点：占用大量空间、无语义信息 1.3 词嵌入表示(Word Embedding) 定义：用一个向量表示一个单词，向量中每一维度都表示一种特定语义的强弱 优点：低维度...
word2vec中Skip-Gram和CBOW
冥更的博客
06-11 2523
Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，本文将详细介绍这两种模型。 CBOW CBOW全称是Continuous Bag of Words Model，即连续词袋模型，模型如下图（图为七月在线NLP课程截图） 由图可看出，CBOW的输入是上下文，输出是中间词...
CBOW模型的代码实现
AI天才研究院
07-02 201
CBOW模型的代码实现 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：CBOW模型,上下文感知,词向量,分布式表示,神经网络基础 1. 背景介绍 1.1 问题的由来
基于高频词抽样+负采样的CBOW模型
tt丫的博客
03-19 3306
深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。
Word2vec原理+常见优化手段
薇酱的博客
05-23 1995
官网地址：https://code.google.com/archive/p/word2vec/ 我觉得原理讲的比较好的：https://www.cnblogs.com/pinard/p/7160330.html 最近发现学习知识还是尽量找官网的解释，比较全，别人讲过的会帮助你理解，但是会漏掉一些知识 word2vec是训练词向量的一款非常好用的工具，由谷歌发明，主要有： 1.2种模型： cbow（连续词袋模型）和skip-gram（跳字模型） 2.2种近似训练的方法：层次softmax和naga
几种Word Embedding技术详解
python1234_的博客
08-15 1363
词嵌入或词向量是我们用来表示文档和单词的一种方法。它被定义为一个数字向量输入，允许具有相似含义的单词具有相同的表示。它可以近似含义并在较低维空间中表示单词。这些可以比使用 WordNet 等图形嵌入的手工构建模型训练得更快。例如，具有 50 个值的词嵌入可以表示 50 个独特特征。许多人选择预先训练的词嵌入模型，如 Flair、fastText、SpaCy 等。我们将在文章中进一步讨论它。让我们通过一个示例来简要地了解它。
CBOW模型
Enoch的博客
03-15 1756
word2vec是 Mikolov2013年的paper中提到的，是对bengio的NNML的改进，他去掉了隐含层，所以他的简单实现就是： #!/usr/bin/env python #!-*-coding:utf-8 -*- """ @version: python3.7 @author: ‘v-enshi‘ @lic
word2vec 的CBOW，多层softmax,负采样。
weixin_41370083的博客
09-16 3755
NNLM的原理基于N-1个词来预测第N个词，而CBOW是希望用前后N个词来预测中间词，这是CBOW与NNLM的本质区别。 NNLM中存在投影层，将ONE-HOT编码与词库矩阵C进行运算投射，从词库矩阵取出一列。同时对每个词取出的每个列，进行一个concat拼接。 而由于当词库非常巨大时，这个计算是非常耗费时间的。因此，就出现了CBOW CBOW CBOW将矩阵C直接舍弃，直接把这样一...
CBOW
热门推荐
u012654154的博客
07-12 1万+
本文简述了以下内容：       神经概率语言模型NPLM，训练语言模型并同时得到词表示       word2vec：CBOW / Skip-gram，直接以得到词表示为目标的模型           （一）原始CBOW(Continuous Bag-of-Words)模型           （二）原始Skip-gram模型           （三）word analogy 神经
Embedding和Word2vec的理解
BoCong-Deng的博客
10-28 3290
Embedding就是用一个低维的向量表示一个物体，这个Embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，正是因为Embedding能够用低维向量对物体进行编码还能保留其含义的特点，所以其非常适合用于深度学习。由于我们熟知的one hot encoding、multi hot encoding是一种稀疏向量的编码方式，所以不适合用来深度学习进行特征表示，相反Embedding概括而言，就是一种高效的低维稠密的操作。
CBOW 更新
sinat_15355869的博客
03-02 486
代码： import torch import torch.nn as nn import numpy as np def make_context_vector(context, word_to_ix): idxs = [word_to_ix[w] for w in context] return torch.tensor(idxs, dtype=torch.long) ...
省内存OneHotEncoder
mantoureganmian的专栏
07-05 665
OneHotEncoder 在进行编码时，会将输入的数据先转为numpy.array对象，以此优化速度。这可能会造成文中子类型内存不足，比如：某列中某值是3000000个字符的文本，那么就会造成内存不足。对此，做这这一版超级省内存的。 OneHotEncoder还有get_feature_names可以用，所以改写了一个非常节省内存的版本。 from sklearn.base import TransformerMixin class LittleOntHotEncoder(TransformerMix
深入理解 Embedding层的本质
weixin_42078618的博客
11-26 1万+
继上文https://blog.csdn.net/weixin_42078618/article/details/82999906探讨了embedding层的降维效果，时隔一个月，分享一下嵌入层在NPL领域的巨大作用。   本文的发表建立在了解文本转向量（如one-hot）的用法的前提上。   首先，继续假设我们有一句话，叫“公主很漂亮”，如果我们使用one-hot编码，可能得到的编码如下...
【DL学习笔记11】《深度学习进阶——自然语言处理》—— ch04：word2vec的高速化
m0_71268863的博客
07-12 436
1. 改进一：Embedding层；2. 改进二：Negative Sampling（负采样）：多分类到二分类的实现、负采样、采样方法、负采样的实现；3. 改进版word2vec的学习：CBOW模型的实现、CBOW模型的学习代码、CBOW模型的评价；4. word2vec相关的其他话题：应用例、单词向量的评价方法......
Embedding单词翻译
最新发布
02-07
此外，为了应对实际应用场景中存在的挑战，一些改进型算法被提出以增强鲁棒性和泛化性能。比如EGES框架就提供了一种有效的途径来缓解因部分样本缺乏足够的历史记录而导致的新条目难以融入现有体系的问题，从而改善...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

每天学点

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值