超级会员免费看
本文介绍了Word Embeddings和Word2vec的原理，从n-gram模型到基于神经网络的语言模型NNLM，再到Word2vec的CBOW和Skip-gram模型。重点讲解了Hierarchical Softmax和Negative Sampling优化方法，并提供了PyTorch中的应用实例和源码分析。
欢迎关注我的CSDN：https://blog.csdn.net/caroline_wendy
本文地址：https://blog.csdn.net/caroline_wendy/article/details/128227529
语言建模
- 基于已有的人类组织的文本语料，来去无监督学习如何组织一句话，并还能得到单词的语义表征。
- 统计模型：n-gram，N个单词所构成的序列，在文档中出现的次数，基于贝叶斯公式。
- 无监督学习：NNLM（Neural Network Language Model）《A Neural Probabilistic Language Model》，Neural Network + n-gram
- 大规模无监督学习：word2vec、BERT（Bidirectional Encoder Representations from Transformers）
n-gram模型
- 特点：统计性、简单、泛化能力差、无法得到单词的语义信息
- 定义：n个相邻字符构成的序列
- uni-gram，单一单词
- bi-gram，两个单词
订阅专栏 解锁全文
扫一扫
89
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
