embedding模型的区别
时间: 2025-04-29 21:54:51 浏览: 13
### 不同Embedding模型的区别与特点
#### Word2Vec
Word2Vec是一种流行的词嵌入技术,它基于神经网络训练单词表示。该模型有两种主要架构:连续词袋(CBOW)和跳字(Skip-Gram)[^1]。CBOW预测给定上下文中的目标词;而Skip-Gram则相反,根据中心词预测周围可能出现的词语。
#### GloVe (Global Vectors for Word Representation)
GloVe采用矩阵分解的方法构建词向量,在大规模语料库上统计共现频率并以此为基础建立低维空间映射关系。相较于Word2Vec,GloVe更注重全局信息利用,能够更好地捕捉词汇间的线性规律.
#### FastText
FastText由Facebook提出,改进了传统word embedding只考虑整个单词作为最小单位的做法。其核心思想在于将每个词拆解成n-gram子串形式处理,从而有效应对未登录词(out-of-vocabulary words),即那些未曾出现在训练集中但在实际应用场景里可能会遇到的新颖表达方式.
#### BERT (Bidirectional Encoder Representations from Transformers)
BERT代表了一种预训练语言表征机制的重大突破。不同于以往单向依赖序列建模的方式,BERT借助Transformer结构实现了双向编码器层堆叠设计,使得每一个位置上的token都可以获得关于整句话的信息输入,进而得到更加精准丰富的语义特征描述.
```python
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer("Hello world", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state
```
#### Contrastive Learning
除了上述经典的embedding模型外,还可以通过对比学习(Contrastive Learning)等方法进一步优化嵌入模型。这种方法通过计算正样本和负样本之间的距离差异来提升嵌入向量的区分能力.
阅读全文
相关推荐

















