【第四章:大模型（LLM)】01.Embedding is all you need-(6)从 Word2Vec 到推荐/广告系统，再到大语言模型（LLM）

第四章：大模型（LLM）

第一部分：Embedding is all you need

第六节：从 Word2Vec 到推荐/广告系统，再到大语言模型（LLM）

一、引言：一切的起点是“向量表达”

在自然语言处理中，词是离散的符号。传统方法使用 One-hot 编码 表示词语，维度高且无法表达词之间的语义关系。
Word2Vec 的出现，标志着从离散符号到稠密向量（Embedding）的里程碑跃迁。

向量化不仅让机器“理解”语言，还为后续推荐系统、广告排序、LLM 模型提供了统一的特征表达方式。Embedding 不仅仅是技术细节，它是现代人工智能表示学习的核心引擎。

二、Word2Vec：构建语义空间的起点

1. 基本原理

Word2Vec 包括两个训练目标：

2. 模型结构简化解释：

• 词语通过 嵌入矩阵 W 映射为向量；

• 然后计算概率分布（softmax）预测上下文；

• 通过最大化 log-likelihood 进行训练；

• 输出是一个词典中每个词对应的 稠密向量表示（embedding）。

三、Embedding 在推荐系统中的应用

1. 核心思想：推荐系统也有“语言”

• 用户行为序列 = 一个句子；

• 商品/内容 = 一个个“词”；

• 用户点击序列中的商品，也可用 Skip-Gram/CBOW 训练模型；

• 得到的商品向量可用于相似度召回或冷启动补全。

2. 实际落地应用

案例1：淘宝推荐系统

• 淘宝构建了商品点击序列，训练 item2vec；

• 相似商品召回性能提升，Cold Start 问题减轻。

案例2：YouTube 推荐系统（Covington et al., 2016）

• 利用用户历史行为 Embedding 得到 user vector；

• 与 candidate item vector 做匹配（点积或 MLP）；

• 多阶段结构（候选召回 + 精排）均用到了 Embedding。

3. 多模态推荐

• 使用文本 Embedding + 图像特征 Embedding；

• 在视觉电商推荐中尤为常见；

• 嵌入空间支持“跨模态”相似度计算。

四、广告系统中的Embedding表示

1. 问题背景

广告系统包含大量高维稀疏离散特征：

• 用户属性（性别、年龄、兴趣标签）；

• 广告属性（广告主、品类、关键词）；

• 上下文（时间、设备、APP ID）。

使用 One-hot 编码维度极高，不适合直接进入模型。

2. 嵌入表示方法

• 每个稀疏特征都有一个 Embedding Lookup 表；

• 输入时映射为低维向量（如 16~64 维）；

• 多个 Embedding 向量拼接后进入神经网络。

3. 工程落地模型

五、Embedding 到 LLM 的跃迁：统一的语义基础

1. Token Embedding 是 Transformer 的入口

Transformer 模型（如 BERT、GPT）将文本中的 token 映射为向量，这是模型的第一个计算步骤。

• Token → Embedding Lookup；

• 通常与 Position Embedding 相加后输入网络。

2. Positional Embedding

由于 Transformer 没有循环结构，需加位置信息。

• Sinusoidal：固定函数构造；

• Learnable：模型训练时自适应学习。

3. 从静态到动态的语义学习

4. 应用场景迁移

• 推荐系统使用上下文 Embedding 学习用户兴趣；

• LLM 使用多层 Transformer 构造更复杂的上下文依赖；

• 表示学习的思路不变，复杂度和上下文能力大幅提高。

六、从Word2Vec到LLM：演进路径总结

七、小结：Embedding是AI的语言

从 Word2Vec 到推荐系统、广告排序、再到 GPT、ChatGPT、Gemini 等大语言模型，Embedding 技术一直是连接不同 AI 系统的桥梁。它不仅提升了表示能力，更为理解、推理、生成提供了统一的语义基础。

可以说：

“Embedding is not just a component; it is the soul of modern AI.”