大语言模型(LLM)入门 - (4) 嵌入层

 文章来自：大语言模型(LLM)小白入门自学项目-TiaoYu-1

GitHub - tiaoyu1122/TiaoYu-1: For People! For Freedom!For People! For Freedom! Contribute to tiaoyu1122/TiaoYu-1 development by creating an account on GitHub.https://github.com/tiaoyu1122/TiaoYu-1

项目优点：

1. 行行代码都有“中文注释”，方便阅读与理解。
2. 覆盖了 全部训练流程，包括：预训练、有监督微调(SFT)、人类反馈强化学习(ELHF)、LoRA微调、推理模型训练(Reasoning)、知识蒸馏(KD)等。
3. 配套有原理文档。

阅读顺序推荐：

相关概念(文档) -> 模型构建(文档) -> (粗读)模型超参数(代码) -> (可选)预训练数据下载(代码) -> (可选)预训练数据处理(代码) -> 分词器(文档) -> 分词器(代码) -> (可选)分词器模型(json文件) -> LLM模型整体结构(代码) -> 模型超参数(代码)-> 嵌入层(文档) -> 正则化(文档) -> 位置编码(文档) -> 位置编码(代码) -> 归一化(文档) -> 归一化(代码) -> 线性层(文档)-> 激活函数(文档) -> 解码器(文档) -> 解码器(代码) 多头掩码自注意力机制(文档) -> 多头掩码自注意力机制(代码) ->Flash Attention(文档) -> MOE前馈神经网络(文档) -> MOE前馈神经网络(代码) -> 输出结果类(代码) -> 预训练数据加载(代码) -> 交叉熵损失函数(文档) -> 信息量、熵、交叉熵、KL散度等(文档) -> 优化器(文档) -> (复习)模型构建(文档) -> 预训练(代码) -> SFT(代码) -> 人类反馈强化学习(文档) -> 人类反馈强化学习(代码) -> LoRA微调(代码) -> 知识蒸馏(代码) -> 推理模型训练(代码) (可选)分类模型评价指标(文档) -> (可选)梯度消失与梯度爆炸(文档) -> (可选)非极大抑制算法(文档)-> (可选)GPT和BERT(文档) -> (可选)Q-Former(文档)