【GPT辅助教育的一些思考】

本文链接：https://blog.csdn.net/zchtcsdn/article/details/130895483

文章探讨了如何利用自定义语料训练模型，强调了OCR和数学公式处理在数据预处理中的重要性。提到了分布式训练技术，如PyTorchDDP和Megatron，并概述了GPT模型的结构与强化学习算法。还讨论了知识库构建、大模型训练与微调，以及如何将学习应用于实际，包括获取垂直行业语料和变现策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有点触动，还真可以根据自己的语料训练模型，各种格式的文件都可以输入进去学习！！！
在这里插入图片描述但是再结合“李rumor”小姐姐发的文章《大模型知识&推理评估基准》来看

真正想有效的输入数据，以数学题为例 ocr+数学公式
对于个性化的数据集还要如何处理处理成什么格式才能读还需要学习？画个问号

from .common import process_file
from langchain.document_loaders import UnstructuredMarkdownLoader
from fastapi import UploadFile


def process_markdown(file: UploadFile, enable_summarization):
    return process_file(file, UnstructuredMarkdownLoader, ".md", enable_summarization)

-----懵懵懂懂-------

再接着：
分布式训练原理：
分布式框架 pytorch DDP、deepspeed、megatron
Zero让优化器状态0冗余
offload内存换显存的利器

gpt模型结构
输入—词嵌入与位置编码
自注意力机制
掩码—Masked self attention
如何计算gpt模型的参数量

强化学习
贝尔曼方程、policy gradient、ppo算法

reward model—奖励模型数据的标注和训练
RLHF 训练实战与代码讲解

langchain构建一个实时知识库
端到端能力建设
提示工程

——LLaMA模型—
———Transformer、LLaMA、ChatGLM-6B、ChatLLaMA/ColossalChat等模型
———大模型训练 Megatron-DeepSpeed、ZeRO、数据并行、张量并行
———部署与微调：Alpaca、Vicuna（share gpt）、BELLE（self-instruct）等
————调参：
———ChatGLM-6B 如何训练LLM以及部署调参（本地知识库应用以及实现）

——微软DeepSpeed Chat结合RLHF 一键式训练自己的ChatGPT
——复旦MOSS大模型

学习：论文100篇知识点+原理、类chatgpt代码理解
实践：数据集（中文、英文）、模型、训练、微调
价值：推荐结合的工作、自己录制课程变现、

思考：学完别人讲的课自己能有几分长进？如何获取垂直行业的中文可商用语料？如何才能变现，毕竟人家是一份课卖给好多人我学了能干嘛上班打工还是也可以帮助更多人？？？

参考引用链接：https://yaofu.notion.site/C-Eval-6b79edd91b454e3d8ea41c59ea2af873