weixin_38252409的博客

简单给出环境安装与数据类型及vscode运行配置，其中vscode运行配置是便于我们调试代码。

本文验证完成基于vscode对deepspeed进行debug方法。特别的，该方式不仅适合deepspeed命令debug，也适用torchrun命令debug，更能延伸其它命令debug模式。本文内容分为三部分，第一部分介绍如何使用vscode传递参数debug；第二部分介绍如何使用deepspeed进行debug；第三部分介绍vscode通用命令方式进行debug。大模型扩充内容！点击这里。

在使用大模型时候，我们经常遇到参数传参问题，如何构建一个参数方法，即可使用默认参数，也可使用命令方式传参，是大模型构建的第一步。而大模型经常使用HfArgumentParser+parse_args_into_dataclasses+TrainingArguments等方式来实现。介于此，本篇文章纯粹解读huggingface参数传递与配置内容。

本篇文章基于huggingface框架来探索大语言模型数据处理方法。本文主要介绍如何基于huggingface训练模式构造自己的数据，类似与torch的dataset与dataloader方式来构建大语言模型数据。为后面大语言模型构建做理论支撑。提示：huggingface数据加载理论知识！

本文使用huggingface方法来构建大模型数据加工方法！当然，这些方法也可以为其它大模型使用！。

上一篇说到huggingface的参数传递理论方法，本篇文章应用与llama3参数构建实践代码开发。并在参数传递基础上构建模型model与tokenizer。

大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。

本篇文章介绍lora训练与huggingface训练源码构建，以及权重保存、数据格式与完整训练代码内容！

本项目是解读开源github的代码，该项目基于Meta最新发布的新一代开源大模型Llama-3开发，是Chinese-LLaMA-Alpaca开源大模型相关系列项目（一期、二期）的第三期。而本项目开源了中文Llama-3基座模型和中文Llama-3-Instruct指令精调大模型。这些模型在原版Llama-3的基础上使用了大规模中文数据进行增量预训练，并且使用精选指令数据进行精调，进一步提升了中文基础语义和指令理解能力，相比二代相关模型获得了显著性能提升。

解读lora与resume训练方法，使其少量参数训练与断点继续训练！

大语言模型基本使用huggingface的generate方法进行推理。而我最近也在使用llama3代码，于是我写下一份huggingface的generate方法，帮助读者了解huggingface如何对大语言模型进行推理。同样，我和其它博客不太一样，我是按照源码来解读huggingface的generate方法。

前面已经构建了大语言模型代码，本篇文章在此基础上探索不同模块功能，包含数据划分加工处理、评估方法、resume训练、torchrun训练、wandb使用方法以及deepspeed训练方法。

之前文章也已给出了自己构建llama3源码，本节给出如何构建推理代码，并给出完整源码。

我们已搭建了llama训练与推理方法，而llama模型来源huggingface提供。为此，本节来解读huggingface的llma模型训练与推理源码解读。

如果只是简单构建训练与推理的大语言模型，还是比较简单，直接使用huggignface调用即可。然而，理解其源码或内部原理是比较麻烦的，尽管我在之前文章给出了很多解释，但我还是想通过数据流走向来解读模型整个流程与源码内部机理。这样，我们可方便更深入的理解大语言模型！