上一篇讲了如何本地化部署xtuner框架，本篇以魔搭社区上的开放数据集-沐雪（中文）训练集为例进行模型微调（这个模型挺有意思的，回答是萌萌的风格），最终实现模型对话的结果与数据集中的类似。同时，由于之前每次临时租服务器下载DeepSeek1.5B模型时间比较长，本篇使用比较小的模型--qwen0.5B模型为Base模型。最终的测试结果如下：
1.数据集下载
打开魔搭社区，选择沐雪（中文）训练集，进入其下载页面。
选择数据集文件中的训练数据集，并点击下载。
数据集下载完成后，点开为下图所示，其对话风格形式还是比较特殊的，不会与base模型的回答方式相重合：
2.自定义数据集格式转换
查看xtuner文档，里面的数据集有各种map_fn包，我们可以进行临时转换，但同样的，我们也可以先提前把数据集转换好，比如我们下载好的沐雪（中文）训练集的train.jsonl文件，它里面的对话格式和xtuner里面的不一致，因此我们先将其进行格式转换，将其转换为xtuner能识别的。
2.1利用在线大模型
我这里经常使用腾讯的元宝大模型，我在里面将我的需求告诉他，让他帮我写一段转换代码，将原始的train.jsonl数据集转换为xtuner可识别的，格式如下图所示的json文件：
2.2获取格式文件转换代码
在在线的元宝大模型中输入我的需求，详细描述现有jsonl里数据集的格式、我想要转换成的数据集格式的具体要求，让它帮我写一段python代码实现：
大模型输出一段代码后，我将其复制后运行，成功的将数据集进行了格式转换，因此在后面的数据处理过程中，可以充分利用在线模型帮我们处理数据，更加快捷、方便同时降低本地模型使用门槛：
2.3执行python文件，转换数据集格式文件
利用在线大模型的python代码，运行成功后的json文件如下，很好的满足了我的要求：
3.xtuner微调数据集
xtuner微调的命令也比较简单，xtuner train后面跟模型的配置文件即可。这里有一点需要注意，xtuner原始的模型配置文件在xtuner-xtuner目录里面，但是自己微调的时候，建议将配置文件复制出来，放在xtuner的根目录下执行。
3.1开始微调
更改配置文件中的相应设置：模型位置、数据集位置、batch_size、epoch后，执行即可。我这里为了充分利用我租的服务器，一开始设置批处理量为30，发现有报错，提示错误：ModuleNotFoundError: No module named 'triton.ops'，网上查了下，说是要安装triton==2.3.0版本：
安装完成后，xtuner开始运行，跑着跑着出现了OOM错误，说明批处理量设置的过大，经过多次尝试（30-25-20）后，最终4090D的这台服务器上我最终设置批处理量为20，算力和GPU都充分使用了。
批处理量为25时：
批处理量为20时：
3.2微调过程中
开始微调后，xtuner会每10个步输出一条日志，这里面可以看到初始的loss值为4.15，开始逐渐降低，说明目前没啥问题，慢慢等即可。
前面几次尝试批处理量以及其他错误时，xtuner里会自动保存一些日志文件，位置在xtuner下的work_dirs，点开json文件，可以查询到具体的模型微调的过程日志，很详细：
3.3主观测试
与llamafactory不一样的是，xtuner可以选择主观测试。默认的是500个steps它会保存一次权重文件，同时它也会对你之前在配置文件中设置的问题进行测试，你可以在终端看到此时模型的回复内容，以此来判断模型微调训练是否已经达到接近拟合的状态。
这里就有点奇怪，之前测试的时候，模型已经可以回答“锐评一下二次元”。它的回答原本是“二次元啊，抛开二次元文化本身来说吧，受众群体大，又复杂，小鬼因此多了起来，故这个圈子正在所谓的“蒸蒸日上”呢”，但是不知道为啥，训练着就变成“二次元啊，啥二次元啊？你又想让我锐评什么”。
我猜测有2方面原因：1.模型训练次数不够；2.我这次用的0.5B模型，可能是因为这个模型过小导致它的能力也比较弱。因此，我这里让它继续训练，看看结果咋样。
训练了约3500步后，我发现这个微调的loss值已经长期不变，接近于0.001左右，同时关于上面那个有问题的回答还是那个错误回答，因此我选择中断微调训练，选择3500的微调结果进行实验。
3.4模型转换
xtuner训练后会自动保存PTH文件，和我们正常能调用的开源大模型（huggingface模型）不一样，因此需要进行转换，具体命令为：
xtuner convert pth_to_hf ${CONFIG_NAME_OR_PATH} ${PTH} ${SAVE_PATH}
{CONFIG_NAME_OR_PATH}是指本次调试配置文件的绝对路径；
{PTH}是指微调后权重文件的绝对路径；
{SAVE_PATH}是指你想要保存的位置；
启用命令后即可成功转换。
3.5模型对话测试
xtuner虽然没有可视化页面进行操作测试，但它提供了终端对话方法，通过命令进行调用：
{NAME_OR_PATH_TO_LLM}是指base模型的绝对路径；
{NAME_OR_PATH_TO_ADAPTER}是指转换后的权重文件的绝对路径；
{PROMPT_TEMPLATE}这个需要在xtuner-xtuner-untils里确认下，你的base模型对应的对话模版，我这里是“qwen_chat”，照着输入调用即可。
模型的对话功能起来后，你可以在终端和它进行对话，我发现之前微调过程中测试失败的问题，其实模型是能正确回答的，不知道为啥测试的时候一直失败。这里可以看到，模型的回答是按照沐雪的数据集进行回答，萌萌的还挺好玩。
3.6模型合并
对话测试后，如果对微调结果比较满意，可以将其与base模型进行合并，合并命令就是：
模型合并后的结果如截图所示，形成一个新的base模型。
4.总结
微调工具，目前国内主要使用的2个：llamafactory和xtuner。这两者分别有自己的优势。
llamafactory：可视化操作页面，支持的模型数量、类型多；
xtuner：无可视化页面，优点是微调过程中可以进行主观测试，但支持的模型数量、类型不如llamafactory。
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？
别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
三、路线必明：AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
