大模型微调系列（五）XTuner应用

💡

1.XTuner简介

2.安装XTuner

3.快速上手微调大模型

XTuner 是由 上海人工智能实验室（OpenGVLab） 开发的一款专注于 大语言模型（LLM）微调 的高效工具库。它旨在简化大模型微调的流程，支持多种开源模型（如 LLaMA、ChatGLM、InternLM 等），并提供丰富的微调算法和优化技术，帮助用户快速适配下游任务。

XTuner 核心特点 广泛模型支持 兼容主流开源大模型，包括：

LLaMA/LLaMA-2

ChatGLM-2/3

InternLM/InternLM2

Qwen（通义千问）

Mistral 等。

高效微调算法

LoRA（低秩适配）：轻量级微调，显著减少显存占用。

QLoRA（量化 LoRA）：结合 4-bit 量化技术，进一步降低资源需求。

全参数微调：支持完整的模型参数训练（需更高资源）。

低资源需求

可在 消费级显卡（如 8GB 显存） 上运行，QLoRA 微调 LLaMA-7B 仅需约 10GB 显存。

支持多卡分布式训练，加速大规模模型微调。

开箱即用的配置

提供预定义的配置文件（YAML 格式），覆盖常见任务（如对话、文本生成）。

支持自定义数据集，适配领域特定需求（如医疗、法律）。 易用性

命令行工具一键启动训练/推理。

与 Hugging Face 生态无缝集成（支持加载 HF 数据集和模型）。

典型应用场景 领域知识注入：将专业领域数据（如医学、金融）微调至通用大模型。

对话机器人：定制个性化的对话风格或业务场景助手。

代码生成/补全：适配特定编程语言或代码库。

一、安装 XTuner

1.使用 conda 先构建一个 Python-3.10 的虚拟环境
conda create -n xtuner python=3.10 -y

2.从源码安装
git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e .
也可以通过镜像安装 pip install -e . -i Simple Index
备注: “-e” 表示在可编辑模式下安装项目，因此对代码所做的任何本地修改都会生效

3.验证
在命令行中使用 xtuner list-cfg 验证是否能打印配置文件列表。
xtuner list-cfg

==========================CONFIGS===========================
baichuan2_13b_base_full_custom_pretrain_e1
baichuan2_13b_base_qlora_alpaca_e3
bai