LLM-2：LLama-factory windows部署及在qwen2-1.5B上的使用

还得打多久代码

已于 2024-09-03 15:51:29 修改

阅读量2.6k

点赞数 23

CC 4.0 BY-SA版权

文章标签： llama 语言模型人工智能

于 2024-09-03 15:42:46 首次发布

本文链接：https://blog.csdn.net/m0_61933618/article/details/141856570

1、LLama-factory

LLama-factory的网站：https://github.com/hiyouga/LLaMA-Factory

LLama-factory的优势是将主流的微调方法、开源的大模型进行整合，形成一个功能丰富，便于操作的框架。

以Qwen2-1.5Bt 模型和 windows + RTX 4060ti 8GB环境，LoRA+sft训练阶段为例子

2、windows本地部署

下载https://github.com/hiyouga/LLaMA-Factory网站内容，最好使用git安装，高校快速。

下载后在CMD中进行环境配置：

1、创建新环境

conda create -n llama_factory python=3.11

2、通过cd命令进入到下载页面

cd C:\Users\Administrator\Desktop\llm-factory

3、激活anconda 环境，安装必要的程序包（最后一个conda安装是torch，可以根据自己的cuda版本进行安装）

pip install -e ".[torch,metrics]"
pip install -r requirements.txt  
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

4、运行webui.py程序，生成UI界面。

Set CUDA_VISIBLE_DEVICES=0
Set GRADIO_SHARE=1
python src/webui.py

当出现 When localhost is not accessible, a shareable link must be created. Please set share=True or check your proxy settings to allow access to localhost.时运行下面代码（只能单次使用，没使用一回就要设置一遍。有知道可以永久使用的可以在评论里留言）

set no_proxy=localhost,127.0.0.1,::1

3、LLama-factory UI界面使用（训练阶段）

下图是LLama-factory的UI界面默认的端口号是7860

语言可以选择中文或则英文，模型可以根据自己的需要进行选择（最好使用本地下载的模型文件），在模型路径中加载自己的模型文件名。

微调方法可以选择lora\full等，适配器路径可以是微调后生成的adapter_model.safetensors文件。

高级设置一般选择默认就可以，如果有特殊要求可以去尝试。

这部分图片显示了train(模型训练)、predict/evaluate(模型预测和评估)、chat(模型对话)、export(模型合并)：

train(模型训练)：

学习率调节器：有以下选项可以选择，这里我们选择默认值cosine。 linear（线性）: 随着训练的进行，学习率将以线性方式减少。 cosine（余弦）: 这是根据余弦函数来减少学习率的。在训练开始时，学习率较高，然后逐渐降低并在训练结束时达到最低值。 cosine_with_restarts（带重启的余弦）: 和余弦策略类似，但是在一段时间后会重新启动学习率，并多次这样做。 polynomial（多项式）: 学习率会根据一个多项式函数来减少，可以设定多项式的次数。 constant（常数）: 学习率始终保持不变。 constant_with_warmup（带预热的常数）: 开始时，学习率会慢慢上升到一个固定值，然后保持这个值。 inverse_sqrt（反平方根）: 学习率会随着训练的进行按照反平方根的方式减少。 reduce_lr_on_plateau（在平台上减少学习率）: 当模型的进展停滞时（例如，验证误差不再下降），学习率会自动减少。
梯度累积和最大梯度范数：这两个参数通常可以一起使用，以保证在微调大型语言模型时，能够有效地处理大规模数据，同时保证模型训练的稳定性。梯度累积允许在有限的硬件资源上处理更大的数据集，而最大梯度范数则可以防止梯度爆炸，保证模型训练的稳定性，这里我们使用默认值即可。

剩下参数选择默认，点击开始就可以训练了，会在输出目录中生成，lora微调的模型文件。

如果不想使用UI界面运行：可以点击预览命令，在对用的的cmd命令行中运行

--stage sft：指定训练阶段为指令微调训练
--do_train：指定是训练任务
--model_name_or_path：本地模型的文件路径或 Hugging Face 的模型标识符
--dataset：指定数据集
--finetuning_type lora：指定微调方法为lora
--output_dir: 保存训练结果的路径
--overwrite_cache: 覆盖缓存的训练集和评估集
--per_device_train_batch_size 2: 每个gpu的批处理大小，训练参数
--gradient_accumulation_steps 8：梯度累计的步数，训练参数
--lr_scheduler_type cosine：学习率调度器，训练参数
--save_steps 1000：每两次断点保存间的更新步数，训练参数
--learning_rate 5e-5：学习率，adamW优化器的默认值为5e-5，训练参数
--num_train_epochs 2.0：需要执行的训练轮数，训练参数
--plot_loss：是否保存训练损失曲线
--fp16：使用fp16混合精度训练，此参数后续详解