Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南

本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。

文将涵盖以下内容：

1. Unsloth环境搭建： 指导您从零开始搭建Unsloth微调环境。

2. 微调第一个LLaMA模型： 一步步教您如何通过Unsloth框架对LLaMA 3.1-8B进行微调，涵盖关键配置。

Unsloth环境搭建

最初，我在Windows 11环境下安装并运行了Unsloth，虽然安装过程顺利，但在模型微调过程中遇到了各种错误。尽管大部分问题都通过逐一解决了，但一些关键的GPU加速库仍然无法正常运行。这些库要求在Linux系统上才能正常运行并充分发挥其性能。

由于对Linux系统不够熟悉，我尝试通过编译工具在Windows上重新编译这些库，但问题依然未能解决。最终，我选择通过Windows上的WSL（Windows Subsystem for Linux）安装Ubuntu的方式来解决这些兼容性问题。这样既避免了完全切换到Linux的麻烦，又能够使用Linux环境来进行模型微调。

第一步：在WINDOWS上通过WSL安装UBUNTU

如果您使用的是Linux操作系统（建议使用Ubuntu），可以跳过这一部分的内容，直接进入后续步骤。同时，确保您在Linux系统上安装了显卡驱动，以便正常使用GPU进行加速。

如果您在Windows上通过WSL安装Ubuntu，由于WSL是一种虚拟化技术，您无需在WSL的Ubuntu系统中再次安装显卡驱动。只要Windows宿主机上已经正确安装并配置了显卡驱动，WSL内的Ubuntu系统将自动使用这些驱动配置，支持GPU加速。

windows11系统下，进入命令行工具，执行如下指令，即可快速安装完Ubuntu：

wsl -install

从windows中进入Ubuntu系统，同样需要打开命令行，执行如下指令：

wsl -d ubuntu

初次登录，会要求输入一个新的用户名、密码：

后续登录系统，会直接进入，而不必每次都输入用户名和密码：

(base) C:\Users\username>wsl -d ubuntuwsl: 检测到 localhost 代理配置，但未镜像到
 WSL。NAT 模式下的 WSL 不支持 localhost 代理。
(base) root@WANG***-4090:/mnt/c/Users/username#

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

第二步：升级系统相关组件

安装完ubuntu系统后，需要对相关的组件进行升级：

第三步：安装Anaconda

建议安装Anaconda，安装相关的python包会非常方便，同时也便于对python环境进行管理。

wget https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh
sudo sh Anaconda3-2024.06-1-Linux-x86_64.sh

建议的安装目录：

/home/userName/anaconda3

安装完成之后需要手动将其加入到环境变量中。需要在~/.bashrc的文件尾部增加如下内容：

export PATH="/home/wangjye/anaconda3/bin:$PATH"

第四步：安装CUDA

这是最容易出错的过程，如果已经安装完驱动了，则需要在WINDOWS宿主机上运行命令 nvidia-smi 来查看硬件支持的CUDA版本，不论是WINDOWS还是LINUX一定要注意查看，不能安装错了。

最大的坑是选择了不被支持的CUDA版本（如CUDA 12.6），导致PyTorch及TensorFlow都无法兼容4090显卡。因此选择低于12.6版本的CUDA。在这里我安装的是稳定版本的12.1。

wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
sudo sh cuda_12.1.0_530.30.02_linux.run

安装过程会中断N次，提示少这样那样的文件，少什么文件按提示装什么。

然后再次安装CUDA，直接安装完成。

安装完成之后，如果运行nvcc --version查看是否安装成功，这里提示找不到指令。主要原因是因为CUDA的安装路径没有写入环境变量中，需要对~/.bashrc文件进行编辑，以下内容视不同操作系统的安装路径而不同：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

再次运行nvcc --version时，提示的结果如下，代表安装完成 ：