windows下安装CUDA-本地微调大模型

在安装深度学习及大模型微调环境时，经历了多次反复操作（如CUDA、cuDNN、PyTorch的安装与卸载）。为了避免走弯路，因此进行了安装后的总结，供大家参考。

安装CUDA Toolkit，提升本地大模型运行效率。

场景推荐模型推荐显卡 / 资源推荐依赖组合本地轻量学习GPU部署原型多模态实验A100 / ≥16GB 显存私有知识库系统3090 / A10 × API封装正式部署。

手把手教你配置CUDA, cuDNN-十分钟配置本地CUDA, cuDNN

【代码】cuda 下载 wget链接。

进入之后点画圈的地方，然后打开下载的文件，会帮你自动下载和安装适配你显卡的驱动程序（这里不是特别重要，就简单带过）点击桌面左下角小箭头，出现花圈的标志，也就是英伟达的logo，说明驱动安装成功。

进行指令监督微调时， instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入，即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定 模型、 适配器、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后点击 导出 按钮导出模型。instruction 列对应的内容为人类指令， input 列对应的内容为人类输入， output 列对应的内容为模型回答。

【真实项目复盘】从显卡困局到双4070显卡极限突围【显卡党必看】双4070显卡血泪教程：从炸显存到跑通7B模型的生死线Windows 11双显卡部署LLaMA-Factory：4070显卡显存溢出终极解决方案WSL2下微调避坑指南：双4070显卡跑通Qwen2.5-7B-Instruct的4bit量化实录LLaMA-Factory实战：12G显存显卡用量化压缩玩转3B/7B大模型。

新手入门，详细安装教程

这是官方给的llama-factory安装教程，，上面介绍了linux系统上以及windows系统上如何正确安装。大家依照安装步骤基本能够完成安装，但是可能由于缺少经验或者相关的知识导致启动webUi界面运行相应内容时会报各种错误。特别需要注意的是：一定要有英伟达的显卡。如果没有显卡的GPU加速，模型的训练时间是非常长的。

Windows版 CUDA安装

一看就懂的 CUDA安装教程

由于显卡的不同，需要先查看我们显卡及驱动最高支持的cuda。进入cmd输入版本支持向下兼容，为了保证能够和其他开发库版本兼容，这里使用的CUDN版本为11.6.

CUDA： https://developer.nvidia.com/rdp/cudnn-archive Nvidia显卡驱动： https://download.nvidia.com/XFree86/Linux-x86_64/ CUDNN： https://developer.nvidia.com/rdp/cudnn-archive

GPU card with CUDA Compute Capability 3.0 or higher. 1、下载cuda_8.0.61_375.26_linux.run后放入soft文件夹，建立local文件夹（cuda安装路径） 2、运行“sh cuda_8.0.61_375.26_linux.run”， 3、在ubuntu系统中已经有显卡驱动时（利用nvidia-smi命令检测），

julia使用CUDA.jl时，往往会自动下载“最优的”CUDA版本，国内很难下载下来，而如果本地已经安装好CUDA，想使用本地的CUDA，而阻止julia自动下载时，可以设置环境变量： JULIA_CUDA_USE_BINARYBUILDER为false即可 ...