前言
本地部署deepseek-r1,基于ollama + webui,并开启cuda + cudnn 加速运算,我电脑显卡是3060 12G,没显卡的可以跳过cuda + cudnn的安装。
一、安装cuda、cudnn
- CUDA(Compute Unified Device Architecture)是 NVIDIA 的并行计算平台和编程模型,允许开发者利用 GPU 进行通用计算。
- cuDNN(CUDA Deep Neural Network library)是基于 CUDA 的深度学习加速库,专为神经网络操作优化。
总结,CUDA 提供 GPU 计算基础,cuDNN 在此基础上优化深度学习任务,两者共同提升深度学习应用的性能。
- 安装cuda
查看当前显卡所支持的cuda版本,打开cmd,执行nvidia-smi
如图所示,我的cuda版本是12.0,然后去官网下载对应的cuda。地址:https://developer.nvidia.com/cuda-toolkit-archive,然后根据自己操作系统进行选择下载。
下载好后直接安装,全部按默认的就行,更改路径容易导致安装失败,安装完成后,打开cmd,执行nvcc -V,可以查看cuda信息。
- 安装cudnn
根据自己cuda版本选择下载,地址:https://developer.nvidia.com/rdp/cudnn-archive,下载完成后,将里面的文件,全部拷贝至cuda根目录(C:\Program Files\NVIDIA GPU Computing T