保姆级教程 本地部署 deepseek + ollama + open-webui + cuda + cudnn

前言
本地部署deepseek-r1,基于ollama + webui,并开启cuda + cudnn 加速运算,我电脑显卡是3060 12G,没显卡的可以跳过cuda + cudnn的安装。

一、安装cuda、cudnn

  • CUDA(Compute Unified Device Architecture)是 NVIDIA 的并行计算平台和编程模型,允许开发者利用 GPU 进行通用计算。
  • cuDNN(CUDA Deep Neural Network library)是基于 CUDA 的深度学习加速库,专为神经网络操作优化。
    总结,CUDA 提供 GPU 计算基础,cuDNN 在此基础上优化深度学习任务,两者共同提升深度学习应用的性能。
  1. 安装cuda
    查看当前显卡所支持的cuda版本,打开cmd,执行nvidia-smi
    在这里插入图片描述
    如图所示,我的cuda版本是12.0,然后去官网下载对应的cuda。地址:https://developer.nvidia.com/cuda-toolkit-archive,然后根据自己操作系统进行选择下载。
    在这里插入图片描述
    下载好后直接安装,全部按默认的就行,更改路径容易导致安装失败,安装完成后,打开cmd,执行nvcc -V,可以查看cuda信息。
    在这里插入图片描述
  2. 安装cudnn
    根据自己cuda版本选择下载,地址:https://developer.nvidia.com/rdp/cudnn-archive,下载完成后,将里面的文件,全部拷贝至cuda根目录(C:\Program Files\NVIDIA GPU Computing T
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值