从零开始:使用Ollama本地部署DeepSeek大模型

昨天的部署教程有不少网友留言不知道怎么操作,那今天就来手把手教你如何本地部署DeepSeek吧。我的轻薄本,集成显卡也能行。
图片

图片

引言

近年来,AI大模型技术飞速发展,DeepSeek作为一款备受瞩目的AI产品,凭借其卓越的性能和高效的推理能力,迅速成为科技圈的焦点。然而,随着用户量的激增,服务器压力也随之增大,导致在线服务时常出现繁忙或延迟的情况。为了解决这一问题,本地部署DeepSeek成为了一个高效且隐私性更强的选择。本文将详细介绍如何通过Ollama工具,在本地电脑上部署DeepSeek大模型,并搭建交互式界面,助你轻松拥有专属AI助手!

准备工作

硬件需求与模型选择指南

1. 硬件配置建议

1.5B模型适用配置

  • 最低要求
    4GB显存的GPU(如GTX 1050 Ti) + 8GB内存。
  • 推荐配置
    6GB显存的GPU(如RTX 2060) + 16GB内存,可提升推理速度。
  • 适用场景
    简单文本生成、基础问答、轻量级任务(如分类、短文本摘要)。

7B模型适用配置

  • 最低要求
    8GB显存的GPU(如RTX 3060) + 16GB内存。
  • 推荐配置
    12GB显存的GPU(如RTX 3080) + 24GB内存,支持更复杂推理。
  • 适用场景
    中等复杂度任务(如代码生成、机器翻译、情感分析)。

14B及以上模型配置

  • 14B模型
    需16GB显存的GPU(如RTX 4090) + 32GB内存,适合复杂推理和大规模任务。
  • 32B/70B模型
    需企业级显卡(如NVIDIA A100) + 64GB内存,适用于科研或高性能计算场景。
2. 模型版本选择建议

在这里插入图片描述

软件环境

操作系统

支持Windows、macOS和Linux系统。

Ollama

用于本地运行大模型的开源工具。
下面演示本机Windows下安装Ollama并部署DeepSeek

安装Ollama

1.下载Ollama

访问Ollama官网(https://ollama.com),选择适合你操作系统的版本进行下载。
如果下载很慢,可以从这个地址下载https://www.gy328.com/app/ollama/
打开页面点击立即下载
图片

然后点击下载,等待下载完成
图片

2.安装

下载完成后,跟着下面的步骤进行安装。如下是命令模式安装,这样可以选择安装路径,如果直接双击安装是不能选择安装路径的。
以管理员身份打开CMD窗口,切换路径到你下载路径,然后执行命令
OllamaSetup.exe /DIR=“D:\software\ollama”
图片

上述命令中/DIR="D:\software\ollama"即为把Ollama安装到D盘下\software\ollama,你可以根据你的情况修改,命令执行回车后,会打开安装界面,点击install即可
图片

然后等待安装完成即可。
安装完成后默认启动了Ollama,我们先关闭。右键任务栏的Ollama图标点击退出。
图片

3.验证安装

安装完成后,重新打开一个CMD窗口输入ollama -v,若显示版本号(如ollama version is 0.5.7),则说明安装成功。
启动Ollama后,你还可以在浏览器中访问http://localhost:11434/,确认服务已启动。

4.修改大模型存储位置

接下来配置大模型下载的存储位置(默认存储在C盘的C:\Users\quber.ollama\models目录下)。

打开环境变量,在用户变量中点击新建按钮,变量名为OLLAMA_MODELS,变量值为D:\software\ollama\Models,其中的变量值就是大模型下载的存储位置,最后点击确定。

在这里插入图片描述

部署DeepSeek模型

选择模型版本

  • 访问Ollama官网的模型库(https://ollama.com/library/deepseek-r1)
    图片

  • 选择适合你硬件配置的DeepSeek模型版本。例如:
    deepseek-r1:1.5b:适合低端设备。
    deepseek-r1:7b:适合中端设备。
    deepseek-r1:14b:适合高端设备。
    deepseek-r1:32b:适合科研级设备。

下载并运行模型

  • 我的笔记本电脑配置较低,所以以1.5b模型演示,你可以根据你的硬件配置选择合适的模型。
    复制模型安装命令,例如:
    ollama run deepseek-r1:1.5b
  • 在CMD窗口中粘贴并运行命令,耐心等待模型下载和加载完成。
    图片

验证模型

模型加载完成后,终端会显示交互式对话提示。你可以输入测试问题,例如:“请用Python写一个快速排序算法”,若模型返回完整代码,则说明部署成功。
图片

图片

搭建交互式界面

下面提供两种UI界面,方便演示,使用第一种,比较简单,安装一个浏览器插件即可。

1.使用Page Assist插件

安装Page Assist浏览器插件,简单配置后即可在浏览器中直接使用DeepSeek模型,支持知识库建设和问答模式。

打开插件,选择刚刚安装的模型,然后点击右上角设置按钮,选择中文

图片

图片

然后在对话框输入你的问题

图片

2.使用Chatbox

  • 下载Chatbox
    访问Chatbox官网(https://chatboxai.app/zh),下载并安装适合你操作系统的版本。

  • 配置Chatbox

    • 打开Chatbox,进入设置页面,选择“Ollama API”作为模型提供方。
    • 在模型选择中,找到已安装的DeepSeek模型(如deepseek-r1:1.5b),保存配置。
  • 开始对话
    配置完成后,即可在Chatbox中与DeepSeek模型进行交互,享受直观的对话体验。

常见问题与解决方案

  • 模型下载失败
    检查网络连接,或尝试切换下载源。
  • Ollama服务无法启动
    确保已正确安装Ollama,并尝试重启服务。
  • 硬件性能不足
    若运行较大模型时出现卡顿,建议升级硬件配置或选择较小模型版本。

结语

通过Ollama本地部署DeepSeek大模型,你不仅可以摆脱服务器繁忙的困扰,还能享受更高的隐私性和定制化体验。无论是学习、工作还是创作,DeepSeek都能成为你的得力助手。赶快动手试试吧,开启你的AI探索之旅!

希望这篇博客能帮助你顺利完成DeepSeek的本地部署。如果你有任何问题或建议,欢迎在评论区留言讨论!

### 配置Ollama DeepSeek模型以利用GPU加速 #### 环境准备 对于最低配置,CPU需支持AVX2指令集,配备16GB内存以及至少30GB的存储空间;为了更佳性能体验,推荐使用NVIDIA GPU(如RTX 3090或以上型号),搭配32GB内存和不少于50GB的硬盘容量来满足项目需求[^1]。 操作系统方面兼容Windows、macOS或Linux平台,在这些平台上均能顺利开展工作。当计划采用Open Web UI作为界面交互方式时,则还需预先完成Docker环境搭建。 #### 安装与配置过程 确保已安装好上述提及的操作系统之一,并确认计算机硬件条件达到建议标准特别是具备合适的显卡设备之后: - **安装CUDA Toolkit**:由于要借助GPU实现运算速度提升,因此先访问[NVIDIA官方网站](https://developer.nvidia.com/cuda-downloads),依据个人电脑的具体情况下载对应版本的CUDA驱动程序并按照指引完成整个流程。 - **获取cuDNN库文件**:接着前往相同网站寻找适用于所选CUDA版本号的[cuDNN资源包](https://developer.nvidia.com/rdp/cudnn-archive),解压后将其内含有的bin/include/lib三个目录下的全部内容复制到相应位置下以便后续调用。 - **建立虚拟环境**:考虑到不同项目的特殊性可能会引起Python解释器及其附带模块间存在冲突问题,故而提倡创建独立于全局站点之外的新区域专门存放此次实验所需的各类组件。可以运用`conda create --name ollama_env python=3.8`这样的语句快速构建起名为ollama_env的基础框架结构(这里假设选用的是Python 3.8.x系列)。 ```bash conda activate ollama_env ``` - **安装PyTorch及其他依赖项**:激活刚才新建好的专属领域后紧接着执行如下命令行脚本从而引入必要的第三方扩展件集合体,其中特别指定了torchvision/torchaudio两个子项目同时也明确了希望获得针对特定图形处理器优化过的二进制发行版形式(py3.8_cu117代表基于Python 3.8编译而成且适配Compute Capability 8.0及以上等级CUDA核心架构的产品线)。 ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ``` - **克隆仓库代码至本地机器上**:最后一步则是通过Git工具把官方维护着的目标源码同步过来供下一步操作之便。打开终端窗口输入下面给出的一串字符就能达成目的了。 ```bash git clone https://github.com/Ollama-Org/deepseek.git cd deepseek ``` 此时已经成功地将所有前置准备工作处理完毕,接下来就可以着手编写具体的应用逻辑部分啦! #### 启动服务 进入刚刚拉取下来的deepseek文件夹内部,参照README.md文档中的指导说明调整参数设定直至符合预期效果为止。通常情况下只需简单修改几处地方即可开启测试模式查看实际表现状况如何: ```bash python setup.py develop export CUDA_VISIBLE_DEVICES=0 # 设定可见GPU编号, 若有多张可自行指定 python app/main.py --gpu-acceleration true ``` 这样就完成了从零开始一直到最终运行起来整个过程中涉及到的各项任务安排事项介绍。当然这只是最基础层面的内容概括而已,更多高级特性等待探索发现呢!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员beige

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值