【保姆级教程】一篇文章搞定DeepSeek本地部署（Ollama+ChatBoxAI）

这个春节，国产AI模型DeepSeek彻底火了！

网友们脑洞大开，用它来写春联、做寒假作业、预测春节档票房、写旅游攻略……个个丝滑流畅，玩得不亦乐乎！

自1月20日DeepSeek-R1模型横空出世后，仅用不到一周时间就陆续登顶苹果App Store和谷歌Play Store全球下载榜首。这款应用在发布后的前18天内下载量达到1600万次，几乎是ChatGPT首次发布时900万次的两倍。这把“火”也直接烧疼了硅谷，让美股科技板块、英伟达股价大跌，老黄都坐不住了。

最近几天，百度智能云、华为云、阿里云、腾讯云、360数字安全等平台也纷纷接入了DeepSeek大模型。以往想用ChatGPT的小伙伴苦于没有渠道，不妨试试国产DeepSeek！然而，你在使用过程中是不是经常看到“服务器繁忙，请稍后再试”？那该如何解决呢？一起跟随我一起去本地部署一个吧！

本地部署，开源大模型本地部署的好处有以下几点：​​

• 更稳定更快地响应速度：本地部署减少了对网络连接的依赖，避免了因网络延迟导致的响应速度下降​

• 模型可控性：根据自身需求对模型进行定制和优化，提高模型的适用性和性能。​

• 数据安全：在本地环境中处理数据，避免了将敏感信息上传至云端，降低了数据泄露的风险。​

• 成本控制：无限使用，无需支付云服务的订阅费用，可降低使用成本。​

• 灵活性：可以自由选择和切换不同的模型，满足多样化的应用需求。​

• 离线运行：在本地部署好以后，就算是没有网络，也可以使用。

 

1、运行配置需求

如果电脑的显存不达标，就需要量化来减少显存的需求。比如你的电脑是 8GB，想用 7b 参数的模型，就需要量化，量化后，就可以使用 7b 的大模型了。这是各个显卡型号的显存大小， 可以参考下。

下面是大模型给的，运行 DeepSeek 模型显卡和 MacOS 运行内存的需求，一会儿下载的时候，小伙伴可以根据自己电脑的配置，来选择下载哪一个大小的模型。

模型大小	显存需求（FP16推理）	显存需求（INT8推理）	推荐显卡	MacOS需要的RAM
1.5b	3GB	2GB	RTX 2060/MacGPU 可运行	8GB
7b	14GB	10GB	RTX 3060 12GB/4070 Ti	16GB
8b	16GB	12GB	RTX 4070/MacGPU 高效运行	16GB
14b	28GB	20GB	RTX 4090/A100-40G	32GB
32b	64GB	48GB	A100-80G/2xRTX4090	64GB

如何查看自己电脑的配置，这里以 Windows11 为例，鼠标移动到任务栏处，鼠标右键，就会出现两个选项。

然后点击「任务管理器」，选择第二个「性能」图标，这里就能看到你电脑的配置，有 CPU、内存、磁盘、网络、GPU 等。

点击 GPU 窗口，「专用 GPU 内存」对应的上表需求就是「显存」，小伙伴们看到「显存」大小以后，下载对应的模型就可以了，不建议下载超过所需显存的模型，否则会非常卡，甚至崩溃！！！​

2.安装下载工具及模型

​•  我们在部署本地大模型的时候，需要有第三方的工具来承接，比如插件、终端、桌面端，这里就拿几个经典的工具举个例子，LM Studio 、Chatbox AI 和 Ollama。​

•  为什么需要第三方软件来做承接，因为开源大模型，他不是应用程序或者 App，双击或者安装好就可以运行的，需要第三方的平台来作为中转。​

•  比如你下载的大模型就是一块生肉，第三方平台就像是一个烤箱，可以加热肉，然后食用，如果没有第三方平台承接，你得自己找锅、开火、调温度，还可能把肉烤糊，很麻烦！​

•  然后每个第三方平台都有各自的优势，这里说说区别， LM Studio、Chatbox AI 提供图形化界面，操作简便，适合初学者和非技术用户；而 Ollama 依赖命令行操作，适合有技术背景的用户。​

•  这篇是小白指南篇，我们都来操作一遍，先讲一下 Ollama+Chatbox AI 网页版需要设置网络环境，后续部署私人知识库也会用到，LM Studio + 魔搭社区不需要设置环境，且有量化模型。​

•  看大家的选择，小白推荐 LM Studio + 魔搭社区这个搭配。

（1）Ollama 介绍

简单来说，Ollama 可以让你在自己的电脑上轻松运行 AI 语言模型，无需连接云端或配置复杂环境。它的优点如下：

•  简单易用：安装好 Ollama 后，即可在本地运行 AI 模型，无需额外配置。​

•  支持离线使用：无需联网，即可使用 AI 功能，确保数据隐私安全。​

•  兼容不同系统：支持 Windows、Mac 和 Linux 系统，跨平台运行。​

•  多种 AI 模型可用：可以下载并运行多种 AI 语言模型，如 DeepSeek、Llama 等。​

•  适合开发者和普通用户：开发者可以用它训练或微调 AI 模型，普通用户也能用于聊天、写作、翻译等。

（2）下载 Ollama

进入官网：Ollama，页面上会有一些提示信息。一定要仔细看看，确认页面上是不是有个可爱的“羊驼”🦙标志。如果不是，那可能就进入错了地址哦！确认无误后，接着点击页面下方的「Download」按钮，就可以开始下载啦！

在下载页面，根据自己电脑的操作系统进行选择。我的电脑是Windows系统，所以我直接点击了「Download For Windows」按钮，然后就可以顺利下载啦！

下载完成后，找到下载文件夹，定位到刚刚下载的Ollama安装文件。你会看到一个带有“羊驼”图标🦙的文件，双击它就可以开始安装啦！

 点击「Install」按钮开始安装。安装程序会自动将Ollama安装到C盘，安装过程中无法更改磁盘位置。如果需要安装到其他位置，可以在安装完成后手动更改。

安装完成后，桌面不会自动生成图标哦。不用担心，你可以点击桌面右下角的任务栏箭头，展开隐藏的图标栏，就能看到Ollama已经在运行啦！

（3）更改磁盘

在下载大模型之前，建议先修改Ollama下载模型的默认位置，因为Ollama默认将模型文件保存在C盘，容易导致C盘空间不足。以下是修改模型位置的具体步骤：​

​

第一步，快捷键 Win+S 搜索 「高级系统设置」并点击「高级系统设置」

第二步，点击「高级」栏目下的「环境变量」

在弹出的界面中，第三步是点击下方的「新建」按钮。

接着，在弹出的对话框中，变量名输入「OLLAMA_MODELS」（这一步一定要准确无误）。然后点击「浏览目录」按钮，选择你打算存放模型的磁盘，最好是固态硬盘（SSD），因为它的读写速度快，能提升模型运行效率。

选好磁盘后，点击「新建目录」按钮，输入文件夹名字，比如「ollama_models」（文件夹名字可以随意取）。设置完成后，点击「确定」按钮即可！

由于Ollama程序默认安装在C盘，而C盘很容易空间不足，所以需要手动将相关文件夹移到其他磁盘，比如D盘。具体操作如下：首先，在你选择的磁盘（最好是固态SSD）上创建一个文件夹，我这里创建了一个名为「Ollama」的文件夹，然后在这个「Ollama」文件夹里再创建3个子文件夹。

在创建的「Ollama」文件夹中，需要设置三个子文件夹：一个用于存放程序文件（比如命名为「exe」），一个用于存放日志文件（比如命名为「logs」），还有一个用于存放大模型文件（必须命名为「models」，因为之前已经设置了环境变量）。

除了「models」文件夹的名称不能更改外，其他两个文件夹的名字可以根据你的喜好随意命名，只要你自己清楚每个文件夹的用途就行。​

接下来，找到Ollama默认的安装文件夹（通常在C盘），将里面的所有内容复制到刚刚创建的对应文件夹中。

C:\Users\Administrator\.ollama 是 Ollama 用来放大模型的文件夹​
C:\Users\Administrator\AppData\Local\Ollama 是 Ollama 用来日志的文件夹​
C:\Users\Administrator\AppData\Local\Programs\Ollama 是 Ollama 的程序文件夹

在将这些文件夹的内容转移到新的位置后，一定要记得删除C盘上原来的文件夹。否则，在后续操作中可能会遇到报错，比如提示“文件已存在”或“路径冲突”等问题，这会影响后续的安装或设置流程。

好的！为了确保程序运行不受影响，同时避免C盘空间被占用，我们可以使用「软连接」来解决这个问题。软连接可以被理解为一种“快捷方式”，它允许我们在不同的路径下访问同一个文件或目录，而不会占用额外的存储空间。​

通过创建软连接，我们可以让程序仍然“认为”文件还在C盘，但实际上它们已经被移动到了其他磁盘位置。这样既节省了C盘空间，又保证了程序的正常运行。

软连接的作用如下：​

• 类似快捷方式：就像Windows中的快捷方式一样，点击一下就能直接打开真正的文件或文件夹。​

• 不占用额外空间：不会复制文件本身，只是创建一个“指路牌”，告诉系统文件的实际位置。​

• 可以跨盘符：可以将C盘的文件或文件夹“指向”D盘、E盘，甚至网络上的文件夹，而硬链接无法做到这一点。​

• 避免重复存储：多个程序或用户都可以通过软连接访问同一个文件，避免了重复拷贝文件，节省存储空间。​

• 可能失效：如果目标文件被删除或移动，软连接就会失效，就像快捷方式指向的文件被删除后无法打开一样。

这里要用到「命令提示符」窗口，使用快捷键 Win + R 调出「运行」，输入「cmd」，调出「命令提示符」窗口，输入下列这三行指令：

mklink /D  C:\users\Administrator\.ollama D:\Ollama\models​
mklink /D  C:\users\Administrator\AppData\Local\Ollama D:\Ollama\logs​
mklink /D  C:\users\Administrator\AppData\Local\Programs\Ollama D:\Ollama\exe

如果出现「权限」提示，用「管理员模式」运行「命令提示符」。右键点击「命令提示符」，选择 「以管理员身份运行」，就可以解决。

命令行解释如下：

mklink /D  C:\users\Administrator\.ollama D:\Ollama\models

mklink：Windows 创建链接的命令。​

•  /D：表示创建目录（文件夹）的软连接。​

•  C:\users\Administrator\.ollama：这是要创建的软链接路径，也就是“快捷方式”的位置。​

•  D:\Ollama\models：这是目标文件夹，即实际存储数据的目录。​

这条指令的作用：​

•  任何对 C:\users\Administrator\.ollama 的访问操作，实际上都会被重定向到 D:\Ollama\models 目录中。也就是说，你在 C:\users\Administrator\.ollama 里查看、修改或删除文件时，这些操作其实是在 D:\Ollama\models 里完成的。​

•  这个软链接可以让软件或脚本误以为 .ollama 目录还在C盘，但实际上数据已经存储在D盘上了，从而节省C盘空间。​

适用场景：​

•  节省C盘空间：如果 C:\users\Administrator\.ollama 目录占用空间过大，你可以把它移到D盘，然后通过软链接让系统误以为它还在C盘。​

•  跨盘访问：Ollama可能会默认在 C:\users\Administrator\.ollama 存储模型数据，但你可以通过软链接把它放到D盘，避免占用C盘空间。​

•  兼容性：某些应用或脚本可能要求 .ollama 目录必须在 C:\users\Administrator，但你可以通过软链接把它存到D盘，绕开这个限制。​

如果觉得有点复杂，不用担心，直接按照步骤执行就行！

完成软链接设置后，你可以去对应的文件夹查看一下。比如在放大模型的文件夹（比如 C:\users\Administrator\.ollama），你会看到一个带有快捷方式图标的小文件夹。点击这个文件夹，就能直接访问实际存储在D盘（比如 D:\Ollama\models）的大模型文件啦！

好的！现在「软连接」已经设置好了，你可以用同样的方法把其他占空间的软件文件夹也转移到其他磁盘，再也不用担心C盘空间不足啦。​

接下来，顺便检查一下Ollama是否安装成功。在「命令提示符」窗口中输入以下命令：​ollama -v​

注意：-v 和 ollama 之间有一个空格，-v 之后不需要再加任何内容。​

如果安装成功，命令提示符会显示Ollama的版本信息，这样就说明一切正常啦！

如果在「命令提示符」窗口中输入 ollama -v 后，显示的是类似「ollama version is xxx」的信息，那就说明Ollama安装成功啦！你可以放心使用啦。

（4）下载模型

要下载大模型，可以打开Ollama官网：Ollama，然后点击页面上方的「Models」按钮。

打开Ollama官网后，你会发现不仅有DeepSeek模型，还有很多其他模型可供选择。如果你对其他模型感兴趣，也可以尝试下载和部署。不过，这里我们以DeepSeek-r1为例来进行部署。

选择好适合你显存的模型参数后，页面上会有一个复制按钮，点击它就可以将对应的命令复制到剪贴板啦。

复制好命令后，回到「命令提示符」窗口。你可以点击鼠标右键，或者按下 Ctrl+V，将刚才复制的命令粘贴到命令行中。接着，按下键盘的回车键，程序就会开始下载大模型了。下载过程可能会有点慢，需要耐心等待一下，直到模型下载完成。

下载完成后，你可以在命令行窗口看到类似这样的提示信息，表示下载已经成功完成。

（5）使用DeepSeek

下载完成后，界面会出现一个「Send a message」的提示框，这时候就可以直接输入对话内容进行测试啦。比如你可以输入一句简单的问题，像“发烧可以吃炸鸡吗？”看看模型回复的效果如何。

如果想退出对话模式，可以在「Send a message」处输入「/？」来获取帮助信息。根据提示，输入「/exit」就可以退出当前对话界面了。

如果想继续对话，只需要重新输入之前下载模型时使用的命令，比如「ollama run deepseek-r1:1.5b」。其实到这里，本地部署就已经成功啦！（1.5b是最低的开源版本，效果可能会稍差一些，建议根据自己的显卡配置尽量选择更高版本，效果会更好哦！）​

不过，看到这么多指令，没有计算机基础的小伙伴们是不是感觉有点懵？我第一次看到的时候也有这种感觉，头都快大了，感觉脑子要升级了 😂

• /set 设置会话变量，比如可以调整模型的参数或者其他配置。​

• /show 显示当前加载的模型信息，可能包括模型名称、版本、参数等。​

• /load <model> 加载一个会话或模型，<model> 代表你要加载的模型或会话名称。​

• /save <model> 保存当前的会话，<model> 代表保存的会话名称，以便后续加载继续使用。​

• /clear 清除当前的会话上下文，相当于重置对话，让模型忘记之前的交互内容。​

• /bye 退出程序，终止会话。​

• /? 或 /help 获取某个命令的帮助信息，相当于查看使用说明。​

• /? shortcuts 显示键盘快捷键的帮助信息，可能包括一些快速操作的方法。​

• 使用 """ 可以开始多行消息，这通常适用于输入较长的内容或代码片段。

命令行窗口操作起来确实不太方便，尤其是复制和粘贴信息的时候，对于普通用户来说更是如此。我们更希望能有一个直观的聊天界面，这样使用起来会更加便捷。为此，我们可以借助 Chatbox AI 这个工具，它能够很好地承接 Ollama，并且让聊天窗口变得可视化。​

Chatbox AI 是一款全平台的 AI 客户端应用，支持多种先进的 AI 模型和 API，包括 Ollama 提供的模型。它可以在 Windows、MacOS、Android、iOS、Linux 和网页版上使用，界面简洁，功能强大。通过 Chatbox AI，你可以轻松地与 AI 模型进行交互，无需复杂的命令行操作。​

ChatBox AI 官网：Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载

我们先来配置网络环境。首先，找到电脑右下角的任务栏箭头，点击展开隐藏的图标。找到Ollama的图标（看起来像个小羊驼🦙），然后点击「Quit Ollama」来退出Ollama。这样就可以开始下一步配置啦！

接下来，进入「高级系统设置」，在「高级」选项卡下找到「环境变量」并点击。在弹出的界面中，直接点击「新建」按钮。

 在弹出的「新建系统变量」对话框中，填写变量名「OLLAMA_HOST」（注意大小写和下划线必须完全一致），变量值填写为「0.0.0.0」，这表示允许任何IP地址访问Ollama服务。填写完成后，点击「确定」按钮完成设置。

继续点击「新建」，在弹出的对话框中，填写变量名「OLLAMA_ORIGINS」（注意大小写和下划线必须完全一致），变量值填写为「*」，这表示允许所有来源访问Ollama服务。填写完成后，点击「确定」按钮完成设置。

最后，在环境变量列表中，你会看到新增的两个词条「OLLAMA_HOST」和「OLLAMA_ORIGINS」。确认无误后，点击「确定」按钮保存所有设置，这样网络环境就配置完成了。

环境配置完成后，我们来启动Ollama。首先，点击「开始」菜单，搜索「Ollama」并点击它。启动后，点击桌面右下角的「隐藏图标按钮」，查看任务栏图标。如果看到有羊驼的图标，说明Ollama已经成功启动。

环境设置完成后，打开刚刚从官网下载的Chatbox AI进行安装并启动。首次打开时，会看到一个选择页面，选择第二个选项「使用自己的API Key或本地模型」，接着选择「Ollama API」，这样就可以让Chatbox AI连接到本地部署的Ollama服务了。

接下来，会再次弹出「设置」窗口。点击「Model」选项卡，如果环境配置成功，这里会显示「deepseek-r1:1.5b」。如果没显示，说明环境可能没有配置好，或者可以尝试退出Ollama后重新启动，再次检查配置是否生效。

接着，在设置窗口中找到第二个选项「DISPLAY」，在这里选择语言。默认情况下，它已经设置为简体中文了。确认无误后，点击「保存」按钮完成设置。

完成上述设置后，你就可以真正开始使用本地部署的DeepSeek模型进行聊天了。现在，你可以通过Chatbox AI的界面与DeepSeek模型进行交互，享受更稳定、更快速的AI体验。

好的！目前我们已经成功完成了基础环境版的本地部署教程，可以开始使用DeepSeek进行普通聊天了。虽然这个版本暂时不支持上传文档，但不用担心，后续我会详细介绍一个不需要部署环境的部署版本，它不仅操作简单，还能支持文档上传等多种功能。敬请期待！