本地部署大模型(deepseek-R1-7b)
最近Deepseek R1 实在是太火了,网页请求时常出现卡顿,就想着本地部署一个版本来更流畅地使用,整个部署过程比想象中要简单得多。
1. 安装 Ollama
通过Ollama平台下载开源大模型并部署
https://ollama.com/
2. 下载开源大模型
打开本地终端,运行以下命令来启动模型(系统会自动下载模型文件):
ollama run deepseek-r1:7b
当success时,表示模型已成功加载。7B 模型的大小约为 4.7GB,下载时间大约需要半小时。
3. 安装chatbox
https://chatboxai.app/zh
使用chatbox来加载本地部署的大模型
模型提供方选择OLLAMA,模型选择刚刚下载好的本地模型deepseek-r1-7b
ChatBox加载远程OLLAMA模型:https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
扩展:Page Assist插件
这是一个浏览器插件,能够在浏览器上加载本地部署模型。
主要功能:
1、浏览器侧边栏
2、独立的web界面
https://chromewebs