【小白教程】Ollama本地部署任意大模型（适合企业/个人），看到就是赚到！！-CSDN博客

本文链接：https://blog.csdn.net/bugyinyin/article/details/149428768

前言

5分钟，教你搭建专属AI助手！不管是个人还是企业，都能轻松部署DeepSeek、Gemma3、Qwen3等主流大模型。本地运行更安全，还能用手机随时访问，提升 10倍生产效率！

大纲导览

本地部署：一键在本地运行主流大模型，保护隐私数据，完全掌控运行环境。
性能优化：从7B到70B模型，根据硬件配置选择最佳方案，实现性能与效果的平衡。
定制功能：快速打造符合业务需求的专属AI助手，提升竞争优势。
更改ollama位置：修改ollama模型位置，拒绝默写C 盘。
手机端访问：通过手机、平板随时调用本地AI服务，扩展应用场景。

搞定Ollama，你的AI模型管家

首先，我们需要一个强大的工具——Ollama。它能让你在本地电脑上运行各种大型语言模型，告别云端限制，享受私密又高效的AI体验。

下载Ollama访问 ollama.com，找到那个大大的“Download”按钮，根据你的操作系统（Mac或Windows）选择对应的版本，点击下载。就像下载任何一款软件一样简单，别犹豫。

启动命令行，准备开聊下载完成后，双击安装Ollama。安装完毕后，打开你的命令行工具（Mac用户是“终端”，Windows用户是“命令提示符”或“PowerShell”）。

体验模型：一键“召唤”你的AI

现在，重头戏来了！在命令行里，输入以下命令：

ollama run <模型名>

比如，如果你想体验Qwen3模型，就输入：

ollama run qwen3

Ollama会自动为你下载并启动这个模型。第一次下载可能需要一点时间，因为它要把整个模型clone到你电脑里。下载完成后，你就可以直接在命令行里和模型聊天了，就像和朋友发微信一样！

修改模Ollama存储位置

默认情况下，Ollama会把模型下载到你的系统盘。如果你的系统盘空间有限，或者想把模型随时带走，那我们就要“乾坤大挪移”一下，把模型放到其他地方，比如你的外接硬盘。

更改模型下载地址

**Mac用户看这里：**在外接硬盘里新建一个文件夹，比如命名为ollama，专门用来存放模型。退出Ollama。点击屏幕上方菜单栏里那个羊驼图标，选择“Quit Ollama”。打开命令行，运行这串“魔法代码”：
```
echo 'export OLLAMA_MODELS="/<文件夹路径>/models"' >> ~/.zshrc
source ~/.zshrc
```
注意：把 <文件夹路径> 替换成你刚才在外接硬盘里创建的ollama文件夹的实际路径。

**Windows用户看这里：**Windows操作相对简单，通常在Ollama的设置中可以找到更改模型存储路径的选项。具体操作方式可能会因Ollama版本而异，但基本思路就是找到“Settings”或者“Preferences”里的“Model Storage Location”类似选项进行修改。

模型选择：不是越大越好

现在，你可以回到Ollama官网，选择更多你感兴趣的模型。不过，模型可不是越大越好，关键是要你的电脑能“跑得动”。每个模型都有不同的参数（比如7B、13B、32B），参数越大，对电脑性能的要求越高。
你可以参考官网的模型参数说明，或者直接把你想下载的模型型号告诉AI，让AI帮你推测你的电脑是否能驾驭。

**小进阶：模型命名规则，一眼看透AI“真身”**你会发现模型的名字往往一长串，比如 gemma3-4b-it-q4_K_M。别被吓到，这背后其实有规律：

不懂的直接问大模型，如果对比多个模型参数，要去表格对比输出即可，非常清晰易懂。
- gemma3：模型名称及版本（Gemma第三代）
- 4b：参数量（40亿参数）
- it：指令微调版本（Instruction-tuned）
- q4_K_M：量化信息（4-bit量化，使用K-quant量化，中等规模量化）看懂了这些，你就能一眼识别出模型的“核心竞争力”！

进阶：定制你的专属企业AI助手

如果通用模型不能满足你的需求，你完全可以微调一个自己的AI模型，给她设定独特的性格和风格。这对于企业管理者和追求个人效率提升的超级个体来说，意味着能够打造出最符合业务场景或个人习惯的AI助手，实现真正的10倍AI效率提升。直接把性格写进模型里面

**创建模型文件：给你的AI写“档案说明”**打开一个文本编辑工具（比如记事本），创建一个zhiduoxing.txt文件。在文件里写入以下内容，这就是你AI的“档案说明”：

FROM qwen3:32b
PARAMETER temperature 0.8 
SYSTEM "你是一个专业的客服机器人，名为“智多星”，负责解答客户关于公司产品和服务的常见问题。你的回答需要准确、简洁、专业，并严格遵守公司提供的知识库信息。如果遇到知识库以外的问题，请引导客户联系人工客服。你的语言风格应积极、耐心、有帮助。"

把这个文件保存到你之前创建的Ollama模型文件夹里，并将文件后缀名从.txt改为Modelfile（确保没有.txt）。

- FROM：必填项，指定这个模型的权重来自哪里，这里以 qwen3:32b 为例。
- PARAMETER temperature 0.8：设置“温度”为0.8。温度越高，模型的回答就越有创造力。
- SYSTEM：系统提示词，这是你给AI设定的核心“人设”。这里我们设定了一个专业客服机器人，旨在解答客户常见问题。

在Ollama里创建模型：为“智多星”命名保存好Modelfile后，回到命令行，输入：
```
ollama create <自定义模型名字> -f Modelfile
```
我们把模型命名为zhiduoxing（智多星），所以命令是：
```
ollama create zhiduoxing -f Modelfile
```
Ollama就会根据你的“档案说明”来创建这个新模型了。

**对话测试：和你的“智多星”聊起来！**创建成功后，你就可以输入：
```
ollama run zhiduoxing
```
然后，和你的专属企业AI助手“智多星”开始一场独一无二的对话吧！它会按照你设定的性格，给你意想不到的回复，高效地解决客户问题。

进阶：搭建局域网AI服务器，让全家都能用AI

想把你的AI模型分享给家里的其他设备，比如手机或平板？我们可以把Ollama服务器开放到局域网，让大家都能用。对于中小企业转型者和有资源/产品的甲方，这意味着能够低成本、私密地搭建企业内部的AI服务，无论是构建企业知识库还是进行AI效率提升，都提供了坚实的基础。

永久更改Ollama对外服务地址在命令行里输入：
```
OLLAMA_HOST=0.0.0.0:11434 ollama serve
```
这会将Ollama的服务器地址改为局域网可访问。

另外，Ollama默认会在5分钟不用后释放模型权重以节省内存。如果你想让模型一直保持加载状态，随时响应，可以在启动时加上 OLLAMA_KEEP_ALIVE=-1：
```
OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1 ollama serve
```
注意：这种方式只在当前命令行窗口有效，关闭窗口后设置就会失效。
永久更改：一劳永逸的设置为了永久生效，我们需要把这些设置写入环境变量。

**Mac用户：**打开命令行，输入：
```
nano ~/.zshrc
```
在文件末尾添加以下两行：
```
export OLLAMA_HOST="0.0.0.0:11434"
export OLLAMA_KEEP_ALIVE="-1"
```
按 Control + O 保存，按 Enter 确认文件名，然后按 Control + X 退出nano编辑器。
手机端使用：Enchanted App让你随时随地玩AI现在，你的Ollama服务器已经在局域网开放了，手机也能连接了！在手机上下载一个名为Enchanted的APP。

查看电脑IP地址：

在Enchanted APP中，点击左上角菜单，进入“设置”，然后输入你的电脑IP地址和Ollama的默认端口号11434，比如 192.168.1.100:11434，然后保存。现在，你就可以在Enchanted中选择你的Ollama模型，在手机上愉快地和AI聊天了！
- Mac用户：在“设置” -> “网络”中查看你当前连接的网络（以太网或Wi-Fi）的IP地址。（小技巧：点击状态栏网络图标，长按option）
- Windows用户：在“网络和Internet设置”中查看你当前连接的网络（以太网或Wi-Fi）的IP地址。

Ollama常用命令速查表

掌握这些命令，你就是Ollama的“老司机”了：

下载/运行模型：ollama run <模型名字>
清除模型上下文：/clear (在对话中输入)
退出对话/关闭模型：/bye (在对话中输入)
查看模型运行速度&token数细节：ollama run <模型名字> --verbose
查看你有什么模型：ollama list
删除模型：ollama rm <模型名字>
查看模型的详细信息：ollama show <模型名字>
启动Ollama服务器：ollama serve
创建模型文件（用于自定义模型）：ollama create <自定义的模型名字> -f Modelfile

聊天前端界面：让AI聊天更友好

命令行界面虽然高效，但不够直观。你可以配合一些美观的Web界面来提升使用体验：

Page Assist: 一个Chrome插件，让你在浏览器中轻松使用本地AI模型。
AnythingLLM: 一个强大的本地AI聊天平台，支持多种模型。
Openwebui: 简洁美观的Web界面，方便管理和使用Ollama模型。
Cherrystudio: 另一款优秀的本地AI聊天工具。
ChatWise: 专注于智能聊天的应用。

现在，你是不是已经迫不及待地想试试了？从下载到自定义模型，再到搭建局域网服务器，一个充满可能性的AI世界正在向你招手。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。