Ollama介绍
Ollama 是一个基于 Go 语言开发的开源框架,专为本地环境设计,用于构建和运行大型语言模型(LLMs)。它的核心功能包括模型运行、模型管理、自定义模型、API 支持、多模态能力以及安全性。Ollama 的技术优势在于其对本地化部署的重视,以及对开发者友好的接口设计。它支持多种大型语言模型的本地运行,无需依赖远程服务器,并且提供了一个简单的 API 用于创建、运行和管理模型。
安装方式
Ollama 的安装支持多种方式,包括通过包管理器(如 Homebrew、apt、dnf)、Docker 或从源代码编译。安装完成后,可以进行基本配置以确保 Ollama 能够正常运行。Ollama 支持多种操作系统,包括 macOS、Windows 10 及以上版本、Linux(如 Ubuntu、Fedora)。对于新手来说比较友好。
Windows安装
官网地址:Ollama
客户端下载
https://ollama.com/download/OllamaSetup.exe
客户端安装
客户端直接安装在C盘
模型安装
1、模型文件下载,选择模型文件,可在Models下选择任意模型文件
2、模型安装,运行Ollama,在打开的控制台中使用如下命令
ollama run model_name
本地自动化下载并安装模型文件
模型文件一般都较大,会自动安装在C盘,可以设置环境变量(OLLAMA_MODELS)来指定模型安装目录,通过系统设置里来配置环境变量(系统变量或者用户变量)
运行模型
安装完成后即可在控制台中使用生成式AI,或者使用API接口。