Windows下Ollama安装及使用

Ollama安装及使用

        ollama国内下载是一款开源的本地化大模型部署工具,用户可以一键轻松安装、配置和运行各种开源大模型。

前置条件

         Windows下安装了docker环境。Windows11安装Docker-CSDN博客

下载

项目地址：https://github.com/ollama/ollama?tab=readme-ov-file

安装启动

双击运行下载的exe文件。成功安装完成后弹出如下终端。

或者浏览器输入http://localhost:11434/ 查看，安装成功页面显示Ollama is running。

模型管理

模型库列表

        您应该至少有8 GB的RAM可用来运行7B型号，16 GB以运行13B型号和32 GB以运行33B型号。

        想用哪个模型，直接终端运行Download列的ollama run ... 命令。

下载并运行模型

        以llama3.2为例，终端运行 ollama run llama3.2 命令。如果本地没有此模型，则下载运行此模型。如果已经有了此模型，则直接运行。

进行对话

        下载完毕，运行成功后。会显示 >>> Send a message (/? for help) 

退出对话

会话输入 /bye  或者 快捷键Ctrl+D，可以退出会话。

常用命令

启用模型

ollama run llama3.2

查看运行的模型

ollama ps

停用模型

ollama stop llama3.2

查看已安装的模型

ollama list

查看模型信息

ollama show llama3.2