一、Ollama部署安装（.Net8+SemanticKernel+Ollama）本地运行自己的大模型

公司业务需求，项目环境均为内容，并且想使用AI大模型满足某些业务需求。查找大部分资料后决定采用Ollama大模型框架进行私有化部署，后端使用.Net8做对接实现需求。本文记录了如何安装Ollama和Open WebUI，以及如何添加语言模型。

github：https://github.com/ollama/ollama
官网：https://ollama.com/

一、Ollama简介

Ollama是一个功能强大的开源框架，旨在简化在Docker容器中部署和管理大型语言模型(LLM)的过程。它是一个开源的大型语言模型服务工具，帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，如Llama 2。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。

Ollama的主要优势在于其易用性，用户仅需通过简易命令行界面即可轻松运行模型，让操作更加流畅高效。它还支持将模型权重、配置和数据捆绑到一个包中，定义成Modelfile，优化了设置和配置细节，包括GPU使用情况。Ollama支持的平台包括Mac和Linux，并提供了docker镜像。安装过程极大简化，提供了多种选择，使得用户能够方便地使用Ollama。

此外，Ollama还具备灵活的扩展性，支持和很多工具集成，除了命令行的使用方式，还可