deepseek+ollama+openwebui+anythingllm本地部署局域网调用

### DeepSeek、Ollama、OpenWebUI 和 AnythingLLM 的局域网本地部署及调用方法 #### 部署准备 为了在局域网中成功部署和调用这些服务，需先确认基础环境已经搭建完毕。通常情况下，Ollama 是核心组件之一，它提供了轻量级的推理能力，并支持多种大型语言模型（LLMs）。以下是具体的部署流程： --- #### 1. 安装 Docker 并拉取 Ollama 镜像 Docker 是运行 Ollama 的必要工具。通过以下命令可以安装并启动 Ollama： ```bash docker pull ollama/ollama docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama ``` 如果设备具备 GPU 支持，则可以通过 `--gpus` 参数启用 GPU 加速模式[^4]。 进入容器后可进一步下载所需的模型文件： ```bash docker exec -it ollama /bin/bash ollama pull deepseek-r1:8b ``` 上述操作完成后，Ollama 将作为 HTTP API 接口提供服务，默认监听端口为 `11434`。 --- #### 2. 使用 OpenWebUI 调用 Ollama OpenWebUI 是一款图形化界面工具，能够简化与 LLMs 的交互过程。其配置方式如下所示： - **克隆仓库**：从 GitHub 获取最新版本代码。 ```bash git clone https://github.com/open-web-ui/webui.git cd webui ``` - **修改配置文件**：编辑 `config.json` 文件以指定目标地址指向本地图形接口的服务路径。 ```json { "api_url": "http://<服务器IP>:11434", "model_name": "deepseek-r1" } ``` 此处 `<服务器IP>` 应替换为实际主机 IP 地址或域名。 - **启动 Web UI** ```bash npm install && npm start ``` 此时访问浏览器中的 URL 即可通过可视化界面对接至后台运行的 Ollama 实例。 --- #### 3. 添加 AnyThingLLM 插件扩展功能 AnyThingLLM 可视为一种增强型插件框架，允许开发者轻松集成第三方资源库或者定制专属逻辑模块。具体实现步骤包括但不限于以下几个方面： - 确定所需加载的功能集； - 编写适配器脚本来桥接不同平台间的数据流传输协议； - 测试最终效果验证兼容性和稳定性。 例如，在 Python 中创建一个简单的客户端程序用于发送请求给远程节点： ```python import requests url = 'http://localhost:11434/api/generate' payload = {"prompt":"hello world","max_tokens":50} response = requests.post(url, json=payload) print(response.text) ``` 以上片段展示了如何利用 RESTful APIs 来获取预测结果[^1]。 --- #### 总结说明 综上所述，整个工作流涵盖了从基础设施建设到高级特性开发等多个层面的内容。借助于现代化 DevOps 工具链的支持，即使是在缺乏专用硬件加速卡的情况下也能顺利完成任务需求[^2]。