首页ragflow上添加llm

ragflow上添加llm

时间: 2025-03-09 20:06:26 浏览: 234

### 添加或配置 LLM 至 RAGFlow 为了在 RAGFlow 中集成大型语言模型 (LLM)，可以遵循以下方法： #### 方法一：通过 Docker Compose 文件指定 LLM 配置对于希望快速启动并运行带有特定 LLM 的 RAGFlow 实例的情况，可以在 `docker-compose-CN.yml` 文件中定义所需的 LLM 映像和服务设置。这通常涉及编辑该文件中的服务部分来引入新的容器或者调整现有容器的环境变量以指向所选的 LLM API 地址。 ```yaml services: llm-service: image: "your_llm_image" ports: - "9380:9380" environment: MODEL_NAME: "model_name_here" ``` 此段代码展示了如何向现有的 docker-compose 文件添加一个新的名为 `llm-service` 的服务实例[^3]。 #### 方法二：利用 Runhouse 自托管解决方案另一种方式是采用 Runhouse 提供的支持来自 Hugging Face 或其他来源的预训练模型的服务——即 SelfHostedHuggingFaceLLM 和 SelfHostedPipeline。这些工具允许更灵活地管理和扩展多个 LLMs，在这种情况下，可以通过安装和配置相应的 Python 库以及按照其指南操作来进行部署[^4]。 #### 修改 Nginx 反向代理设置无论选择哪种方案，如果计划让外部访问者能够触及到新加入的 LLM 接口，则可能还需要更新 Web 服务器上的反向代理规则。例如，更改 `/etc/nginx/conf.d/ragflow.conf` 文件内的 `proxy_pass` 参数以便正确路由请求至内部网络地址而非默认值[^2]。 ```nginx location /v1 { proxy_pass http://127.0.0.1:9380; include proxy.conf; } ``` 上述 nginx 配置片段演示了将所有针对路径 `/v1` 的 HTTP 请求转发给位于本机端口 9380 上监听的服务的过程。

阅读全文