weixin_43845154的博客

本文介绍了在4卡4090服务器上部署GraphRAG环境的过程。硬件配置包括双路至强金牌6148处理器、128GB内存和4块4090显卡。创建Python3.10虚拟环境、安装GraphRAG 0.5.0及相关依赖包，以及修改源代码以支持本地ollama向量模型和vllm推理模型。重点说明了如何修改openai_embeddings_llm.py和embedding.py文件，将原OpenAI接口替换为本地ollama接口，实现向量知识图谱构建和本地大模型推理的无缝接入。适用于需要数据保密的企业环境.

本文详细介绍了在配备4块NVIDIA 4090显卡的高性能服务器上部署Ollama环境的全过程。内容包括：硬件配置（Intel至强61482 CPU、128GB内存、44090显卡），基于Ubuntu 24.04系统创建Python 3.12虚拟环境，通过离线方式安装PyTorch 2.4.0（CUDA 12.4）和ModelScope依赖项，以及Ollama的离线安装与配置。文章还提供了服务管理方法（启动/停止）、端口监控技巧，并分享了关键安装文件的下载链接。该指南特别针对需要处理大模型的高性能计算环境.