ubuntu本地部署rag

### 部署RAG模型于Ubuntu环境 对于希望在Linux Ubuntu 22.04.5版本上部署检索增强生成(Retrieval-Augmented Generation, RAG)模型的用户而言，确保内核版本为6.7可以减少遇到系统兼容性问题的概率[^1]。为了实现这一目标，需先安装必要的依赖库以及准备适合运行深度学习框架的Python环境。 #### 安装基础软件包和支持工具 建议通过更新现有包列表并安装一些基本开发工具来开始： ```bash sudo apt-get update && sudo apt-get upgrade -y sudo apt install python3-pip build-essential libssl-dev libffi-dev python3-dev ``` #### 创建虚拟环境 创建独立的Python虚拟环境有助于管理项目所需的特定版本库文件而不影响全局设置： ```bash pip3 install virtualenv virtualenv venv_rag source venv_rag/bin/activate ``` #### 安装PyTorch及相关组件 考虑到RAG模型通常基于Hugging Face Transformers库构建，因此需要安装支持GPU加速训练过程（如果硬件允许的话）的PyTorch及其扩展模块： ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets faiss-cpu sentence-transformers ``` 这里假设使用CUDA 11.8编译版PyTorch以充分利用NVIDIA GPU性能优化；如果没有合适的显卡，则可以选择CPU-only版本。 #### 下载预训练好的RAG模型 利用HuggingFace提供的API可以直接加载官方发布的高质量预训练参数集： ```python from transformers import RagTokenizer, RagRetriever, RagTokenForGeneration tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-nq") retriever = RagRetriever.from_pretrained("facebook/rag-token-nq", index_name="exact", use_dummy_dataset=True) model = RagTokenForGeneration.from_pretrained("facebook/rag-token-nq", retriever=retriever) question = "What is the capital of France?" input_ids = tokenizer(question, return_tensors="pt")["input_ids"] generated = model.generate(input_ids) print(tokenizer.batch_decode(generated, skip_special_tokens=True)) ``` 上述脚本展示了如何初始化一个完整的RAG管道实例，并对其提问获取答案的过程。 #### 设置环境变量以便远程访问服务端口 当计划让其他设备也能连接到本地服务器时，适当调整环境配置使得应用程序能够监听外部请求变得至关重要： ```bash export OLLAMA_HOST=0.0.0.0 export OLLAMA_ORIGINS=* ``` 这两条命令分别指定了HTTP接口开放地址与跨域资源共享(CORS)策略，从而允许来自任何源始位置的安全调用[^2]。