参考上述第一、二部分内容的内容，帮我设计调用DeepSeek-R1-Distill-Qwen-7B版本的大模型的py文件

<think>嗯，用户想基于FastAPI和DeepSeek-R1-Distill-Qwen-7B大模型创建一个聊天接口的完整Python代码示例，包含模型加载、参数配置以及服务启动逻辑。首先，我需要回顾之前提供的代码示例，看看是否有需要调整的地方。 用户之前给出的代码中，模型加载部分使用了AutoTokenizer和AutoModelForCausalLM，并且配置了device_map为CPU，以及torch_dtype为float32。这可能是因为用户希望在CPU上部署，所以需要确保没有GPU依赖。此外，还有量化处理和性能优化措施，比如限制线程数和启用TorchScript。不过，在之前的回复中，用户提到量化时使用了model.quantize(bits=8)，但实际中Hugging Face的模型可能不支持直接quantize方法，可能需要使用其他方式，比如使用动态量化。 另外，用户引用的资料中提到vLLM用于推理加速，但当前问题是在CPU上部署，可能vLLM不适用，因为vLLM主要针对GPU。因此，代码中不需要包含vLLM的部分，但或许可以提到如果未来迁移到GPU可以考虑使用。 接下来，需要确保代码示例的正确性。例如，在加载模型时，可能需要设置trust_remote_code=True，特别是如果模型架构不在Transformers库中。此外，生成响应时，需要处理输入和输出的正确方式，比如使用apply_chat_template方法，如果模型需要特定的对话格式。 用户的需求是完整的Python文件，所以需要包含所有必要的部分，比如导入库、模型加载、FastAPI的路由设置、请求体定义、生成逻辑、异常处理以及服务启动。同时，参数配置如max_length、temperature、top_p需要作为请求参数，并且设置合理的默认值。 可能还需要考虑内存管理，比如限制生成的token数量，防止内存溢出。此外，添加中间件如CORS中间件，以便前端调用。另外，在模型加载部分添加异常处理，确保启动失败时有明确的错误提示。 需要检查代码中的潜在问题，比如是否在CPU上正确配置了torch的线程数，是否启用了eval模式以减少内存占用，以及是否正确处理了pad_token_id，避免生成中断。 最后，确保代码示例中的注释清晰，关键配置有说明，方便用户理解每个部分的作用。同时，提供启动服务和测试请求的命令，帮助用户快速验证。</think>以下是基于FastAPI部署DeepSeek-R1-Distill-Qwen-7B大模型的完整代码实现，包含关键配置优化和行业最佳实践： ```python # main.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from transformers import AutoTokenizer, AutoModelForCausalLM import torch import uvicorn # ---------- 关键配置 ---------- MODEL_PATH = "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B" # 模型标识符与Hugging Face一致[^1] DEVICE = "cpu" # 强制使用CPU部署 TORCH_DTYPE = torch.float32 # CPU必须使用32位浮点 MAX_MEMORY = {0: "10GB"} # 显存分配限制（CPU模式忽略） app = FastAPI() # ---------- 模型加载 ---------- try: # 加载tokenizer（必须设置trust_remote_code） tokenizer = AutoTokenizer.from_pretrained( MODEL_PATH, trust_remote_code=True, device_map=DEVICE ) # 加载模型（关键参数配置） model = AutoModelForCausalLM.from_pretrained( MODEL_PATH, trust_remote_code=True, device_map=DEVICE, torch_dtype=TORCH_DTYPE, max_memory=MAX_MEMORY ).eval() # 立即进入评估模式减少内存占用[^3] # CPU优化配置 torch.set_num_threads(4) # 限制CPU线程数防止内存溢出 except Exception as e: raise RuntimeError(f"模型加载失败: {str(e)}") # ---------- API接口定义 ---------- class ChatRequest(BaseModel): prompt: str max_length: int = 512 # 默认生成长度 temperature: float = 0.7 # 创造性控制 top_p: float = 0.9 # 核心采样参数 @app.post("/chat") def chat_completion(request: ChatRequest): try: # 构建对话格式（DeepSeek特殊要求） messages = [{"role": "user", "content": request.prompt}] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors="pt" ).to(DEVICE) # 生成配置 outputs = model.generate( inputs, max_length=request.max_length, temperature=request.temperature, top_p=request.top_p, pad_token_id=tokenizer.eos_token_id # 防止生成中断[^1] ) # 解码响应 response = tokenizer.decode( outputs[0][len(inputs[0]):], skip_special_tokens=True ) return {"response": response} except Exception as e: raise HTTPException(500, detail=f"生成失败: {str(e)}") # ---------- 服务启动 ---------- if __name__ == "__main__": uvicorn.run( app, host="0.0.0.0", # 开放外部访问 port=9000, workers=1 # CPU模式推荐单进程 ) ``` ### 关键优化点说明： 1. **对话格式处理** DeepSeek模型需要特定对话格式，使用`apply_chat_template`构建符合`[INST]...[/INST]`格式的输入 2. **内存控制** ```python MAX_MEMORY = {0: "10GB"} # 显存分配限制（实际在CPU模式下无效） torch.set_num_threads(4) # 限制CPU并行线程数 ``` 3. **生成参数配置** ```python max_length=512 # 控制最大生成长度防止内存溢出 temperature=0.7 # 建议0.3-1.0之间调节创造性 top_p=0.9 # 核心词采样概率（与temperature配合使用） ``` ### 服务部署命令 ```bash # 启动服务（生产环境推荐使用nohup） uvicorn main:app --port 9000 --workers 1 # 测试请求 curl -X POST "http://localhost:9000/chat" \ -H "Content-Type: application/json" \ -d '{"prompt":"如何解释量子力学？", "max_length": 256}' ``` ### 性能增强方案 ```python # 在模型加载后添加（可选优化） if DEVICE == "cpu": # 动态量化压缩 model = torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtype=torch.qint8 ) # 启用缓存机制 model = model.to(memory_format=torch.channels_last) ```