首页api调用本地的ollama大模型

api调用本地的ollama大模型

时间: 2025-02-11 18:27:30 浏览: 134

### 如何使用 API 调用本地部署的 Ollama 大模型 #### 准备工作确保已经在本地成功安装并配置好了Ollama环境，并且已经上传了所需的模型文件，比如Qwen1.5-0.5B-Chat-GGUF模型[^2]。 #### 安装依赖库为了能够顺利地调用API接口，在Python环境中需先安装`requests`库。如果尚未安装此库，则可以通过pip命令来完成安装： ```bash pip install requests ``` #### 编写 Python 代码实现 API 请求下面是一段用于向本地部署的大规模语言模型发送请求的Python脚本示例。这段代码展示了怎样构建HTTP POST请求并将输入文本传递给模型处理，最后获取返回的结果数据。 ```python import json import requests def call_ollama_api(prompt_text): url = "http://localhost:8000/api/v1/generate" headers = { 'Content-Type': 'application/json' } payload = json.dumps({ "prompt": prompt_text, "max_tokens": 150, "temperature": 0.7 }) response = requests.request("POST", url, headers=headers, data=payload) result = response.json() generated_text = result['choices'][0]['text'] return generated_text.strip() if __name__ == "__main__": user_input = input("请输入要询问的内容:") output = call_ollama_api(user_input) print(f"模型回复:\n{output}") ``` 上述代码中的URL地址应根据实际部署情况调整；参数设置如最大token数量(`max_tokens`)、温度值(`temperature`)等也可以依据具体需求修改[^1]。

阅读全文