Autogen Studio+本地ollama+deepseek安装(2025/4/15更新)

1. 安装ollama,然后下载LLM, 这部分网上文章众多,此略

需要注意的是agent需要支持function calling的LLM才可以被调用,官版deekseek目前还不行,改用MFDoom/deepseek-r1-tool-calling:1.5b

ollama run MFDoom/deepseek-r1-tool-calling


2. conda建立autogenstudio虚拟环境,激活虚拟环境, 注意autogen studio对PYTHON有版本要求,目前的要求是>=3.10, <3.13,我是安装的3.10


conda create -n autogenstudio python=3.10
conda activate autogenstudio


3.安装autogenstudio
pip install -U autogenstudio


4.启动
autogenstudio ui --port 8001


5.在浏览器打开
http://localhost:8001/


6.设置LLM MODEL, 重点说下设置本地DEEPSEEK,因为做了上面的安装后,打开之后就是设置本地ollama一直连不通,尝试了各种方法,在快要放弃的时候柳暗花明:

增加模型:ADD MODEL

如果直接设置,怎么测试都不通,后来直接用JSON EDITOR

将下面的代码贴入,然后SAVE CHANGES保存

{

  "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",

  "component_type": "model",

  "version": 1,

  "component_version": 1,

  "description": "deepseek-r1:1.5b",

  "label": "deepseek-r1:1.5b",

  "config": {

    "model": "MFDoom/deepseek-r1-tool-calling:1.5b",

    "model_info": {

      "vision": false,

      "function_calling": true,

      "json_output": false,

      "family": "unknown"

    },

    "base_url": "http://localhost:11434/v1",

    "api_key": "ollama"

  }

}

测试是否连通:有下面提示即表示设置成功。

2025/4/15 更新

agent需要支持function calling的LLM才可以被调用,官版deekseek目前还不行,改用MFDoom/deepseek-r1-tool-calling:1.5b

用olllama拉取:ollama run MFDoom/deepseek-r1-tool-calling:1.5b

### Autogen Studio Ollama 使用指南 #### 安装依赖库 为了使用 Autogen Studio 结合 Ollama 构建模型,需先安装必要的 Python 库。这可以通过 pip 来完成。 ```bash pip install litellm autogen-studio ollama ``` #### 初始化配置文件 对于 GraphRAG 离线嵌入和索引的 LLM 配置,`settings.yaml` 文件至关重要[^1]。该文件应放置于项目的工作目录下,并用于替代默认生成的设置文件。以下是 `settings.yaml` 的基本结构: ```yaml model: name: "mistral-7b" provider: "ollama" embedding: method: "nomic-text-embedding" graph_rag: offline_indexing: true ``` #### 创建并运行模型实例 利用上述配置,在代码中可以轻松创建一个基于指定参数的新模型实例。下面是一个简单的例子来展示如何实现这一点。 ```python from autogen_studio import ModelBuilder, settings_from_file # 加载自定义设置 config = settings_from_file('path/to/settings.yaml') # 实例化模型构建器对象 builder = ModelBuilder(config) # 启动服务并与 Lite-LLM API 对接 if builder.is_valid(): model_instance = builder.create_model() else: raise ValueError("Invalid configuration provided.") ``` #### 扩展功能支持 值得注意的是,Autogen 已经被增强以兼容来自 Ollama 的非 OpenAI 大型语言模型 (LLMs),并通过 Lite-LLM 提供代理服务器接口访问这些资源[^2]。这意味着开发者现在能够更灵活地选择不同的后端提供商而无需更改大量现有代码逻辑。 #### 模型一致性校验 确保所使用的模型名称与通过命令 `ollama list` 显示的结果相匹配非常重要[^3]。这样做可以帮助防止因命名差异而导致潜在错误或不兼容情况的发生。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值