本地电脑大模型系列之 03 将 Autogen 与本地 LLM 结合使用,使用 OLLAMA 将开源 LLM 与 Autogen 集成

### 如何使用 AutoGen 框架在本地运行大模型 为了实现在本地环境中利用 AutoGen 框架来操作大型语言模型 (LLM)，可以遵循特定配置流程。此过程涉及安装必要的依赖项以及设置环境变量以便于与本地 LLM 进行交互。 #### 安装依赖库 首先，确保 Python 环境已准备好，并通过 pip 工具安装 autogen 库以及其他可能需要的支持包： ```bash pip install pyautogen ``` 对于更复杂的项目结构或者当目标是集成多个组件时，则还需要考虑其他依赖关系的管理[^1]。 #### 设置环境参数 接着，在启动应用程序之前定义一些重要的环境变量，这些变量用于指定要加载的语言模型路径及其他必要选项。例如，可以通过命令行界面设定如下所示的关键字： ```bash export AUTOGEN_LLM_PATH="/path/to/local/model" ``` 这一步骤确保了后续代码能够正确识别并访问到预训练好的模型实例。 #### 初始化 Agent 实例 创建一个基于 `ConversableAgent` 类的新对象作为代理程序的一部分，该类允许开发者自定义对话逻辑并与外部服务建立连接。下面是一个简单的初始化例子： ```python from autogen import ConversableAgent config_list = [ { 'model': "ollama", 'api_base': "/local/path/to/ollama/api", # 替换为实际API地址 'api_type': "open_ai", 'api_key': "" # 如果适用的话提供密钥; 对于完全离线模式则留空 } ] agent = ConversableAgent( name="my_local_llm_agent", llm_config=config_list, human_input_mode="NEVER" # 或者根据需求调整输入方式 ) ``` 上述片段展示了如何配置支持 Ollama 的本地 LLM 接口，并将其关联至新创建的 agent 上下文中[^3]。 #### 开始会话 最后一步就是激活聊天循环机制，让人类用户或另一个自动化实体参与到实时交流当中去。这里展示了一个基本的方法调用来触发整个互动过程： ```python agent.initiate_chat() ``` 这段代码将会开启一次新的对话回合，其中包含了由前述配置所决定的消息传递规则和处理策略。