wengad的博客

coze已经开源一段时间了，版本升级的也比较快，记录下使用podman部署coze的过程，这里使用的是coze v0.2.2的版本来安装了，老的版本会和新版本不太一样，肯定是推荐使用新版本来安装。因为docker不好拉取镜像，使用podman可以顺畅的拉取相关镜像，所以也强烈推荐使用podman。设置好那么保存，具体的URL和model名称，根据实际情况来修改。如果都拉取成功，并都成功运行了，会看到coze的相关11个容器。至此，如果顺利的情况下，能够进去界面，就成功一半了。如果已经安装好，那么忽略。

本文介绍HF transformer的安装和pipeline的简单实用

本文阐述了使用podman容器化安装DIFY的过程

超参数消融是机器学习模型优化中的一种系统性实验方法，用于评估不同超参数对模型性能的影响，进而筛选出最优超参数组合。在复杂模型（如神经网络、集成模型）中，通过移除某个组件（本质是调整“是否启用该组件”的超参数）来评估其必要性。同时调整多个相关超参数（如学习率与批大小、正则化参数与迭代次数），分析参数间的交互影响。，逐一或分组移除、调整超参数，观察模型性能变化，从而确定每个超参数的重要性和最佳取值。通过超参数消融，不仅能提升模型性能，还能深入理解模型行为，为后续优化提供科学依据。：在随机森林中测试不同。

本文研究网络智能体相关技术，并介绍阿里的websailor网络智能体

在vanna上验证多表关联的可行性

本文介绍了如何在Windows环境下通过虚拟机CentOS搭建一个基于n8n工作流平台和OLLAMA本地LLM模型的对话Agent。内容包括：1）OLLAMA的下载安装、环境变量设置和模型拉取；2）n8n的容器化部署流程；3）创建对话工作流的具体步骤，包括凭证配置和模型选择。该方案能快速构建具备LLM对话能力的Agent，适合入门使用，但需注意n8n的商用收费政策。整个系统采用本地化部署，保障数据隐私性。

MCP（Model Context Protocol）是由Anthropic推出的开放标准协议，旨在为大型语言模型（LLM）与外部数据源、工具之间提供标准化的交互方式。MCP通过定义统一的接口和通信机制，使AI模型能够安全、灵活地访问外部资源，如数据库、API和文件系统，从而提升模型在复杂任务中的实用性。MCP架构包括三个主要组件：MCP Hosts（用户与AI模型交互的入口）、MCP Clients（负责与MCP Server建立连接并管理通信的中间件）和MCP Server（功能提供层，封装数据、工具和

本文基于langchain 0.3.4，使用langchain_openai连接大模型，调用大模型对话功能。

本文通过apipost来连接openai的标准接口

MindSearch 是一个由上海人工智能实验室推出的开源 AI 搜索引擎框架,具有与 Perplexity.ai Pro 相同的性能。本文以 InternStudio 算力平台为例，来部署 CPU-only 的 MindSearch。

基于Cuda12.2-conda镜像，在30% A100下实现。

LlamaIndex是一个数据框架，它主要用于连接大型语言模型（LLMs）与外部数据源，例如API、PDF文档、SQL数据库等。这个框架的设计目的是为了增强LLM的能力，使其能够理解和生成更准确、更有上下文关联的文本，尤其是在涉及私人数据或特定领域知识的情况下。LlamaIndex通过创建索引结构来组织和访问数据，这样可以更高效地检索相关信息并将其提供给LLM。这些索引可以是列表索引、向量索引、树索引或关键词索引等，具体取决于数据类型和需求。

LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，本文采用LangGPT 进行结构化提示词设计，让internlm2-chat-1_8b能够正确比较浮点数。（注意：估计1.8B的对话能力比较弱，别把模型带偏了：））本文使用书生浦语的开发机环境InternStudio来部署模型与实验。

此时会有弹窗提示输入ssh链接命令，回车后还会让我们选择要更新那个ssh配置文件，默认就选择第一个就行（如果你有其他需要的话也可以新建一个ssh配置文件）。点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键。打开vscode，点击左侧的extensions菜单，在搜索框中输入remote-ssh,选择第一个，点击“install”点击代码文件的左侧，要打断点的行，点击后，出现红点，即可。选择后，执行一遍，确认可以运行。

模型会下载到 /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k。使用30% A100 来运行chatglm3模型，采用lmdeploy来启动。启动后，运行在127.0.0.1的23333端口，使用的是fastAPI服务器。直接采用lmdeploy chat启动并对话交互。注：具体的API可以访问23333端口来查看。requirenments.txt 内容。用于从魔搭下载chatglm3模型。通过curl来方式这个api。

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

幻觉：模型因为训练数据的不能全覆盖性，导致模型可能会生成虚拟信息时效性：用于模型训练的数据过时了，无法反馈最新的趋势和信息等。可靠性：当模型遇到复杂任务式，可能出现错误输出，无法被信任智能体定义智能体能够感知环境中的动态条件，进而能采取动作影响环境，同时能够运用推理能力理解信息、解决问题、生成推断、决定的动作。智能体的范式：AutoGPT、ReWoo、ReAct这里我们使用天气查询API,为了获得稳定的天气查询服务，我们首先要获取 API KEY。

同样，在https://studio.intern-ai.org.cn/console/instance上做实验，使用50%的A100来实验。

使用书生·浦语的XTuner对书生·浦语 LLM 1.8B模型进行微调，实现其自我认知的改造；并将微调合并后的模型提交到openxlab仓库中；基于书生·浦语LLM1.8B，训练一个llava模型，能够对图片进行解读（注意不是生成图片）

茴香豆（介绍、特点、架构、构建步骤）茴香豆实践演示。

整个过程，建议直接使用0.5卡的，实验比较快一些。通过这次实战，熟悉了studio平台的使用，熟悉了相应的工具，收获蛮大。

全链路的开源体系，是覆盖MLOps的全生态的链路的工具链，支持从数据获取、预训练、微调、部署、模型评测、场景应用支撑的工具链条。在github上的项目：AI工程也是工欲善其事，必先利其器的一个大工程，能够从某种程度、某个方面降低人工智能工程化的门槛，相信业内也会出现类似的更多、更好的平台，为人工智能的市场化应用提供有力支撑。

在待连接的mysql数据库的，demodb数据库中新建表和记录，当然可以在不同数据库里面创建表，并插入不同的数据，根据实际情况可以调整SQL，并调整后续步骤的python代码中连接数据库的内容。这里的脚本chroma使用的local的模型，运行了以下脚本后，会在运行的目录下生成chroma.sqlite3文件，存放训练的数据，别删了，删了那训练数据就没了，要重新来。这里使用的是centos7 ，并有一块11G显存的GeForce GTX 1080 Ti，本文编制的时候，使用的是vanna 0.5.4版本。

在复现paddleBoBo的时候，遇到比较多的问题，最后成功了。

在centos7 (CentOS Linux release 7.6.1810 (Core))下，git clone paddlespeech项目，checkout r1.4.1，并安装微调中文环境，进行微调。微调PaddleSpeech遇到的This dataset has no examples与解决。以上在运行run.sh的时候，报错This dataset has no examples。下载后解压后，有200个wav和lables.txt文件。预训练的hifigan 模型。

它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。