leonhongliang806-CSDN博客

原创 LLM大模型应用监控---LangChain接入LangFuse进阶篇

本文介绍了如何将LangChain框架接入LangFuse进行进阶监控。主要内容包括：1）安装LangFuse SDK并配置密钥；2）在LangChain调用中加入回调函数；3）通过metadata关联session和用户ID；4）设置自定义trace名称；5）获取traceId用于日志追踪；6）使用DeepEval框架进行自定义评分，包括评分函数定义和批量处理trace数据。这些功能可以帮助开发者更好地监控和分析LLM应用的执行情况，通过可视化界面查看调用链路、会话回放和评分结果。

2025-06-19 20:10:34 1126

原创 LLM大模型应用监控---LangFuse本地部署指南

本文详细介绍了LangFuse大模型应用监控工具的本地化部署方法。部署支持三种方式：1) Docker Compose本地/虚拟机部署，适合小规模项目；2) Kubernetes Helm Chart部署，适合生产环境；3) 多云平台部署。核心架构包含Web应用、Worker进程及Postgres、Clickhouse等存储组件，并可选配LLM API。重点讲解了Docker Compose本地部署步骤，包括版本要求检查、docker-compose.yml文件配置以及关键环境变量的设置。部署需注意修改默认

2025-06-18 15:14:10 1147

原创 LLM大模型应用监控---LangFuse使用指南

LangFuse是一个开源的大语言模型工程平台，提供调用跟踪、评估、指标和提示词管理等功能。它支持多框架接入，包括Java Spring AI，并可通过SDK快速集成。核心功能包括：跟踪LLM调用和会话、可视化的智能体工作流程、用户反馈收集、提示词版本管理、数据集实验和性能监控。相比于同类产品，LangFuse的优势在于完全开源，支持本地部署和云端使用。通过时间轴视图、仪表盘和评估工具，开发者可以调试延迟问题、优化提示词并持续改进模型性能。

2025-06-06 09:53:01 1792

原创 LLM大模型应用监控---LangSmith使用指南

文章摘要：LangSmith是LangChain团队开发的AI应用监控评估平台，提供可观测性、评估和提示词工程三大核心功能，支持调试和优化AI应用（不限LangChain框架）。通过示例演示了如何快速搭建LangChain智能体并接入LangSmith进行全链路监控，包括工具调用、LLM交互等详细数据的可视化分析。尽管LangSmith能有效提升开发效率，但其闭源特性且仅支持Python/JavaScript语言的限制，可能影响数据敏感项目或多语言框架的适用性。

2025-06-05 14:20:11 1090

原创 Pinpoint(APM)进阶--Pinot指标采集(System Metric/Inspector)

System Metric/Inspector指标采集

2024-11-12 15:01:02 1287

原创 Pinpoint(APM)进阶--插件开发

pinpoint进阶-插件开发

2024-11-01 15:27:46 1133

原创保姆级Pinpoint（APM）实战教程

搭建属于你自己应用的调用链平台

2024-10-18 16:31:54 3024 2

原创 Java Agent 技术解析

java agent技术解析

2024-10-12 16:27:03 1548 1

原创向量库Weaviate的搭建和使用

similarity_search可以指定alpha，0-1，值越小越偏向关键字检索，越大越偏向向量化检索。similarity_search_with_score是根据得分高低返回top n。这里的WeaviateVectorStore是用的langchain里的。使用docker compose up -d创建并启动。以下使用python代码示范如何灌库和查询。volumes是映射宿主机和容器的路径。langchain里提供了多种查询方式。index_name是库的名字。DATA_PATH存放数据。

2024-05-16 20:13:47 3489

原创基于向量检索的RAG原理和实战

RAG（Retrieval Augmented Generation）检索增强生成通常用于在大模型交互过程中通过检索的方法来增强生成模型的能力。由于大模型存在的局限性（大模型的知识不是实时的，大模型可能不知道某些私有领域的知识），可以使用检索的方式给大模型提供相应的知识，再参考回答问题一张图说明RAG的流程将知识灌入数据库用户提问先去数据库检索相关知识将检索出的内容结合prompt送给大模型大模型给出回答。

2024-05-10 14:40:47 4164 1

原创使用Function Calling技术给AI大模型赋能

本片文章介绍在使用function calling调用外部API后，让大模型（使用gtp-3.5 turbo）实现原本无法回答的垂直领域问题。

2024-05-01 21:14:28 351 1

原创快速搭建基于GTP的AI聊天机器人

后端使用python flask，前端使用vue，本片文章所有代码均由tongyi lingma自动完成。

2024-04-27 13:58:24 762 4

原创使用Tabby搭建本地化AI编程工具

tabby，搭建AI编程工具

2024-04-26 23:09:24 1844 2

原创认识大模型

大模型介绍，应用场景，原理，技术架构

2024-04-19 23:43:27 982 1

原创 Mycat+Mysql分布式架构改造和性能压力测试

1.架构实现Mycat作为数据库高可用中间件具备很多的功能，如负载均衡，分库分表，读写分离，故障迁移等。结合项目的实际情况，分库分表功能对于关联查询有很高的要求，需要从业务角度考虑分库分表后的关联查询SQL的分析，业务代码动作较大，所以在此方案中我们不考虑分库分表。主要应用Mycat的负载均衡及故障迁移的功能即可。整个架构改造包括两个部分，第一是单例Mysql改为多个Mysql，同时负载均衡，...

2019-12-17 10:00:42 925 1

原创 Spring cloud+Zuul+JWT实现无状态统一身份认证和分布式限流

本文主旨搭建一个无状态统一身份认证的系统，基于Spring cloud微服务架构，Eureka 实现服务的注册与发现，Zuul网关实现服务路由，请求过滤和限流功能，使用JWT规范实现客户登陆信息的服务端无状态话，相关文章参考《Spring cloud架构解析和框架搭建》，《Web用户认证和授权机制的演进》架构搭建eureka服务注册中心，将业务服务和认证授权中心服务注册进去，zuul网关路由...

2019-11-04 16:49:16 2600 1

原创 Mysql主从复制搭建

找到cnf文件root@7103a3767cad:/# which mysqld/usr/sbin/mysqldns’t@7103a3767cad:/# /usr/sbin/mysqld --verbose --help |grep -A 1 'Default option2019-05-29 05:55:59 0 [Note] /usr/sbin/mysqld (mysqld 5.6.4...

2019-11-04 10:34:35 264

原创 Web用户认证和授权机制的演进

前言Web应用和用户的身份验证息息相关，从单一服务器架构到分布式服务架构再到微服务架构，用户安全认证和授权的机制也一直在演进，下文对各个架构下的认证机制做个简单介绍。单一服务器架构Web应用中设置拦截器对所有请求进行拦截，如果校验不通过则跳转登陆重新认证客户端发起认证请求，传入用户名密码通过验证后，应用在服务器上将用户信息存入session中，并将session id返回给...

2019-10-31 16:43:58 965 1

原创 docker-compose编排ELK，kibana报错Unable to revive connection: http://172.16.23.126:9200/

问题描述使用docker-compose方式编排ELK环境，启动elasticsearch没有问题，浏览器访问内网es环境http://172.16.23.126:9200/_cluster/health?pretty正常，但是kibana启动后报错：Unable to revive connection: http://172.16.23.126:9200/排查思路首先查看docker-...

2019-09-29 14:41:52 2012 1