RAG应用过程监控系统选型：LangFuse

Langfuse 是一个开源的大语言模型（LLM）工程平台，旨在协助团队构建、调试和改进由人工智能驱动的应用程序。凭借其全面的工具套件，Langfuse 使开发者能够深入洞察其 LLM 应用程序，并优化性能。

Stars 数	10,522
Forks 数	954

主要特点

• 追踪功能：捕获详细的生产环境追踪信息，以便快速识别和解决 LLM 应用程序中的问题。可视化整个请求流程，精准定位瓶颈所在。

• 评估功能：收集用户反馈、标注数据并运行自定义评估函数，以评估人工智能模型的质量和性能。

• 提示词管理：支持团队协作进行提示词的版本管理和部署，具备低延迟的生产环境检索能力，简化提示词工程工作流程。

• 分析功能：跟踪成本、延迟和质量等关键指标，以优化 LLM 应用程序的性能和效率。

• 实验平台：可直接在 Langfuse 用户界面中测试不同的提示词和模型，实现快速实验和迭代。

• 数据集管理：从生产数据中提取高质量的数据集，用于微调模型和全面测试 LLM 应用程序。

Langfuse 能与流行的 LLM 框架和库（包括 LangChain、LlamaIndex 和 OpenAI）实现无缝集成。它提供了 Python 和 JavaScript/TypeScript 的软件开发工具包（SDK），便于融入现有的工作流程。

 官网：Langfuse

GitHub：https://github.com/langfuse/langfuse