阿里云人工智能平台PAI介绍（六）

大模型应用开发LangStudio

大模型应用开发（LangStudio）是依托PAI产品和阿里云其他云产品能力构建的面向企业级用户的大模型应用开发平台。该平台采用直观的交互式开发环境，简化了企业级大模型应用的开发流程，同时提供了灵活的可编程能力、实时调试能力与链路追踪的能力，让您在构建大模型应用时可对整体性能进行评估与优化。通过一键部署到PAI-EAS，您可以将开发好的大模型应用部署至生产环境提供API服务。

产品功能架构

• 应用流构建：LangStudio以应用流的方式来支持大模型应用的开发，您可以通过添加和编辑不同类型的节点，将输入输出进行串联，构造符合业务需求的大模型应用。

  • 应用流编辑器：通过串联LLM和Python工具等节点，编排大语言模型应用流。

  • 应用流模板：提供常见的场景模板，例如知识库问答、NL2SQL以及工具调用等。

  • 连接配置：通过创建和配置连接，与数据库、API、大模型服务进行关联，创建后可在应用流内引用已定义的连接，支持在不同的工作流和项目中重复使用这些连接，简化集成流程。

  • 知识库构建：通过Designer模板完成数据处理和向量知识库构建。

• 性能调优：可视化的应用流运行和链路跟踪，方便您诊断分析和调试。

  • 在线运行：支持通过对话窗口与应用流线上进行输入交互，实时测试应用流效果。

  • 调用链分析：测试结果提供可视化调用链分析（Trace），帮助您了解链路中不同Span的表现，方便调试。

• 服务部署：

  • 一键部署PAI-EAS：在构建和测试应用流之后，可一站式将应用流部署至PAI-EAS。

  • 在线观测/调用链分析：部署后可在线上环境观测调用所产生的链路追踪。

产品优势

• 降低LLM应用开发门槛：

  提供多种常用的应用流模板，帮助您快速构建端到端的LLM应用。平台隐藏了不必要的复杂性，您无需深入底层配置，可以将更多精力专注于LLM应用功能的构建。

• 开发调优自主可控：

  支持白盒化的应用流编排和代码开发，您可以对模型的行为和工具的调用拥有全面理解和掌控，提升问题的定位与解决效率。通过简易的管理系统与直观的可视化界面，可以针对特定的业务需求轻松调整应用各环节逻辑，优化LLM应用程序性能，快速比较并选择最优方案。

• 无缝构建企业级应用：

  支持从初步概念验证（POC）到生产环境的无缝衔接，不仅适用于POC阶段，还能够支持企业级应用的部署与长期运营。平台适合不同规模的企业，能够一站式将应用流部署至PAI-EAS，实现高效运营。其中企业级应用具有以下特点：

  • 使用专属资源进行调试和部署。

  • 业务数据、模型服务和大模型应用整条链路都可以在您的VPC内完成，实现最大程度的数据安全和网络隔离。

  • 提供精细化的角色管理和权限管理。

• 与PAI的AI能力和工具链无缝串联：

  • 使用Model Gallery中的基模或微调的模型。

  • 使用Designer进行离线知识库的构建和更新。

  • 基于PAI-DSW运行时，提供更好的代码体验。

  • 使用PAI-DLC进行批量运行和评测。

  • 使用PAI-EAS进行应用部署和服务管控。

适用场景

企业级RAG应用

结合训练好的LLM大模型与企业私有业务领域数据的知识库，提升大模型的问答能力和专业性：

• 动态知识更新：定期或实时更新企业私有数据，确保大模型能够利用最新的数据进行问答，提升答案的时效性和准确性。

• 安全与隐私保障：确保企业数据在模型训练和推理过程中的安全性，严格遵循数据隐私法规和内部审计要求。

NL2SQL智能BI助手

通过自然语言到SQL的转换，将您的相关业务需求转化为具体的数据查询，增强数据分析能力：

• 智能查询生成：您可通过自然语言描述需求，系统将自动生成SQL查询，降低技术门槛。

• 自动化报表生成：根据查询结果，自动生成可视化报表，便于决策层快速了解业务情况。

• 数据洞察与建议：基于历史数据分析，提供智能洞察和操作建议，帮助您发现潜在的业务机会。

多模态Chat Agent

结合文本、语音、图像等多种输入形式，提供更为丰富和智能化的交互体验。

使用流程