有关使用 Gemini Live API 的演示应用和资源

本页面提供了一系列关于 Gemini Enterprise Agent Platform 上的 Gemini Live API 的参考实现。这些演示展示了如何使用 Gemini Live API 和 ADK 构建强大的实时语音代理，涵盖了从不含依赖项的 JavaScript 启动器到基于 React 的全面架构等内容。

演示应用

  • React 演示应用：一款全面的 React 客户端，具有实时流式传输、工具使用和媒体处理功能。
  • 纯 JS 演示应用：一个不含依赖项的 JavaScript 实现，用于了解核心 API 机制。
  • 实时顾问：一个可在静默模式和直言模式之间切换的专业顾问角色。
  • 客户支持代理：一个具有情绪检测、多模态输入和工具执行功能的高级代理。
  • 游戏助理：一个具有角色切换功能和屏幕共享功能的游戏助手。
  • Gemini Live 电话应用：一款实时的语音与 AI 交互应用，该应用使用 Twilio 进行电话通信，使用 Gemini Live API 实现对话式 AI，并且还使用了 FastAPI 后端。

ADK 双向流式传输开发指南

智能体开发套件 (ADK) 提供了一个可用于生产用途的框架，用于通过 Live API 构建双向流式传输应用。以下指南和演示介绍了 ADK 的流式传输架构，该架构支持用户与 AI 代理之间通过多模态渠道（文本、音频、视频）进行实时双向通信。

其他工具

  • PCM 音频调试器：一种用于测试和调试原始 PCM 音频流和 WebSocket 连接的独立工具。