智能硬件产品 AI 功能开发教程

概述

在大模型技术迅猛发展的背景下，智能设备的创新方向不断拓展，“智能设备 + AI” 的结合为开发者带来了无限想象空间，例如 AI 陪伴机器人、AI 娃娃、AI 宠物等设备创新应用场景层出不穷。

为了助力开发者高效实现 AI 应用落地，涂鸦开发者平台提供了多样化的支持，包括适用于不同品类的标准化 AI 功能、丰富的智能体模板，以及便捷的面板投放工具，从多个维度全面保障产品的 AI 应用快速落地。

AI 功能实现原理说明

以 AI 娃娃为例，其功能核心在于接入大模型，从而实现个性化的性格赋能和流畅自然的聊天对话体验。

• 硬件条件：设备需要具备多模态数据的上行能力，包括音频、视频、图片和文字等数据的采集和传输。例如，要实现 AI 对话功能，设备必须支持语音接收（麦克风）和语音播放（扬声器）的硬件配置，以确保人机交互的顺畅性。

• 软件条件：设备端需部署一个智能体（Agent），作为对接大模型的桥梁。该智能体的主要职责是处理设备的上行请求，并根据用户的对话信息与大模型交互，返回处理结果，最终实现智能对话功能的落地。

产品 AI 功能

为了能让产品的 AI 应用场景快速落地，开发者平台提供了适用于各个业务品类的通用 AI 功能。您可以根据自己产品的实际需求，挑选合适的 AI 功能。选好功能后，平台会自动推荐与之对应的智能体模板。

产品 AI 功能开发流程

前提条件

您已经完成产品功能定义和创建，详细请参考 创建产品。

配置产品智能体

1. 登录 涂鸦开发者平台。

2. 单击左侧导航栏上的 产品 > 产品开发，在 产品开发 页面，选择想开发的产品，单击 继续开发 进入开发页面。带有如下图所示的 AI 标识的产品都支持配置产品智能体。

   

   

3. 确定产品需要实现 AI 功能的方式，根据设备端 AI 功能、面板端 AI 功能来选择智能体。

智能体投放端之间的区别

开发设备端智能体

1. 在 01 功能定义 > 产品 AI 功能 下，单击卡片 新增智能体。

   产品 AI 功能 仅在支持 AI 功能的产品方案中可见。如果您的产品开发页面没有该功能入口，则表示当前方案暂不支持产品 AI 功能。

   

2. 添加智能体：

   • 方式 1 - 根据功能推荐智能体：选择您需要的 AI 功能，再选择智能体模版或选择根据已选 AI 功能自动生成的智能体，绑定单击 确定。

     若当前没有可选的 AI 功能或推荐的智能体，请参考下文中的 方式 3 - 选择已创建智能体 直接添加账号下已有的智能体，或先前往 智能体开发平台 创建智能体。

     

     

   • 方式 2 - 选择涂鸦智能体应用：涂鸦提供官方的智能体应用，例如 AI 宠物小程序、AI 能源小程序等。无需开发，设备满足使用条件则可以直接接入小程序使用。选择智能体应用后，单击 添加使用。

     若涂鸦智能体应用已被投放到产品方案下，则智能体在方案下可见；如未投放，则不可见。

     

   • 方式 3 - 选择账号下已有智能体：当前账户在智能体开发平台自定义创建的、且状态为 已上架 的智能体，支持与产品关联。智能体选择完成后，单击 确定 添加使用。

     

3. 开发 AI 硬件：完成设备端智能体选择后，进入第三步 03 硬件开发 开发硬件。

   基于 TuyaOS，涂鸦为开发者提供了 AI 硬件领域构建的 Wukong AI 硬件开发框架，您可以通过 Tuya Wind IDE 下载并开发自己的 AI 产品。

   若开发固件使用了带 AI 功能的 SDK，产品会自动附带 AI 标签并显示。

   

4. 配置设备端音频参数

   若设备支持音频功能且已完成智能体配置，则支持音频参数配置。添加设备端智能体后，单击 音频配置，通过选择 音频格式、音色 可以实现设备不同音色、语速等相关参数配置，配置完成后，单击 确定。

   

   

开发面板端智能体

1. 在 01 功能定义 > 产品 AI 功能 下，单击卡片 添加智能体。

   产品 AI 功能 仅在支持 AI 功能的方案中可见。如果您的产品开发页面没有该功能入口，则表示当前方案暂不支持产品 AI 功能。

2. 添加智能体

   本步骤同设备端智能体开发中添加智能体的方式，请参考 开发设备端智能体 >  添加智能体中的操作流程。

3. 面板副屏智能体投放

   选择面板端智能体，单击 管理投放 进入智能体投放的管理，配置完成后单击 确定。当开启面板副屏幕显示开关，即可进入面板直接使用智能体。

   

   

   扫码演示需要先完成产品面板配置。投放后效果如下图所示。

   

 关于智能 AI 副屏的详细配置流程，请参考如下步骤。 

设置智能 AI 副屏

智能 AI 副屏是一种独立于产品主界面的 AI 功能面板。用户可以通过 下拉 操作或单击主界面上的小浮窗，来使用 AI 副屏功能。您无需改动主界面，即可实现产品与 AI 能力的结合。

下文介绍如何配置 AI 面板副屏幕。

前提条件

您的产品需要至少拥有 1 个 AI Agent。如果您的产品下没有任何 AI Agent，请前往产品开发第一步 功能定义 > 产品 AI 能力，配置 AI Agent。

产品 AI 功能仅在支持 AI 能力的方案中可见。如果您的产品没有该功能入口，则表示当前方案不支持产品 AI 能力。

配置智能 AI 副屏

1. 选择 设备交互 > 面板控制，单击 智能 AI 副屏，配置 AI 智能体的交互内容，包括智能体排序、下拉引导文案、面板浮窗组件等。

2. 单击排序图标，支持拖拽智能体排序。

3. 单击 配置，跳转至智能体平台，进行智能体配置操作。

   基于 模版 创建的智能体，暂不支持修改 Prompt，仅支持修改基础配置，例如 UI 和图标等。

   

配置面板快捷组件

面板快捷组件以浮窗形式展示在面板首页，可以自定义设置投放在该组件的智能体。

单击开关，可调整显示设置。

保存及扫码体验

• 配置信息保存后，可以通过右侧预览图，查看配置效果。
• 也可以通过 App 扫码体验，进入面板查看配置效果。