多模态界面：人机交互的新方向

# 多模态界面：人机交互的新方向 ## 1. 多模态系统概述 多模态系统能够协调处理两种或更多用户输入模式，如语音、笔输入、触摸、手动手势、凝视以及头部和身体动作等，并与多媒体系统输出相配合。这一领域代表了计算领域的新方向，是对传统WIMP界面的一次范式转变。自1980年Bolt的“Put That There”演示系统出现以来，各种新型多模态系统不断涌现。这些新界面旨在识别自然发生的人类语言和行为形式，至少包含一种基于识别的技术，如语音、笔输入或视觉识别。 多模态界面设计日益受到关注，主要是因为它能够支持更透明、灵活、高效且富有表现力的人机交互方式。与传统的键盘 - 鼠标界面或单模态识别界面相比，多模态界面具有诸多优势，例如： - **易用性**：更易于学习和使用，受到众多用户的青睐。 - **应用拓展**：有潜力将计算应用拓展到更具挑战性的领域，供更广泛的人群使用，并能适应更恶劣的使用环境。 - **稳定性**：比单模态识别系统（如仅基于语音、笔输入或视觉的系统）更稳定、更可靠。 未来，多模态界面有望实现更接近人类感官感知的功能，能够解释来自多种视觉、听觉和触觉输入模式的连续输入，并根据用户、任务和使用环境进行智能自适应调整。 ## 2. 多模态界面的类型、历史与现状 ### 2.1 发展历程 过去十年间，多模态系统发展迅速，在构建更通用、更强大的系统以及更透明的人机界面方面取得了稳步进展。硬件和软件的重大发展为多模态系统的关键组件技术提供了支持，同时也改进了并行输入流的集成技术。 ### 2.2 类型与应用 多模态系统的类型不断丰富，包括语音与笔输入、语音与唇部动作、语音与手动手势、凝视跟踪与手动输入等多种组合。其应用领域也得到了极大的拓展，涵盖了移动和车载多模态地图系统、多模态浏览器、虚拟现实系统的多模态界面、用于安全目的的多模态身份识别/验证系统、多模态医疗、教育、军事和基于网络的交易系统，以及手持设备和手机上的多模态个人信息访问和管理系统等。 ### 2.3 典型系统举例 - **早期系统**：早期的多模态系统主要支持语音输入与标准键盘和鼠标界面的结合，如CUBRICON、Georal、Galaxy、XTRA、Shoptalk和Miltalk等。这些系统在处理复杂视觉和信息提取时，为用户提供了更丰富的自然语言处理能力。 - **近期系统**：近期的多模态系统逐渐摆脱了简单的鼠标或触摸板点击操作，开始基于两个能够传达丰富语义信息的并行输入流进行设计。其中，语音与笔输入、语音与唇部动作的组合是多模态研究中最为成熟的两个领域。例如，QuickSet系统是一个基于代理的协作式多模态系统，用户可以通过语音和笔输入在地图上设置飞机跑道的数量、长度和方向。 |系统名称|功能特点|架构特征| | ---- | ---- | ---- | |QuickSet|基于代理的协作式多模态系统，运行于手持PC，可通过语音和笔输入在地图上设置飞机跑道|统计排名统一过程和混合符号/统计架构| |Human - centric Word Processor|支持多模态交互的文字处理器|基于框架的信息融合和后期语义融合方法| |Portable Voice Assistant|具备语音和笔输入功能，还可进行手写识别|基于框架的信息融合和后期语义融合方法| |QuickDoc|多模态文档处理系统|基于框架的信息融合和后期语义融合方法| |MVIEWS|多模态视频分析工具|基于框架的信息融合和后期语义融合方法| ## 3. 多模态界面设计的目标与优势 ### 3.1 输入模式的灵活性 多模态界面允许用户灵活选择输入模式，根据不同的情况和需求，选择合适的模态来传达信息，或者同时使用多种输入模式，也可以随时在不同模式之间进行切换。这种灵活性使得多模态界面能够适应不同用户的能力和偏好，以及不同的任务和环境。 ### 3.2 适应多样化用户群体 由于用户在使用不同通信模式的能力和偏好上存在很大差异，多模态界面能够满足多样化用户群体的需求，包括不同年龄、技能水平、母语背景、认知风格、感官障碍以及其他临时疾病或永久性残疾的用户。例如，视障用户或患有重复性压力损伤的用户可能更喜欢语音输入和文本转语音输出；而听力障碍或带有口音的用户可能更倾向于触摸、手势或笔输入。 ### 3.3 适应移动使用环境 多模态界面具有很强的适应性，能够适应移动使用环境的不断变化。在移动场景中，用户可能会因为环境的变化而无法使用某种特定的输入模式，例如在车载应用中，用户可能经常无法使用手动或凝视输入，但语音输入相对更方便。多模态界面允许用户根据环境变化灵活切换输入模式。 ### 3.4 用户偏好与效率提升 大量数据表明，多模态界面在模拟或真实的计算机系统交互中，能够满足用户更高的偏好需求。在各种应用领域中，用户普遍更倾向于使用多模态交互方式，尤其是在空间领域。此外，多模态界面在某些情况下还能提高用户的交互效率，例如在处理图形信息时，多模态交互可以比单模态输入更快地完成任务。 ### 3.5 卓越的错误处理能力 多模态界面在错误处理方面表现出色，既能够避免错误的发生，又能够在出现错误时进行优雅的恢复。用户可以根据具体的词汇内容选择更不容易出错的输入模式，从而避免错误；同时，在系统识别错误后，用户通常会切换输入模式，以促进错误的解决。此外，设计良好的多模态架构可以实现输入信号的相互消歧，提高系统的整体稳定性和可靠性。 ### 3.6 减轻认知负荷 随着任务复杂度的增加，用户可以通过多模态界面将信息分布在多个模态上，从而自我管理工作记忆的限制，提高任务执行的效率。这一优势基于Wickens等人的认知资源理论和Baddeley的工作记忆理论，多模态界面的固有灵活性使其非常适合应对现实移动使用中高且不断变化的认知负荷。 ## 4. 多模态界面的设计方法 ### 4.1 认知科学的指导 认知科学在多模态界面设计中发挥着至关重要的作用。关于感官间感知和生产过程中模态间协调的研究，为用户建模提供了基础信息，也为系统需要识别的内容以及多模态架构的组织方式提供了指导。例如，研究揭示了人类唇部和面部动作与语音输出的自然整合模式，以及手动或基于笔的手势与语音的协调使用模式。 ### 4.2 高保真自动模拟 高保真自动模拟是设计新型多模态系统的关键方法。在系统规划阶段，首先使用设计草图和低保真模型来可视化新系统，并规划人机交互的顺序流程。然后，将这些初步设计快速转换为高保真模拟系统，用于与目标用户群体进行主动和情境化的数据收集。高保真模拟具有以下优点： - **易于调整**：与构建和迭代完整系统相比，模拟相对容易且成本较低。 - **可扩展性**：允许研究人员对系统的特性进行重大更改，如输入和输出模式的选择，并系统地研究不同界面特征的影响。 - **研究优势**：能够提供更广泛、更有原则的视角，帮助研究人员评估新兴技术的潜力，并在设计更易用的多模态系统时做出决策。 ### 4.3 未来所需的基础设施 为了支持多模态系统的进一步发展和商业化，未来还需要以下基础设施： - **模拟工具**：用于快速构建和重新配置多模态界面。 - **自动化工具**：用于收集和分析多模态语料库。 - **迭代工具**：用于迭代改进新的多模态系统的性能。 ## 5. 多模态界面设计的认知科学基础 ### 5.1 用户何时进行多模态交互 在自然的人际交流中，人们总是以多模态的方式进行交互。但在人机交互中，用户是否选择多模态交互取决于具体的多模态界面类型。在语音和笔输入的多模态系统中，用户通常会混合使用单模态和多模态表达。研究表明，用户在描述物体的空间信息（如位置、数量、大小、方向或形状）时，更倾向于使用多模态命令；而在执行没有空间成分的一般操作（如打印地图）时，使用多模态表达的比例较低。此外，随着任务难度和沟通