多媒体与超媒体技术：原理、应用与发展

# 多媒体与超媒体技术：原理、应用与发展 ## 1. 超媒体与 Web 应用 ### 1.1 超媒体概述 超媒体系统或应用包含多种不同类型的媒体元素，并为终端用户提供导航功能。通常通过添加链接，使信息从一个片段跳转到下一个片段，这些片段常位于不同文档中。在后续讨论中，我们不区分多媒体和超媒体。 ### 1.2 Web 应用特点 Web 应用具有媒体集成和导航这一用户交互形式的特点。早期应用基于 HTML，局限于文本和图形，如今开发者可使用更先进的技术和功能，这些技术可能是为满足特定应用（如移动商务）需求而开发，也可能基于通用规范。 ### 1.3 Web 应用的问题层次 在 Web 应用中，面临以下三个问题层次： - 任意基本和聚合内容的适当表示。 - 在各种设备（用户代理）上向终端用户展示这些内容。 - 通过导航层实现灵活访问 Web 资源的模型。 ## 2. 多媒体组合维度 ### 2.1 空间组合 #### 2.1.1 虚拟深度 视觉媒体对象的空间组合对多媒体展示的外观至关重要。尽管计算机屏幕是二维的，但当一个媒体对象覆盖另一个时，会产生虚拟深度。空间定位有绝对定位和相对定位两种方式： - 绝对定位：以屏幕左上角为原点，通过坐标 (x, y) 确定对象位置。 - 相对定位：通过坐标差值确定对象位置，如 (x – 3, y + 1)。 #### 2.1.2 交互 用户交互会影响展示流程。视觉交互元素被定义并集成到多媒体展示中，使用交互对象会触发与之关联的动作。多媒体研究中的交互分为以下几类： - 缩放动作：改变展示的外观，如展示窗口的大小。 - 电影动作：改变展示的方向或速度，如开始、停止、前进、后退等。 - 选择：影响展示流程，用户可选择特定信息分支，在创作框架内的信息领域中选择个人路径。 由于交互对象是视觉的，它们占用空间，并受空间组合机制的影响。 ### 2.2 时间组合 #### 2.2.1 绝对和相对时间组合 动态或时间相关媒体对象的时间定位与空间组合类似，可分为绝对时间组合（通常相对于展示的起始点测量）和相对时间组合。 #### 2.2.2 时间关系 Allen 的时间演算中定义了七种时间关系：之前、相接、重叠、结束、期间、开始和相等。除相等外，每种关系都有逆关系。图 8.3 所示的时间线模型与 Allen 的时间演算具有相同的表达能力，二者可相互转换。 #### 2.2.3 基于区间和基于点的表示 将区间的起始点和结束点映射到时间轴并标记时间戳，可看出基于区间和基于点的时间表示是等价的，此时可用 Allen 演算表达时间方面的内容。 #### 2.2.4 同步 将时间相关媒体（如声音和视频序列）融入多媒体展示时，必须在展示时满足时间要求。同步机制可分为： - 媒体内同步：影响单个媒体对象。 - 媒体间同步：影响两个或多个媒体对象之间的关系。 - 粗粒度同步：处理一个或多个展示区间的起始和结束点。 - 细粒度同步：处理展示区间内的时间关系。 例如，对于视频序列及其对应的音轨，首先要控制两者的开始时间，其次要确保两条时间线的差异在可接受范围内。 ## 3. 视听信息的优势 从商业角度看，Web 应用受销售和营销目标（商业）以及学习/培训目标驱动。多媒体研究的一个领域是确定多媒体技术在多大程度上影响用户回忆信息的能力，包括媒体类型的组合和交互的作用。研究表明，结合视觉信息（如文本和图形）和音频信息（如口语和声音）可提高信息传输效率，加入交互元素效果更佳。这为将多媒体信息集成到 Web 环境中提供了额外动力。 ## 4. 多媒体数据模型 ### 4.1 数据模型和格式 多媒体/超媒体系统的所有功能依赖于合适的数据模型和对应格式。数据格式可分为以下几类： - 通用容器：如 ASN.1 或 Bento。 - 单一媒体格式：用于图形、视频等，如 JPEG 或 MPEG。 - 元语言。 - 基于面向对象的数据交换专用对象容器。 ### 4.2 MHEG 多媒体超媒体信息编码组（MHEG）的目标是定义结构信息，描述多媒体展示不同部分之间的相互关系。MHEG 格式定义了用于组合多媒体展示的面向对象模型，MH - Object 是 MHEG 类层次结构的根。MHEG 支持最