实时神经网络布料变形：利用紧凑潜空间和潜向量预测器

### 实时神经网络布料变形：利用紧凑潜空间和潜向量预测器 #### 1. 引言 在游戏、特效、远程呈现和VR环境等众多应用中，对虚拟角色的服装进行建模、合成和渲染是一项关键任务。传统的物理模拟方法虽然能取得不错的效果，但在性能、稳定性和可控性方面存在显著局限。 现代视频游戏包含众多复杂的图形和动画组件，且计算资源有限，同时有大量的角色、服装类型、配饰和动作类型等资产。因此，面向游戏的服装合成方法不仅需要高质量的结果，还需要高性能和高度的泛化能力，以适应游戏中大量的资产。 目前游戏中常用的方法是在标准姿势下预测模板服装的位移，然后结合混合形状和线性混合蒙皮（LBS）来驱动布料变形。然而，这种基于姿势的变形方法在正确表现宽松服装和布料的动态行为方面存在困难，因为它们没有经过真实物理模拟的监督。HOOD方法试图通过在顶点级别使用直接物理监督来学习复杂的布料变形，从而解决这些问题，但它速度太慢，不适合用于视频游戏。 本文提出了一种专门为游戏需求设计的服装合成方法。该方法结合了混合形状和LBS方法，能够实时产生逼真的布料变形。主要有两个关键思路：一是将从强大但较慢的方法（如HOOD）中获得的每个顶点的特征向量提炼为每个服装的紧凑潜空间，该空间可以被高效解码；二是创建一个快速的潜预测器，用于计算变形下一帧的潜代码。 #### 2. 相关工作 在过去十年中，深度学习方法在计算机图形和动画等多个学术领域得到了广泛应用。基于神经网络的服装合成方法大致可分为基于姿势的方法，这些方法的预测基于身体姿势，神经网络的输出是模板服装的位移和/或编码为混合形状的变形。 以下是一些相关方法的介绍： | 方法 | 特点 | 局限性 | | ---- | ---- | ---- | | TailorNet | 一种监督方法，通过分离低频和高频服装变形来避免神经网络输出过于平滑的问题 | 无 | | SNUG | 以自监督的方式学习动态服装变形的位移，无需模拟数据进行训练 | 无 | | Swish | 准静态服装变形器，输出PCA权重用于重建位移 | 仅限于紧身服装，未考虑布料动态 | | Zhang等的方法 | 学习合理服装几何形状的生成空间，捕捉与运动相关的动态变形 | 无 | | SMPLicit | 能够表示身体姿势、形状和服装几何形状的生成模型 | 无 | | PBNS | 使用自监督学习方法学习服装变形 | 无 | | NCS | 利用编码器 - 解码器神经网络架构分离静态和动态布料