3D物体纹理与形状恢复技术解析

### 3D 物体纹理与形状恢复技术解析 #### 1. 引言 随着虚拟现实和增强现实技术的发展，对创建逼真且高保真的数字 3D 人体表示的需求日益增长。然而，由于人体的复杂性，包括身体部位之间的遮挡、不同的细节程度、形状变形和关节骨骼等因素，3D 扫描系统在捕捉人体形状时会存在一定缺陷。因此，对纹理化 3D 网格进行补全以增强 3D 采集效果变得至关重要。 #### 2. 现有方法概述 - **形状补全**： - **孔洞填充算法**：如 Davis 等人提出的方法，通过用连接可用表面边界的表面补丁填充缺失的形状区域。但该方法仅适用于相对于周围表面较小的孔洞和相对平滑的区域。 - **基于模板形状的方法**：Szeliski 等人通过变形简单的凸形状来表示人体解剖部位；Anguelov 等人学习人体姿势和形状的参数模型来规范完整 3D 人体形状的补全。不过，这类方法通常需要手动初始化。 - **使用体积卷积的方法**：一些工作使用体积卷积来补全部分 3D 形状，但由于 3D 卷积的高计算复杂度，可实现的分辨率有限，且在处理可变形形状（如人体或动物形状）时效果不佳。 - **基于隐式函数的方法**：Chibane 等人用隐式函数表示 3D 人体形状，该隐式函数由深度神经网络近似并从示例 3D 人体形状数据集中学习。但此方法不考虑纹理，且输出表面需通过后处理步骤（如 marching cube 算法）从隐式函数中恢复。 - **基于深度学习的方法**：许多工作使用编码器 - 解码器架构学习人体形状变形空间。输入形状由编码器编码为潜在表示，解码器使用该中间表示将基础人体网格从规范姿势和形状变形为特定姿势和身份。部分工作仅针对穿着紧身衣物的人体形状，而其他工作则针对穿着休闲衣物的人体形状，但这些工作均未处理纹理信息的补全问题。 - **纹理补全**：Deng 等人从非正面 2D 视图恢复面部的 3D 形状和颜色信息，将形状和纹理补全解耦。先将 3D 可变形模型（3DMM）拟合到图像，然后将可用颜色信息投影到模板网格的 UV 图上，最后对 UV 图进行修复以恢复缺失的颜色信息。但人体的拟合比面部更复杂，因为人体姿势变化更大且更非线性。 #### 3. 提出的方法 我们提出了 3DBooSTeR 方法，用于从纹理化的部分 3D 扫描中恢复纹理化的 3D 人体网格。该方法将形状和纹理补全解耦为两个顺序任务：形状补全和纹理补全。 ##### 3.1 3D 人体形状补全 3D 人体形状补全分两步进行： 1. **编码器 - 解码器网络预测**：编码器 - 解码器网络 f 将部分 3D 形状 Sp 映射到完整形状 ˆS。编码器 fe 将输入的部分形状转换为人体姿势和形状的潜在表示 z，解码器 fd 使用该潜在代码将模板人体网格 ST 变形为输入的姿势和形状，得到初步估计 ˆS0。 - **编码器架构**：编码器 fe 采用 PointNet 架构，输入为网格顶点集 V，依次应用点卷积。各层特征大小为 (3, 64, 128, 1024)，最后一层通过点的最大池化得到大小为 nz = 1024 的向量 z0，再通过两个