SkelFormer：无标记3D姿态与形状估计

# SkelFormer：无标记3D姿态与形状估计 ## 1 引言 在无标记人体运动捕捉领域，SkelFormer是一种新颖的多阶段管道，由关键点估计器和骨骼变换器组成。它旨在解决多视图人体形状和姿态估计方法泛化能力差的问题，并在准确性上超越优化方法。本文将详细介绍SkelFormer的性能评估、消融研究以及对噪声和遮挡的鲁棒性。 ## 2 实验设置与评估指标 ### 2.1 实验数据集 - **Human3.6m数据集**：用于InD（In-Distribution）测试，大多数基准模型在多个数据集上预训练，并在该数据集的训练集上进行微调。 - **RICH数据集和MPI - INF - 3DHP数据集**：用于OoD（Out-of-Distribution）测试，评估模型在分布外数据上的性能。 - **AMASS数据集**：用于训练骨骼变换器，并在消融研究和鲁棒性测试中使用其运动捕捉数据。 ### 2.2 评估指标 - **MPJPE（Mean Per - Joint Position Error）**：平均每个关节的位置误差。 - **PA - MPJPE（Procrustes - Aligned Mean Per - Joint Position Error）**：经过Procrustes对齐后的平均每个关节的位置误差。 - **MPVPE（Mean Per - Vertex Position Error）**：平均每个顶点的位置误差。 - **PCK（Percentage of Correct Keypoints）**：正确关键点的百分比。 - **AUC（Area Under the Curve）**：曲线下面积。 ## 3 InD测试结果 ### 3.1 实验设置 使用在Human3.6m数据集上训练的关键点估计器CPN和LT，3D预测来自CPN（后续进行DLT三角测量）和LT，均按照标准评估协议进行训练。骨骼变换器在AMASS数据集上使用17关节配置进行训练。 ### 3.2 性能比较 | 方法 | MPJPE↓ | PA - MPJPE↓ | 输出 | | --- | --- | --- | --- | | CPN + DLT | 32.1 | 27.8 | 仅关节位置 | | LT | 20.7 | 17.0 | 仅关节位置 | | Pose2Mesh* | 29.0 | 23.0 | 仅网格 | | Huang et al. | 58.2 | 47.1 | 关节旋转 + 网格 | | Shin and Halilaj (SPIN4, cal) | 49.8 | 35.4 | 关节旋转 + 网格 | | Shin and Halilaj (main) | 46.9 | 32.5 | 关节旋转 + 网格 | | Gong et al. | 53.8 | 42.4 | 关节旋转 + 网格 | | Jiang et al. | 50.2 | 37.3 | 关节旋转 + 网格 | | Jia et al. | 33.0 | 26.9 | 关节旋转 + 网格 | | SMPLify - X (LT) | 26.3 | 21.2 | 关节旋转 + 网格 | | SkelFormer (CPN) | 33.5 | 27.8 | 关节旋转 + 网格 | | SkelFormer (LT) | 25.2 | 20.6 | 关节旋转 + 网格 | 从表中可以看出，SkelFormer的性能表现出色： - 优于最佳回归模型Jia et al.。 - 超越了多视图2D关键点、3D关键点的优化解决方案以及SMPLify - X (LT)。 - 尽管未使用3D地面真值信息，但仍优于依赖该信息的Pose2Mesh。 - 与仅预测关节位置的LT和CPN + DLT性能最为接近。 ### 3.3 可视化比较 通过与伪地面真值的可视化比较，展示了SkelFormer在人体姿态和形状估计上的真实性和准确性，特别是在脚部和手部区域有明显改进。 ## 4 OoD测试结果 ### 4.1 实验设置 使用未在RICH或MPI - INF - 3DHP数据集上训练的HRNet - W48 + Dark作为关键点提取器，并且整个管道保持冻结，不进行微调。 ### 4.2 性能比较 #### RICH数据集 | 方法 | MPVPE↓ | MPJPE↓ | PA - MPJPE↓ | PCK↑ | AUC↑ | OoD | | --- | --- | --- | --- | --- | --- | --- | | METRO | 134.5 | 129.6 | – | – | – | ✓ | | METRO | 107