Facial Motion Capture 调研

sc0024

已于 2022-07-29 15:05:53 修改

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：论文笔记文章标签：深度学习计算机视觉人工智能

于 2022-07-25 18:15:21 首次发布

本文链接：https://blog.csdn.net/weixin_42108775/article/details/125971369

本文探讨了深度学习在面部动作捕捉领域的应用，包括基于深度学习的3D人脸重建、表情识别和实时面部跟踪技术。重点介绍了开源项目如Regressing Robust and Discriminative 3D Morphable Models、FacePoseNet和ExpNet，以及NVIDIA的实时面部表演捕捉框架。此外，还讨论了其他相关工作，如LSTM-Based Facial Performance Capture和实时高保真度面部表演捕捉技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开源

Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network（2017 CVPR）

众所周知，人脸的 3D 形状具有区分性。然而尽管如此，它们很少用于人脸识别并且总是在受控的观看条件下。我们声称这是现有单视图 3D 人脸重建方法中一个严重但经常被忽视的问题的症状：当“在野外”应用时，它们的 3D 估计要么不稳定，并且对于同一主题的不同照片会发生变化，要么它们是过度规范和通用。作为回应，我们描述了一种用于回归判别性 3D 可变形人脸模型 (3DMM) 的稳健方法。我们使用卷积神经网络 (CNN) 直接从输入照片回归 3DMM 形状和纹理参数。我们通过提供一种生成大量标记示例的方法来克服此目的所需的训练数据不足的问题。我们的 CNN 产生的 3D 估计超过了 MICC 数据集上最先进的准确性。结合 3D-3D 人脸匹配管道，我们在 LFW、YTF 和 IJB-A 基准上展示了第一个具有竞争力的人脸识别结果，使用 3D 人脸形状作为表示，而不是其他现代系统使用的不透明深度特征向量。

在这里插入图片描述
这个方法对于同一个人的不同角度输出可以稳定，但只重建长相，不重建表情。

开源：https://github.com/anhttran/3dmm_cnn

FacePoseNet: Making a case for landmark-free face alignment（2017）

我们展示了如何训练简单的卷积神经网络 (CNN) 以直接从图像强度中准确且稳健地回归 6 自由度 (6DoF) 3D 头部姿势。我们进一步解释了如何使用这个 FacePoseNet (FPN) 在 2D 和 3D 中对齐人脸，作为这些任务的显式面部标志检测的替代方案。我们声称，在许多情况下，在比较不同的人脸对齐方式时，测量地标检测器精度的标准方法可能会产生误导。相反，我们通过评估它们如何影响 IJB-A 和 IJB-B 基准上的人脸识别准确性来将我们的 FPN 与现有方法进行比较：使用相同的识别管道，但改变人脸对齐方法。我们的结果表明，（a）在 300W 基准上测量的更好的地标检测精度并不一定意味着更好的人脸识别精度。 (b) 我们的 FPN 在两个基准上都提供了出色的 2D 和 3D 人脸对齐。最后，©，FPN 以相对准确的地标检测器的一小部分计算成本对齐人脸。因此，出于许多目的，FPN 是一种比使用面部标志检测器更快、更准确的面部对齐方法。

任务是人脸对齐，那关键点坐标应该可以用来驱动avatar吧，所以也算相关？
在这里插入图片描述
开源：https://github.com/fengju514/Face-Pose-Net

ExpNet: Landmark-Free, Deep, 3D Facial Expressions", in the 13th IEEE Conference on Automatic Face and Gesture Recognition, 2018【可精读】

这前三篇都是同一个团队的工作，看起来很扎实。论文笔记：

最低0.47元/天解锁文章

200万优质内容无限畅学