【TMM 2024】An Efficient Attribute-Preserving Framework for Face Swapping

一、前言

【Paper】 > 【Code】暂无 > 【Project】暂无
来自香港大学博士的一篇工作，专注于人脸属性的保留。

Abstract

背景问题：通过利用深度神经网络，最近的人脸交换技术在生成保持一致身份的人脸方面表现出色。然而，虽然这些方法能准确地转移源身份，但在保留目标人脸的重要属性（如头部姿势、表情和注视方向）方面却往往力不从心。因此，目前在这一领域的研究还没有取得令人满意的成果。
方法介绍：在本文中，我们提出了一种高效的属性保留框架，简称 AP-Swap，用于人脸交换。我们的方法包含两个创新模块，专门用于保留关键的面部属性。首先，我们提出了一个全局残余属性保留编码器（GRAPE），它能自适应地从目标人脸中提取全局完整的属性特征。其次，除了源面部图像和目标面部图像的常规网络流之外，我们还引入了一个考虑到目标面部地标的网络流。这个额外的网络流支持我们的地标引导特征纠缠模块（LFEM），该模块通过执行基于地标的属性保留（LBAP）操作，有效地保留了细粒度的面部属性。
实验：通过大量的定量和定性实验，我们证明了 AP-Swap 在面部属性保留和模型效率方面优于其他最先进的方法，同时还具有令人满意