qq_40731332的博客

DTLD整体结构为：CNN + Transformer-decoder。主要改进是针对decoder，包含四个部分：Query初始化方法，基于CNN的顶层特征接回归头，使用FC后的特征作为初始化；在Cross-attention前，增加self-attention；引入Deformable Attention，并将初始的reference point替换为CNN特征回归的粗结果；在decoder中，基于deformable attention机制，迭代更新feature map。

提出一种3D生成模型：用扩散模型自动生成3D数字虚拟人，并将其表征为neural radiance fields。该任务的主要问题在：生成高质量虚拟人，需要耗费大量时间和内存；本文提出roll-out diffusion network (Rodin)，该方法将neural radiance field表征为多个2D feature maps，并将这些特征层展开为一个2D特征平面，进一步在该特征平面中执行3D-aware diffusion。

研究如何基于单视角2D图片，通过无监督方法，生成高质量、多视角一致的3D形状；现有3D GAN存在问题：1）计算开销大；2）不具有3D一致性（3D-consistent）；本文提出：1）：提速、减小计算开销；2）：可以借助sota 2D GAN，例如：StyleGAN2。在FFHQ和AFHQ Cats的3D-aware synthesis任务上达到sota。

Heatmap-based方法是目前Face alignment中的主流方法，然而该类方法忽略了点位之间的内在关联；本文提出Sparse Local Patch Transformer (SLPT)，用于学习点位之间的内在关联；SLPT的主要步骤：1）基于局部块生成每个点位的特征表示；2）基于注意力机制学习这些点位的内在关联；3）小数坐标是基于聚合特征（aggregated feature）独立预测的。

FaRL，首个针对人脸任务的预训练大模型；提出：1）使用contrastive loss，从image-text对中学习high-level语义特征；2）使用masked image modeling，学习low-level信息。提出LAION-FACE数据集，包含大量的image-text对；实验验证：1）FaRL相较其他预训练大模型，在人脸下游任务上有更好的迁移效果；2）在face parsing和face alignment中超过sota方法。