A Survey on Video Diffusion Models

Abstract

人工智能生成内容（AIGC）浪潮在计算机视觉领域取得了巨大成功，其中扩散模型在这一成就中发挥了至关重要的作用。由于其令人印象深刻的生成能力，扩散模型正在逐渐取代基于 GAN 和自回归 Transformer 的方法，不仅在图像生成和编辑方面，而且在视频相关研究领域也展现出卓越的性能。然而，现有的调查主要集中在图像生成背景下的扩散模型，很少对其在视频领域的应用进行最新回顾。因此，本文对 AIGC 时代的视频扩散模型进行了全面回顾。具体来说，论文首先简要介绍扩散模型的基础知识和演变。随后概述了视频领域扩散模型的研究，将工作分为三个关键领域：视频生成、视频编辑和其他视频理解任务。最后，论文讨论了该领域研究面临的挑战，并概述了未来潜在的发展趋势。

这项工作的目标是通过对扩散模式的方法、实验设置、基准数据集和其他视频应用进行全面回顾来填补空白

Preliminary

本节首先介绍扩散模型的相关知识，然后回顾相关的研究领域。最后介绍了常用的数据集和评估指标。
目前关于扩散模型的研究主要基于三种主要公式：去噪扩散概率模型（DDPM），基于分数的生成模型（SGM）和随机微分方程（Score SDE）
DDPM：


SGM
关键思想是使用不同级别的噪声扰乱数据，并通过训练单个条件分数网络同时估计与所有噪声级别相对应的分数。