CVPR`25 | SOTA！首揭PCA解决长视频低质问题！FreePCA让长视频丝滑如电影！(中科大)

文章链接：https://arxiv.org/pdf/2505.01172
Git链接：https://github.com/JosephTiTan/FreePCA

亮点直击

• 首次揭示了PCA能够有效将视频特征解耦为一致的外观和运动强度特征，从而解决长视频生成中的不一致性和低质量问题。

• 提出了一种技术，从整个视频序列的全局特征中提取主成分空间中的一致性特征，并逐步将其整合到通过滑动窗口获得的局部特征中，从而在保证视频质量的同时确保一致性。

• 大量实验表明，本文的方法优于现有方法，达到了SOTA性能。此外，该方法无需额外训练即可应用于多种基础视频扩散模型。

总结速览

解决的问题

• 长视频生成的分布偏移问题：

  • 使用基于短视频训练的模型生成长视频时，由于帧数变化导致数据分布偏移，出现质量下降、物体缺失和运动缓慢等问题。

• 全局与局部信息难以有效融合：

  • 现有方法（如全局对齐或局部滑动窗口拼接）无法兼顾全局一致性和局部质量，导致视频出现运动不一致或视觉质量下降。

• 外观与运动耦合的挑战：

  • 视频中的外观和运动高度耦合，直接融合全局和局部特征会导致生成结果不协调。

提出的方案

• FreePCA框架：

  • 一种基于主成分分析（PCA）的无训练长视频生成范式，通过解耦外观一致性和运动强度特征，实现全局一致性与局部质量的互补融合。

• 核心步骤：
  • 一致性特征分解：

    • 利用PCA将全局和局部特征投影到主成分空间，通过余弦相似度划分一致外观特征（高相似度）和运动强度特征（低相似度）。

    • 用全局特征的平滑外观补充局部特征，提升一致性。

  • 渐进式融合：

    • 滑动窗口时逐步增加一致性特征的融合比例，平衡生成灵活性与过渡平滑性。

  • 噪声均值复用：

    • 复用初始噪声的均值统计量，进一步增强视频一致性。

应用的技术

• 主成分分析（PCA）：

  • 在时序维度对视频特征进行解耦，分离外观一致性和运动强度。

• 余弦相似度度量：

  • 用于量化全局与局部特征的相似性，划分主成分空间中的一致性特征。

• 渐进式特征融合：
  • <