⭐CVPR 顶会论文｜视频风格迁移与生成新标杆 StyleMaster-CSDN博客

本文链接：https://blog.csdn.net/qq_25601345/article/details/149857869

📄论文题目：StyleMaster: Stylize Your Video with Artistic Generation and Translation
✍️作者及机构：Zixuan Ye¹†、Huijuan Huang²*、Xintao Wang²、Pengfei Wan²、Di Zhang²、Wenhan Luo¹*（¹ 香港科技大学 ² 快手科技）
在这里插入图片描述
🧩面临问题：现有视频风格控制方法存在三大痛点，一是生成视频与给定风格偏差较大；二是易出现内容泄露问题；三是难以将视频迁移至目标风格。同时，现有方法在风格提取时重全局轻局部纹理，且图像到视频的迁移存在鸿沟，导致风格一致性和时间连贯性不佳123。
🎯创新点及其具体研究方法：
1️⃣ 新型风格提取模块：通过局部补丁选择克服风格迁移中的内容泄露，基于提示 - 补丁相似度过滤内容相关补丁，保留风格补丁以携带纹理信息；同时利用全局投影提取强风格线索，在 CLIP 图像嵌入后添加 MLP 层作为投影模块，结合对比学习将图像嵌入转化为全局风格表示4810。
2️⃣ 模型幻觉生成风格配对数据集：利用模型幻觉特性生成像素重排的配对图像，确保配对图像内容不同但风格绝对一致，以近乎零成本生成无限量风格配对数据，助力对比学习实现精准的风格 - 内容解耦579。
3️⃣ 运动适配器与灰阶 Tile ControlNet：采用运动适配器，在静止视频上训练，推理时通过调整适配器比例增强动态质量和风格程度；设计灰阶 Tile ControlNet 作为内容引导机制，去除彩色信息避免干扰风格迁移，实现精准内容控制，使 StyleMaster 在视频生成和风格迁移任务中均能生成高质量风格视频6111213。# 论文精读 #视频风格迁移 #计算机视觉 #深度学习 #风格生成 #顶会论文 #视频生成技术
在这里插入图片描述