用Diffusion做超分

diffusion model是一种基于能量模型的生成式模型，可以通过迭代细化的过程从噪声中生成图像、音频、文本等数据²。diffusion model可以用于条件图像生成，也就是给定一个低分辨率或者不完整的图像，生成一个高分辨率或者完整的图像¹³。

目前，有一些论文和项目已经尝试了使用diffusion model来实现图像超分辨率，也就是从低分辨率图像生成高分辨率图像的任务。例如：

• SR3: Image Super-Resolution via Iterative Refinement¹：这是一篇2021年发表在ICLR上的论文，提出了一种通过迭代细化实现图像超分辨率的方法，受去噪扩散概率模型（DDPM）和去噪分数匹配（denoising score matching）的启发。该方法使用一个U-Net结构的网络，通过去噪目标进行训练，以迭代方式从输出中去除各种级别的噪声。该方法在不同放大系数下对人脸和自然图像超分辨率有效，在标准的8×面部超分辨率任务中，SR3的愚人率接近50%，优于FSRGAN和PULSE，后者的愚人率最高为34%。
• LDM-SR: Latent Diffusion Model for Image Super-Resolution⁴：这是一个基于latent diffusion model的图像超分辨率方案，和SR3的做法相似，但是直接将低分辨率图像和Latent space 噪声合并一起，输入到Unet，后面通过Decoder 4倍上采样，生成对应的超分辨率图像。相比SR3，在生成结果上取得更低的FID值，并且视觉效果上更自然细腻。
• Stable Diffusion 2.0⁵：这是一个开源项目，使用了一个高阶Diffusion模型，将图像分辨率提高了4倍。该项目还包括了其他应用场景，如Depth-to-Image、Image-to-Image等。

(1) Diffusion Models专栏文章汇总：入门与实战 - 知乎. https://zhuanlan.zhihu.com/p/566059899.
(2) SR3:Image Super-Resolution via Iterative Refinement - 知乎. https://zhuanlan.zhihu.com/p/444218616.
(3) 【达摩院OpenVI】AIGC技术在图像超分上的创新应用 … https://blog.csdn.net/sunbaigui/article/details/129275463.
(4) Stable Diffusion 2.0版本发布！超分辨率、Depth-to-Image等 … https://blog.csdn.net/BAAIBeijing/article/details/128030480.
(5) 【OpenVI-图像超分实战篇】别用GAN做超分了，快来试试 … https://developer.aliyun.com/article/1173669.