超级会员免费看
本文介绍了VQGAN如何利用Transformer和卷积神经网络结合，实现高分辨率图像的合成。VQGAN通过卷积学习丰富的上下文编码本，Transformer则建模组合长距离交互。文章探讨了损失函数，包括重建、量化、对抗和Transformer损失，以及滑动注意力窗口在不同条件图像合成任务中的应用。此外，还提到了FID分数作为评估生成图像质量的指标。
欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/136055085
VQGAN: Taming Transformers for High-Resolution Image Synthesis, CVPR 2021
VQGAN: 改良 Transformer 模型以实现高清图像合成
源码：https://github.com/CompVis/taming-transformers
为了学习顺序数据的长距离交互，Transformers在各种任务上持续展现出最先进的结果。与卷积神经网络(CNNs)相比，Transformer不包含优先考虑局部交互的归纳偏置(Inductive Bias)。这使得Transformer具有表达能力，但也使得Transformer在处理长序列，例如高分辨率图像时，计算上不可行
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
