【AAAI2024】RVQCNIR: Clearer Night Image Restoration with Vector-Quantized Codebook-CSDN博客

本文链接：https://blog.csdn.net/gaopursuit/article/details/136984538

本文探讨了使用VQ编码的先验知识改进夜间图像恢复方法，提出AIEM和DBCA模块。AIEM通过通道相关性和动态卷积增强光照一致性，而DBCA则整合纹理和结构信息以提升细节和结构保真度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这个论文引入 VQGAN 的思想进行图像修复。作者认为，现有的夜间图像恢复方法效果不好是因为缺乏稳定和可靠的先验知识。为了解决这个问题，论文引入了向量量化（VQ）代码簿作为一个可靠和高质量的外部特征库，为纯数据驱动的图像恢复提供高质量先验。

同时，做了两个改进，提出了自适应光照增强模块（AIEM）和可变形双向交叉注意力（DBCA）模块来确保细节和光照的真实恢复。AIEM利用特征之间的通道相关性来动态维持退化特征与高质量代码特征之间的光照一致性。DBCA模块通过双向交叉注意力和可变形卷积有效地整合纹理和结构信息，从而在并行解码器中增强细节和结构保真度。论文的整体架构如下图所示。
在这里插入图片描述

1、AIEM（Adaptive Illumination Enhancement Module）

AIEM 包括两个部分：Hierarchical Information Extraction (HIE) 和 Illumination Mutual Attention Enhancement (IMAE)。HIE使用三个并行的 LKA、SG、CA进行特征提取（SimpleGate对空间不变特征应用非线性激活，第二个算子是channel attention来调节特征通道，第三个是large kernel attention来处理空间特征）

在这里插入图片描述
IMA 的研究动机是使用特征通道之间的依赖关系来估计曲线参数，从而调整特征的照度。如下图所示，特征分为S个分支，然后每个分支是3个卷积的串联。作者使用了动态卷积的思路，给这3个卷积核分配权重。