Non-aligned Supervision for Real Image Dehazing

原文链接：https://www.semanticscholar.org/paper/Non-aligned-supervision-for-Real-Image-Dehazing-Fan-Guo/7595d39e71ae58343e8728fc1af0e18ffe38218b

数据集：https://www.cityscapes-dataset.com/

真实的图像去雾的非对准监督

摘要

由于天气条件的不可预测性，导致模糊图像和清晰图像对的不对齐，从真实世界图像中去除雾霾是一项挑战。本文提出了一种创新的去雾框架，该框架在非对齐监督下运行。该框架基于大气散射模型，由三个相互连接的网络组成：去雾，空气光和传输网络。特别地，我们探索了一种非对齐场景，即利用与输入模糊图像不对齐的清晰参考图像来监督去雾网络。为了实现这一点，我们提出了一种多尺度参考损失，它比较了参考图像和去雾输出之间的特征表示。我们的场景使得在现实环境中收集模糊/清晰图像对变得更容易，即使在未对准和移位视图的条件下。为了展示我们的场景的有效性，我们收集了一个新的模糊数据集，包括415个由移动的手机在农村和城市拍摄的图像对，称为“Phone-Hazy”。此外，我们引入了一个基于均值和方差的自注意网络来建模真实的无限空气光，使用暗通道先验作为位置指导。此外，一个通道注意力网络被用来估计三通道传输。实验结果表明，我们的框架优于现有的国家的最先进的技术在现实世界的图像去雾任务的上级性能。电话-Hazy和代码将在www.example.com上提供https://fanjunkai1.github.io/projectpage/NSDNet/index.html。

关键词：图像去雾，非对齐监控，真实的雾数据集，大气散射模型

1引言

模糊是捕获退化图像的主要限制因素（例如，有限的可见度，低对比度），导致许多计算机视觉应用的性能不佳，例如物体检测[8]，场景识别[9]，深度估计[10]，语义分割[11]和自动驾驶[12]。因此，图像去雾，在过去的十年里，从模糊输入中恢复清晰图像的方法受到了越来越多的关注[4，13-15]。模糊过程通常被建模为大气散射。

其中x表示像素位置，I（x）是输入模糊图像，J（x）是恢复的场景辐射，A∞是无限空气光，d（x）是透射图，d（x）和β（λ）表示场景深度和具有光的波长λ的散射系数，遵循大气散射模型，大多数深度学习方法[2，16-20]利用广泛采用的基于CNN的网络[21，22]来构建去雾、空气光、传输网络，以从输入的模糊图像I估计J、A∞和t，如等式（1）中所概述的。考虑到模糊和清晰图像对之间的关系，这些方法可以被广泛地分类为成对和非成对方法。然而，尽管这些方法有希望的结果，但是这些方法仍然遇到三个显著的挑战。

首先，大多数配对方法[5，23-25]采用监督设置内的对齐的模糊/清晰图像对来训练去雾网络，然后通过域自适应恢复真实的模糊图像。用于训练的对齐图像对通常是综合生成的，利用等式（1）中描述的大气散射模型将清晰图像转换为模糊图像。尽管如此，当应用于真实世界的模糊图像时，由于合成和真实模糊图像域之间的固有分歧，这产生了低于标准的结果，例如图1中的DAD模型（[5]）。此外，从真实世界的场景中收集大量完全对准的模糊/清晰图像对是不可行的。这主要是因为这些图像通常是在不同的时间、天气条件和相机视角下拍摄的，导致像素错位和视图偏移。

其次，未配对方法[2，3，6，16]依赖于未配对的清晰/模糊图像集来训练去雾网络。虽然收集未配对图像相对不复杂，但它们是从不同的分布或场景中绘制的。因此，训练变得具有挑战性，并且去雾结果受到影响，如RefineNet（[2]），CDD-GAN（[6]），和D4（[3]），如图1所示。

第三，上述方法通常假设空气光A∞为恒定值。然而，A∞由于实际场景中散射颗粒的大小和光波长的差异而变化（[26，27]）。因此，固定的A∞无法捕获这些变化，导致去雾效果不理想。

为了解决这些问题，我们开发了一个不结盟的监督框架，其中包括去雾，无限的空气光，和植根于大气散射模型的传输网络。

图 1：CVPRws 2021 [1] 和我们的 Phone-Hazy 对真实世界图像的去噪结果。与最先进的方法 RefineNet [2]、D4 [3]、PSD [4]、DAD [5]、CDD-GAN [6] 和 RIDCP [7] 相比，我们的方法能生成更清晰的结果。

一个重要的想法是利用非对齐的清晰图像来监督去雾网络。这样，与雾霾图像不完全对齐的清晰图像就可以用于训练，从而产生两个有价值的好处。与配对方法不同，我们的方法不仅放宽了严格的对齐限制，而且在更宽松的条件下更容易从同一场景中收集非对齐图像对。与非配对方法相比，我们的方法减少了朦胧图像和清晰图像分布之间的差异，使模型易于学习。此外，我们还引入了多尺度参考损失，将对抗损失和上下文损失相结合，利用多尺度非对齐图像对优化去毛刺网络。

另一种观点认为 A∞ 是一种非均匀映射。为了更有效地模拟朦胧图像中的 A∞，我们结合暗通道先验（DCP）[28] 和朦胧图像，提出了一种均值和方差自注意（mvSA）网络。mvSA 能够捕捉朦胧特征的平均值，并预测波长效应和散射粒子等因素引起的波动，从而突出朦胧特征。与 DCP 和传统的自我关注（SA）相比，我们的 mvSA 网络能更精确地限制无限气光的范围。总的来说，我们的贡献总结如下：

如图 2 所示，我们提出了一种新颖的非对齐监督框架，用于有效地对真实世界的图像进行去噪处理。通过将清晰的非对齐参考图像纳入去毛刺网络监督，我们有效地减轻了通常与朦胧/清晰图像对相关的严格对齐前提条件。据我们所知，我们是在真实世界场景中探索用于单幅图像去毛刺的非对齐监督的先驱。

图 2：以大气散射模型为基础的非对齐监督框架的整体流程，用于真实图像的去噪。该框架由以下重要部分组成：用于去毛刺图像 J 的生成器网络、用于气光图 A∞ 的 mvSA 网络和用于传输图 t 的信道关注网络。另一个重要部分是 mvSA 网络，通过使用真实场景中的暗通道先验来有效估计 A∞。请注意，我们的框架有别于传统的有监督去毛刺模型，因为它无需对齐地面实况即可运行。

我们提出了一种均值和方差自我注意网络（mvSA），它利用暗通道先验作为位置引导，以更好地模拟无限气流。我们的实验结果也证实了它的有效性。-

我们提供了一个真实世界的雾霾数据集，其中包括 415 对不对齐的雾霾/清晰图像对，这些图像是使用 iPhone XR 在不同的真实场景（即乡村和城市道路）中手动收集的。