该文章介绍了一种新的图像修复方法，通过区域卷积（region-wise convolutions）针对缺失和已知区域分别处理，以及利用Non-Local Correlation捕获图像内的长距离相关性。网络分为粗略修复和细致修复两阶段，损失函数包括重构损失、相关损失和风格损失。该方法旨在提高图像修复的质量和真实性。
原文链接：Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation (IJCAI 2019). Ma, Y., Liu, X., Bai, S., Wang, L., He, D., & Liu, A. [Paper][Code]
本文创新点：
- 使用区域卷积（region-wise convolutions）对缺失区域和已知区域分别处理；
- 利用Non-Local Correlation操作，捕获图像内部patch之间的长距离相关性。
网络结构
网络分为两个部分粗略修复（stage1）和细致修复（stage2）。
其中，
是包含缺失区域的图像，
为二值掩码（缺失像素为0，其他为1），
为完整图像，E 为编码器，G 、D为解码器，
为生成的粗略预测图像，
是由
和
中生成的缺失区域合成得到的。
为生成的细致预测图像，
是由
和
中生成的缺失区域合成得到的。
region-wise convolution
对缺失区域和已知区域分别训练两个卷积滤波器对特征进行操作。
其中，W 为已知区域卷积滤波器权重，
为缺失区域卷积滤波器权重，b 和
为对应的偏差，X为特征图，x 为当前卷积窗口的特征。
Non-Local Correlation
该方法将一个位置的响应计算为输入特征图中所有位置特征的加权和，从而可以捕获图像内部patch之间的长距离相关性。Non-Local Correlation计算的是特征位置之间的关系。（garm矩阵计算的是特征通道之间的关系）
其中，Ψ为c*n 的特征图（n=h*w ）,i 为第i 列特征。
损失函数
重构损失（L1）：
Correlation Loss：
其中，σ为归一化。
风格损失：
其中，δp 为归一化因子。Φp 为cp*hp*wp 的特征图。
总体损失：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
