CU-Net --图像融合

CU-Net

方法设计

论文提出 CU-Net 网络，基于多模态卷积稀疏编码（MCSC）模型，通过独特特征提取模块（UFEM）、共同特征保存模块（CFPM）和图像重建模块（IRM），分别提取源图像独特特征、保存共同特征并重建图像，实现多模态图像恢复和融合任务。

网络结构

输入

• 模态 I 图像（x）：作为待处理或恢复的图像数据，具有自身独特信息及与其他模态图像的共同信息。
• 模态 II 图像（y，引导图像）：为处理x提供辅助引导信息，在不同任务中作用方式有别。

独特特征提取模块（UFEM）

• 组成：由{u**k}预测网络和{v**k}预测网络构成。
• 原理：基于多模态卷积稀疏编码模型，在 MIR 或 MIF 任务中，不同模态图像既有共同特征也有独特特征。{u**k}预测网络针对模态 I 图像x ，通过一系列卷积操作（如Conv{aku} ），依据学习到的卷积稀疏编码（LCSC）算法迭代求解，提取x的独特特征u**k ；同理，{v**k}预测网络对模态 II 图像y ，经Conv{hkv}等操作，提取y的独特特征v**k ，分离出各模态图像独有的信息部分。

共同特征保存模块（CFPM）

• 功能：负责提取并保存不同模态图像间的共同特征。
• 实现过程：将处理后的x和y（来自 UFEM 模块处理结果 ）输入{c**k}预测网络，通过 LCSC 算法迭代优化，求解共同特征响应c**k ，再经Conv{gkc}卷积操作，得到可用于后续重建的共同特征表示，确保不同模态图像共有的结构、边缘等关键信息被保留。

图像重建模块（IRM）

• MIR 任务重建：将 UFEM 模块中{u**k}预测网络经Conv{gku}处理后的输出，与 CFPM 模块中Conv{gkc}处理后的共同特征输出相加，即利用x的独特特征和x、y的共同特征，重建目标图像z ，弥补x在恢复任务中的信息缺失。
• MIF 任务重建：除上述两个分支外，增加{v**k}预测网络经Conv{gkv}处理后的输出分支 ，综合x的独特特征、y的独特特征以及二者共同特征，融合生成目标图像z ，实现多模态图像信息的有效整合。

损失函数

在已知所有字典（滤波器）情况下，通过求解优化问题

计算特征响应。采用交替更新策略，分三步交替更新(u_{k}) 、(v_{k}) 、(c_{k}) ，但直接求解计算量大，故提出用深度学习方法，将更新过程转化为深度网络模块 。见上图：

采用学习到的卷积稀疏编码（LCSC）算法求解，得到迭代公式，将迭代过程展开形成网络架构，(v_{k})预测网络设计类似。

1.固定共同特征响应ck和引导图像y的独特响应vk，更新输入图像x的独特响应uk.

2.同理更新y的独特响应vk.

3.固定所有uk,vk去更新ck。

实验结果

​ 从网络架构的设计角度，说明其是从多模态卷积稀疏编码（MCSC）模型推导而来，每个模块（独特特征提取模块 UFEM、共同特征保存模块 CFPM、图像重建模块 IRM）都有明确的理论依据，具有良好的可解释性。与传统基于图像块的稀疏编码方法相比，CU - Net 在图像级别上对跨模态依赖关系进行建模，能够更好地捕捉不同模态图像之间的全局相关性。此外，还会提到网络架构的灵活性，如 UFEM 和 CFPM 模块中基于学习到的卷积稀疏编码（LCSC）算法的迭代过程，可根据任务需求调整 LCSC 块数量，以适应不同的任务和数据特点