GAF-Net：提升遥感图像融合的全局自注意力方法

"这篇论文提出了一种新的遥感图像融合方法，称为全局注意力融合网络（GAF-Net），旨在提高融合性能。GAF-Net利用全局自注意力学习和改进的交叉注意力机制，解决了传统自注意力模型无法捕捉全局上下文以及交叉注意力可能导致模糊特征的问题。通过内部模态特征细化模块，该网络生成两个通道注意力掩码，利用全局空间和通道上下文。同时，通过模态特定分类的辅助任务来生成区分性的交叉注意力掩码，确保非冗余的特征融合。此外，GAF-Net还引入了惩罚机制，减少模态特定特征之间的高相关性。论文在多个遥感数据集上进行了广泛实验，验证了GAF-Net在遥感图像融合领域的优越性。" 遥感图像融合是一个关键的技术，它能结合不同传感器的数据，如光学、多光谱、高光谱、LiDAR和SAR，以提供更全面、更准确的信息。随着RS成像技术的进步，融合方法也在不断发展，从最初的特征提取和池化，到引入自注意力机制，再到GAF-Net提出的全局自注意力和交叉注意力结合。 全局自注意力是一种能够捕获输入序列全局依赖关系的机制，它在自然语言处理等领域已经展现出强大的性能。然而，在遥感图像融合中，由于传统的自注意力模型的感受野有限，无法充分利用全局信息。GAF-Net通过引入全局光谱-空间注意力学习，克服了这一限制，使得网络能够同时考虑全局空间和通道信息，生成更加精准的注意力掩码。 交叉注意力学习通常用于多模态融合，但它可能产生模糊特征，因为所有模态的特征提取器被一起训练，可能导致冗余特征。GAF-Net通过模态特定的分类辅助任务来优化交叉注意力，生成更具区分性的特征，这有助于提高融合的效率和效果。 此外，为了避免特征之间的冗余，GAF-Net引入了一个惩罚机制，以降低不同模态特征之间的高相关性。这样，网络能够学习到更加独立和非冗余的特征表示，进一步提升融合性能。 在实验部分，GAF-Net在多个遥感数据集上展示了其优越性，涵盖了各种不同的数据模态和应用场景。这证明了所提出的方法在处理复杂遥感数据时的有效性和泛化能力。 GAF-Net通过创新的全局自注意力和交叉注意力策略，以及特征非冗余性控制，为遥感图像融合提供了一种强大的新方法，有望推动该领域的进一步发展。