ITCFN: INCOMPLETE TRIPLE-MODAL CO-ATTENTION FUSION NETWORK FOR MILDCOGNITIVE IMPAIRMENT CONVERSION -CSDN博客

本文链接：https://blog.csdn.net/qq_55009448/article/details/147367008

论文下载地址：https://arxiv.org/pdf/2501.11276v1

源码下载地址：https://github.com/justinhxy/ITFC

一、主要内容

本文提出了一种创新的多模态方法来预测轻度认知障碍(MCI)转换，特别关注正电子发射断层扫描(PET)数据缺失的问题，并整合各种医学信息。提出的不完全三模态MCI转换预测网络就是为此目的量身定制的。通过缺失模态生成模块，本文综合了磁共振成像中缺失的PET数据，并使用专门设计的编码器提取特征。还开发了信道聚合模块和三模态共关注融合模块，以减少特征冗余，实现有效的多模态数据融合。此外，本文设计了一个损失函数来处理缺失的模态问题并对齐跨模态特征。这些组件共同利用多模态数据来提高网络性能。

二、提出背景

阿尔茨海默病(AD)是老年人常见的神经退行性疾病。早期预测和及时干预其前驱阶段，轻度认知障碍(MCI)，可以降低进展为AD的风险。综合各种模式的信息可以显著提高预测的准确性。然而，数据缺失和模态异质性等挑战使多模态学习方法复杂化，增加更多的模态会使这些问题恶化。目前的多模态融合技术往往不能适应医疗数据的复杂性，阻碍了识别模态之间关系的能力。

为了解决这些挑战，本文引入了不完全三模态共同注意融合网络(ITCFN)，专为预测轻度认知障碍（MCI）向阿尔茨海默病（AD）的转化而设计。首先，本文提出了缺失模态生成(Missing Modal Generation, MMG)模块来从MRI图像中合成缺失的PET图像。然后，使用专门的编码器提取从每种模态中学习到的特征。最后，将这些特征结合在一个定制的融合模块中，用于MCI转换预测。本研究的主要贡献如下:

•开发了一个MMG模块来合成缺失的PET图像，解决了多模态数据可用性问题。

•提出了一个ITCFN模型，该模型可以有效地学习和整合多模态PET和MRI成像数据与临床表格数据。

•设计了一个新的损失函数来解决数据不平衡问题，并在成像和非成像数据之间对齐特征表示。

三、模型介绍

1、整体架构

图 1 : ITCFN的整体架构。(a)描述网络流程，包括缺失多模态数据、特征提取、多模态融合和损失函数的解决方案。(b) MMG模块基于MRI生成缺失的PET数据。(c) TCAF模块促进多模式融合。

2、MMG模块（Missing Modal Generation Module）

对于缺少PET模态的受试者，本文引入MMG模块，通过交叉模态变换从MRI中获得PET图像。该模块采用简化的矢量量化生成对抗网络(VQGAN)，如图1(b)所示。首先，3D卷积编码器(CNN Encoder)处理MRI数据 $x$ 以获得向量 $\hat{z}$ 。然后使用码本 $Z$ 将 $\hat{z}$ 的每个编码位置与 $Z$ 中最近的代码进行匹配，从而得到变量 $z_{q}$ 。该中间特征 $\hat{z}$ 被离散化并编码如下:

进一步， $z_{q}$ 经过3D卷积解码器(CNN Decoder)解码，生成PET图像y，表示为:

通过引入矢量量化技术，可以有效降低生成过程中的不确定性，使生成的数据质量更加稳定。

为了优化MMG模块的训练，设计了一个混合损失函数，它集成了几个组件: $L_{1}$ 损失 $\pounds _{L_{1}}$ ，量化损失 $\pounds _{Qua}$ ，感知损失 $\pounds _{Per}$ 和对抗损失 $\pounds _{Adv}$ 。这些组件一起工作以增强生成的PET图像的局部真实感。所提出的混合损失函数表示为:

其中 $\pounds _{L_{1}}$ 、 $\pounds _{Qua}$ 、 $\pounds _{Per}$ 、 $\pounds _{Adv}$ 分别为各损耗分量的权重参数。

3、多模态特征处理（Multi-modal Feature Processing）

在这项工作中，本文设计了特定的编码器，以适应不同数据模式的独特特征和格式，将它们映射到一个共同的特征空间中，以实现有效的融合。对于MRI和PET数据，本文使用预训练的3D ResNet50作为视觉编码器提取深度特征，而临床数据通过自定义表编码器处理以增强特征表示。得到的高维特征通过16个注意头的多头自注意力机制机制进行加工，增强了融合过程的有效性，提高了模型的整体性能。

4、三模态共同注意力融合模块（Triple-modal Co-Attention Fusion Module）

三模态共同注意力融合(TCAF)模块的架构如图1(c)所示。模态特征通过线性层处理得到对应的 $K_{i}$ 和 $V_{i}$ ，而 $Q_{multi}$ 是通过将所有模态串联并通过线性层映射得到的。各模态的注意力得分计算公式如下:

其中 $d_{i}$ 是向量 $K_{i}$ 的维数。

为了充分整合MRI和PET的内在信息，本文采用交叉拼接的方法，再与临床特征拼接，得到最终的输出:

最后，本文使用预训练的1D DenseNet-121作为分类器。预训练参数提高了模型的收敛速度，减少了过拟合。

5、损失函数

为了减轻数据不平衡的影响，本文采用了焦点损失Lfocal，通过动态加权和类平衡来强调少数和难以分类的样本。还利用相似分布匹配(SDM)损失来改善MRI, PET和临床数据之间的特征对齐。每个模态对的SDM损失分别计算:用于磁共振成像（MRI）和表格的 $\pounds _{SDM}^{mt}$ 、用于正电子发射断层扫描（PET）和表格的 $\pounds _{SDM}^{pt}$ ，以及用于 MRI 和 PET 的 $\pounds _{SDM}^{mp}$ 。综合损失定义为:

总体损失函数。本文利用联合损失函数来优化整个网络，将特定任务的损失与多模态对齐损失相结合。该整体损失函数表示为加权和:

四、总结与展望

在这项研究中，本文提出了一种称为ITCFN的创新方法来预测MCI的转换。ITCFN方法结合了MRI、PET和临床特征，通过MMG模块有效地管理缺失的PET数据，并通过TCAF模块实现模态融合。与传统的单模态方法和其他多模态深度学习技术相比，该模型表现出优越的分类性能。通过烧蚀研究和对比分析，证实了MMG和TCAF模块的有效性。然而，本研究的方法有一定的局限性。目前，本研究只考虑基线MRI。结合纵向MRI数据可以更深入地了解疾病的进展。此外，本文的模型不包括遗传数据，这可能进一步提高其预测的准确性。