研一下第五周论文阅读情况

一、《Automatic segmentation of trabecular and cortical compartments in HR‑pQCT images using an embedding‑predicting U‑Net and morphological post‑processing》

1、Abstract：

高分辨率外周定量计算机断层扫描(HR-pQCT)是一种新兴的骨微结构定量体内成像方式。然而，从HR-pQCT图像中提取定量的微建筑参数需要对图像进行精确的分割。目前使用半自动轮廓进行HR-pQCT图像分割的标准方案是费力的，在研究数据中引入了操作员之间的偏差，并对简化的临床实施构成了障碍。在这项工作中，我们提出并验证了一种全自动的HR-pQCT半径和胫骨图像分割算法。多切片二维U-Net产生初始分割预测，通过一系列传统形态学图像滤波器进行后处理。U-Net在一个大型数据集上进行训练，该数据集包含来自896个独特参与者的1822张图像。在包含190个不同参与者的386张图像的不相交数据集上，将预测分割与参考分割进行比较，并使用156对重复图像来比较新方案和现有方案的精度。预测分割得到的形态学参数与标准品的一致性较好(R2在0.938 ~ > 0.999之间)。几个输出的精度显著提高，最显著的是皮质孔隙度。这种新颖而稳健的自动分割算法将增加在研究和临床环境中使用HR-pQCT的可行性。

本研究的目的是开发和评估一种完全自动化的端到端算法，以取代目前标准的半自动方法，用于分割HR-pQCT胫骨远端和桡骨图像。该方案将改进的U-Net分割模型与形态学后处理算法相结合，该算法专为HR-pQCT桡骨和胫骨图像的分割任务而设计，为定量形态学分析做准备。HR-pQCT图像分析的强大自动化将激励HR-pQCT技术在骨密度测定研究界的广泛采用，并使HR-pQCT的临床应用变得可行

                                        利用胫骨远端图像可视化后处理程序示意图。

上面一行显示输入，下面一行显示输出。块箭头对应的是复合形态学滤波操作:灰色-掩模被简单复制，红色-迭代二值分割滤波，粉红色-最小皮质壳滤波，蓝色形态学骨掩模滤波，黄色-减(过滤后的骨掩模减去过滤后的小梁掩模)。当多个箭头汇聚在相同的输出掩码上时，这表明输出是组合的(联合)。

2、Conclusion：

我们提出并验证了一种新的、全自动的HR-pQCT远端桡骨和胫骨图像语义分割算法。该算法不需要人工输入或监督，与目前的黄金标准半自动化方法相比，它更快、同样准确、同样精确或更精确。

在目前的形式下，它可以无缝集成到HR-pQCT的标准工作流程中，用于桡骨和胫骨图像的形态测量分析。未来的工作将集中在将这种方法翻译到其他扫描站点上

3、Result：

二、《 Integrative Graph-Transformer Framework for Histopathology Whole Slide Image Representation and Classification》

1、Abstract：

在数字病理学中，多实例学习（MIL）策略被广泛用于弱监督组织病理学全载玻片图像（WSI）分类任务，其中千兆像素WSI仅在载玻片级别标记。然而，现有的基于注意力的MIL方法往往忽略了上下文信息和相邻组织块之间的内在空间关系，而基于图的MIL框架具有有限的能力来识别长距离依赖性。在本文中，我们介绍了综合图形transformer框架，同时捕捉上下文感知的关系功能和全球WSI表示通过一个新的图形transformer集成（GTI）块。具体来说，每个GTI块由一个在局部实例级别建模相邻关系的图卷积网络（GCN）层和一个从广泛的特征嵌入中捕获全面全局信息的高效全局注意力模型组成。在三个公开的WSI数据集上进行的广泛实验：TCGA-NSCLC，TCGA-RCC和BRIGHT，证明了我们的方法优于当前最先进的MIL方法，准确率提高了1.0%至2.6%，AUROC提高了0.7%-1.6%。

2、Conclusion：

在这篇论文中，我们介绍了一个全新的集成图-变换器框架，即IGT（Integrative Graph-Transformer），它同时捕获来自局部组织区域的上下文感知关系特征以及跨实例嵌入的全局WSI（全切片图像）表示，用于组织病理学WSI分类。我们将图卷积网络与全局注意力模块相结合，构建了图-变换器集成块。具体来说，图卷积网络探索了局部邻域间的交互作用，而多头自注意力模型则捕获了来自所有实例的长距离依赖关系。所开发框架的有效性在三个公开的WSI数据集上得到了体现。与多种最先进的方法相比，我们的方法始终展现出优越的性能，这表明它具有支持计算组织病理学分析的巨大潜力。

3、Result：

三、《Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding》

from：CVPR 2024

1、Abstract：

Segment Anything Model（SAM）因其通用的分割能力和直观的基于数据库的界面而备受关注。然而，它在医学成像中的应用带来了挑战，需要大量的训练成本和广泛的医学数据集来进行完整的模型微调，或者需要高质量的提示来实现最佳性能。本文介绍H-SAM：- SAM的无干扰适应，其被定制用于经由两阶段分层解码过程对医学图像进行有效微调。在初始阶段，H-SAM采用SAM的原始解码器来生成先验概率掩码，从而在第二阶段指导更复杂的解码过程。具体来说，我们提出了两个关键的设计：1）一个类平衡的，掩码引导的自注意机制，解决不平衡的标签分布，增强图像嵌入; 2）一个可学习的掩码交叉注意机制，空间调制不同图像区域之间的相互作用的基础上，先验掩码。此外，H-SAM中包含的分层像素解码器增强了其捕获细粒度和局部细节的能力。这种方法使SAM能够有效地整合学习的医学先验知识，促进对有限样本的医学图像分割的增强适应。我们的H-SAM证明了平均Dice的4.78%的改善相比，现有的无毛刺SAM变体的多器官分割使用仅10%的2D切片。值得注意的是，在不使用任何未标记数据的情况下，H-SAM甚至优于依赖于各种医疗数据集的大量未标记训练数据的最先进的半监督模型。我们的代码可在下面网址上获得。

https://github.com/Cccccczh404/H-SAM

2、Conclusion：

我们提出了H-SAM，这是一个简单而高效的层次化掩码解码器，用于将“分割万物”模型（Segment Anything Model）适应于医学图像分割任务。H-SAM使用默认解码器生成的概率图作为先验，以指导序列解码单元中更精细的医学图像分割。我们的H-SAM为SAM的适应提供了一个新的方向。值得注意的是，H-SAM在不依赖任何未标记数据的情况下取得了优异的性能，甚至超过了使用大量未标记数据集的各种医学成像上下文中的最先进半监督模型。这突显了H-SAM在推进医学图像分割领域的显著潜力，为医学图像分割提供了一个稳健、高效且数据经济的解决方案。

3、Result：

四、《Language Models are Free Boosters for Biomedical Imaging Tasks》

1、Abstract：

在这项研究中，我们发现了基于残差的大型语言模型（LLM）作为生物医学成像任务编码器的一部分的意想不到的功效，这是一个传统上缺乏语言或文本数据的领域。该方法通过利用从预先训练的LLM中提取的冻结的Transformer块作为用于直接处理视觉令牌的创新编码器层，而与已建立的方法不同。这一策略与标准的多模态视觉语言框架有很大的不同，后者通常依赖于语言驱动的提示和输入。我们发现，这些LLM可以提高一系列生物医学成像应用的性能，包括2D和3D视觉分类任务，作为即插即用的助推器。更有趣的是，作为副产品，我们发现所提出的框架实现了卓越的性能，在MedMNIST-2D和3D中的广泛标准化数据集上设置了新的最先进的结果。通过这项工作，我们的目标是为在生物医学成像中使用LLM开辟新的途径，并丰富对其在这一专业领域潜力的理解。

2、Conclusion：

在这项研究中，我们探索了基于残差的大型语言模型（通常与文本处理相关）作为生物医学成像任务编码器的独特潜力。这一创新应用标志着它们从传统的以文本为中心的角色中发生了重大转变。通过将预训练大型语言模型中的冻结转换器块集成到视觉编码器中作为免费增强器，我们发现在各种2D和3D生物医学成像任务中性能得到了持续的提升。这些发现扩大了大型语言模型的应用范围，表明它们的用途远不止于语言处理。我们的研究旨在激发对这一新兴领域的进一步探索，特别是在弥合视觉和语言之间的模态差距，以及在生物医学成像领域充分利用大型语言模型的全部潜力方面。

3、Result：

五、《VoCo: A Simple-yet-Effective Volume Contrastive Learning Framework for 3D Medical Image Analysis》

from：CVPR 2024

1、Abstract：

自监督学习（SSL）在3D医学图像分析中已经显示出令人瞩目的结果。然而，预训练阶段缺乏高级语义信息仍然严重阻碍了下游任务的表现。我们观察到，3D医学图像包含相对一致的上下文位置信息，即不同器官之间一致的几何关系，这为我们在预训练阶段学习一致的语义表示提供了一种潜在的方法。在本文中，我们提出了一个简单但有效的“Volume Contrast”（VoCo）框架，以利用上下文位置先验进行预训练。具体来说，我们首先从不同区域生成一组基础裁剪，同时确保它们之间的特征差异，我们将它们用作不同区域的类别分配。然后，我们随机裁剪子体积，并预测它们属于哪个类别（位于哪个区域），这可以通过对比它们与不同基础裁剪的相似度来实现，这可以看作是预测不同子体积的上下文位置。通过这一前置任务，VoCo将上下文位置先验隐式地编码到模型表示中，无需注释的指导，从而有效地提高了需要高级语义的下游任务的表现。我们在六个下游任务上进行了广泛的实验，证明了VoCo的卓越有效性。代码将在https://github.com/Luffy03/VoCo上公开。

2、Conclusion：

在这篇论文中，我们开发了一个简单但有效的自监督学习（SSL）框架VoCo，用于3D医学图像分析。鉴于观察到3D医学图像中不同器官之间存在相对一致的上下文位置关系，我们提出利用这些上下文位置先验在预训练阶段学习一致的语义表示。具体来说，我们从输入体积的不同位置裁剪体积，并将它们作为一组基础，以代表不同方向上的特征。然后，我们通过对比随机裁剪的体积与不同基础之间的相似性，来预测其上下文位置。通过这种方式，VoCo有效地将上下文位置先验编码到模型表示中，使我们能够显著提高需要高级语义的下游任务的表现。广泛的实验表明，我们提出的VoCo在六个下游数据集上实现了优越的性能。

3、Result：

六、《Feature Re-Embedding: Towards Foundation Model-Level Performance in Computational Pathology》

from：CVPR 2024

1、Abstract：

多重实例学习（MIL）是计算病理学中最广泛使用的框架，涵盖了亚型分类、诊断、预后等多个方面。然而，现有的MIL范式通常需要一个离线的实例特征提取器，比如预训练的ResNet或基础模型。这种方法缺乏在特定下游任务中进行特征微调的能力，从而限制了其适应性和性能。为了解决这个问题，我们提出了一个重新嵌入区域转换器（R2T），用于在线重新嵌入实例特征，它能够捕获细粒度的局部特征并在不同区域之间建立联系。

与现有工作主要关注预训练强大的特征提取器或设计复杂的实例聚合器不同，R2T专门用于在线重新嵌入实例特征。它作为一个可移植的模块，可以无缝集成到主流的MIL模型中。在常见的计算病理学任务上的广泛实验结果表明：

1）特征重新嵌入将基于ResNet-50特征的MIL模型性能提升到了基础模型特征的水平，并进一步增强了基础模型特征的性能；
2）R2T可以为各种MIL模型引入更显著的性能提升；
3）R2T-MIL，作为R2T增强的AB-MIL，在性能上大幅超越了其他最新方法。

代码已公开在：https://github.com/DearCaat/RRT-MIL。

2、Conclusion：

在这项工作中，我们展示了在多重实例学习（MIL）基础上的计算病理学算法中，实例特征重新嵌入的重要性，从而缓解了传统MIL范式中实例特征学习不足的问题。我们还表明，基于Transformer的重新嵌入模块能够一致地提升各种MIL方法的性能，无论它们的架构如何。然而，本文的主要成果是引入了重新嵌入的区域转换器（R2T）以及两个新颖的组件：CR-MSA和EPEG。

我们有证据表明，在基础模型时代，局部Transformer的重要性以及其作为重新嵌入模块的通用性。未来，我们计划探索特征重新嵌入如何促进计算病理学中的高级任务，如定位和分割。这些任务在疾病的精确诊断和治疗中起着至关重要的作用，我们相信通过进一步改进和优化特征重新嵌入技术，我们可以为这些任务提供更准确、更可靠的解决方案。通过深入研究R2T以及CR-MSA和EPEG等组件在更广泛的任务和场景中的应用，我们有望为计算病理学领域的发展做出更大的贡献。

3、Result：

七、《MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology》

参考帖子：论文阅读:MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/687404226

1、Abstract：

多实例学习 (Multiple Instance Learning，MIL) 已成为在计算病理学中在整个全视野数字切片图像(Whole Slide Images，WSI) 中提取判别特征表示的主要范式。尽管取得了显著进展，但现有的MIL方法在促进实例之间全面有效的交互方面存在局限性，并且存在与计算耗时和过拟合相关的挑战。在本文中，我们在MIL中结合了选择性扫描空间状态序列模型 (Selective Scan Space State Sequential Model，Mamba)，用于具有线性复杂度的长序列建模，称为 MambaMIL。通过继承通用Mamba框架的能力，MambaMIL展示了全面理解和感知长序列实例的能力。此外，我们提出了序列重新排序 Mamba (Sequence Reordering Mamba，SR-Mamba) 以利用嵌入在长序列中的固有的有价值的信息来感知实例的顺序和分布。通过将SR-Mamba作为核心组件，MambaMIL可以有效地捕获更多的有判别性的特征并减轻与过拟合和高计算开销相关的挑战。在九个不同数据集的两个公共具有挑战性的任务上进行的大量实验表明，我们提出的框架优于最先进的 MIL 方法。该代码可在https://github.com/isyangshu/MambaMIL 发布。

2、Conclusion：

在本文中，我们引入了一种新的基于 Mamba 的 MIL 方法，称为 MambaMIL，以解决与长序列建模和过度拟合相关的挑战，标志着 Mamba 框架在计算病理学中的第一个应用。我们的方法基于专门设计的序列重新排序 Mamba 模块 (SR-Mamba)，能够有效地利用长实例序列中包含的内在全局信息。九个基准的实验结果表明，MambaMIL 受益于长序列建模，并且在所有基准上的所有指标上都优于现有的竞争对手。鉴于 MambaMIL 的出色表现，我们预计其应用可以扩展到计算病理学中的其他模式，包括基因组学、病理报告和临床数据。这种扩展将使利用多模态信息进行有效和准确的诊断、预后和治疗反应预测。

3、Result：

八、《MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models》

1、Abstract：

2、Conclusion：

3、Result：