ScoreNet: 强化Transformer与非均匀注意力提升组织病理学图像分类性能

ScoreNet是一种创新的组织病理学图像分类模型，专注于解决数字病理学领域中的关键挑战。该模型利用非均匀注意力机制和增强技术，旨在提高在高分辨率组织病理学图像上的性能。传统的图像分类方法往往采用基于块的处理策略，结合多实例学习（MIL），但这种做法忽视了图像中实际诊断相关的局部区域，因为它们通常均匀处理所有区域，导致重要的斑块交互信息丢失。 ScoreNet的核心在于引入了一种可区分的推荐阶段，它能够智能地识别和集中计算资源在图像中具有区分性的区域。这个过程利用了局部和全局注意力机制，使得模型能够更有效地处理图像，尤其是在高分辨率区域，同时保持较低的计算成本。为了进一步提升模型性能，ScoreNet采用了名为ScoreMix的新颖增强技术。与常见的CutMix不同，ScoreMix不会随机混合样本导致标签错误，而是通过将高语义内容区域粘贴到非区分区域，生成连贯的人工训练样本，同时通过剪切和粘贴标签的加权平均得到新的标签，这种方法避免了假设统一的语义分布所带来的风险。 实验结果证明，ScoreNet在乳腺癌组织学数据集的苏木精-伊红（H&E）染色图像分类任务上，无论是对于感兴趣区域（TRoI）的分类还是整体图像的泛化能力，都优于现有的技术，包括基于Transformer的模型TransPath和SwinTransformer。特别是在数据效率方面，装备了ScoreMix增强的ScoreNet表现出色，仅需使用50%的数据就能达到最先进的性能，这表明其在有限数据条件下仍能保持竞争力。 此外，ScoreNet在处理效率上也显示出优势，相比于TransPath和SwinTransformer，它的吞吐量分别提高了约3倍和4倍，这意味着ScoreNet在保持高精度的同时，具备更快的处理速度。ScoreNet的源代码已公开，为研究者提供了便利，以便于进一步的研究和应用开发。ScoreNet通过其独特的设计和强化技术，为组织病理学图像分类带来了显著的提升，为该领域的研究和实践开辟了新的可能。