用于乳腺癌风险分层的多模态机器学习模型

基本介绍

原文献：Qian X, Pei J, Han C, Liang Z, Zhang G, Chen N, Zheng W, Meng F, Yu D, Chen Y, Sun Y, Zhang H, Qian W, Wang X, Er Z, Hu C, Zheng H, Shen D. A multimodal machine learning model for the stratification of breast cancer risk. Nat Biomed Eng. 2024 Dec 4. doi: 10.1038/s41551-024-01302-7. Epub ahead of print. PMID: 39633027.
摘要：

乳腺癌是世界上最常见的癌症，在2020年首次超过肺癌，并且是女性癌症死亡的第二大原因。然而，乳房x光检查对致密乳腺组织的女性灵敏度较低。超声是一种低成本且广泛使用的成像工具，已被用于描述小的、乳房x光检查隐匿性乳腺癌，从而提高了乳腺癌检测的灵敏度。因此，利用各自的优势，同时使用乳房x光检查（MG）和超声检查（US）作为补充组合已常规应用于现实世界的临床环境筛查和诊断乳房病变。

随着人工智能技术的发展，基于AI的方法在乳腺癌诊断中展现出独特的优势。传统的机器学习方法由于特征泛化能力不足，未能在临床实践中显著提升诊断效果。近年来，深度学习技术的突破使得AI系统能够直接从成像数据中学习预测特征，提升了诊断的准确性和可靠性。钱学骏团队开发的AI系统通过整合多模态数据，展示了与经验丰富的放射科医生相当的性能，并在病理水平的鉴别诊断中表现出色。这项研究不仅验证了AI在乳腺癌风险分层中的潜力，还为其在临床工作流程中的广泛应用奠定了基础

研究方法

• 1.数据收集与预处理：从多个医疗中心和扫描仪制造商处收集数据，包含5025名手术证实病理的患者。总计使用5216个乳房的19360张图像，包括乳房X光检查和三模态超声图像。数据集中包含完整的临床元数据、乳房X光检查和超声图像。
• 2.多模态数据集成：利用乳房X光检查与超声波成像相结合的方法，提升图像数据的敏感性和特异性。采用多模态数据方法，结合不同图像来源的优点，提供更全面的乳腺癌风险评估。
• 3.模型开发与训练：开发混合深度学习系统，通过多模态数据进行训练，以提高乳腺癌风险分层的准确性。使用深度学习算法提取图像特征，通过模型学习来避免手工制作特征的局限性。
• 4.模型验证与比较：与经验丰富的放射科医生进行比较，验证模型在肿瘤分类（良性或恶性）方面的表现。在前瞻性数据集上进行测试，包含187例患者191个乳房的数据，比较多模态模型与病理评估的准确性。
• 5.临床适用性评估：通过乳腺疾病的树状结构分类提高临床适用性，提供多层次的预测能力。评估模型在不同临床实践场景（单峰、双峰或多峰数据可用情况下）的性能。
  研究内容
• 人工智能系统与人类专家在细粒度乳腺疾病分区上的混淆矩阵比较

作者使用两种方法评估乳房x光模块的性能。第一种方法，在内部测试队列中对五名经验丰富的乳房x光检查医师（即专门从事乳房x光检查的放射科医生，平均经验为 10年）进行了两部分的乳房x光检查读者研究。

• 单个模块和阅读器的性能在高度通用粗粒度乳腺癌评估通过推理算法

观察到5位读者的评估位于乳房x光模块的ROC曲线以下，一定程度上说明乳房x光模块性能优越。通过外部的各种医疗中心和扫描仪制造商加强了通用性。因此，作者回顾性地收集了三个乳房x线摄影数据集作为外部测试队列。

• BMU-Net模型对乳腺癌风险分层对现实世界临床环境的适应性

作者不仅在微调阶段通过随机屏蔽策略解决了缺失模式，而且在测试阶段面对缺失数据时严格评估了BMU-Net的性能。进一步研究了个体临床变量和临床变量组对多模态BMU-Net模型整体性能的影响。结果显示，年龄（P < 0.05）、BMI （P < 0.05）和病变大小是本研究的前3个关键因素，和BMU-Net模型的性能随着缺失临床变量数量的增加而下降。

总结

研究团队开发了一款专门面向乳腺癌风险分层的多模态人工智能系统BMU-Net模型。该模型巧妙融合了卷积神经网络在特征提取方面的高效性，以及Transformer在高层特征融合与跨模态整合方面的卓越性能。通过在大规模钼靶和超声数据集上进行迁移学习预训练，再结合多模态匹配数据集进行精细化调优，显著提升了模型的通用性和复用价值。创新性地采用随机掩码训练策略，使BMU-Net能够灵活处理不同模态的输入数据，有效应对临床实践中因患者隐私保护等原因导致的数据缺失问题。

研究用5025名患者的19360张乳腺影像开展模型开发和测试工作。通过与资深放射科医生在158例钼靶检查和146例超声检查中的诊断结果进行对比，发现
BMU-Net 在肿瘤良恶性分类方面与专家水平相当，在组织病理学分级诊断方面 (根据癌变风险设计的 breast disease tree)
超越了人类专家的表现。研究还证实，临床数据 (尤其是年龄和体重指数)
对乳腺癌风险精准分级具有重要意义，这与现有的乳腺癌风险因素研究相互印证。在包含187名患者的前瞻性多模态数据验证中，BMU-Net
取得了90.1%的准确率，已接近病理学家通过活检切片分析获得的92.7%的准确率。

BMU-Net 还特别关注了具有挑战性的 BI-RADS 4 类病例 (癌症可能性介于2%至95%之间)，尤其在处理 BI-RADS
4a 类病例 (癌症可能性为2%至10%) 这一诊断难度较大的不确定区间时，模型提供了极具价值的判断依据。如通过将BI-RADS
4a降级为BI-RADS 3，可帮助患者避免不必要的侵入性活检。

原文文章链接

https://mp.weixin.qq.com/s/Hp24DnKn5FONuZYht7t8Uw