近年来,人工智能领域最引人瞩目的进展之一,莫过于大语言模型(LLMs)的崛起。这些模型在文本生成、语义理解等任务上展现出惊人的能力,但其在专业领域,特别是传统中医(TCM)领域的应用,依然是一个充满挑战和机遇的课题。近期发表的一篇论文 “TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction” ,以其创新性和实用性,为我们揭示了LLMs在TCM领域应用的巨大潜力。本文将深入解读这篇论文,剖析其核心思想、方法创新以及实验结果,并探讨其对未来研究的启示。(关注公众号“赛文AI药学”,获取更多AI与药学的内容)
一、背景:中医处方预测的复杂性与现有挑战
中医作为一种具有数千年历史的传统医学体系,其核心在于“辨证施治”,强调个体化治疗。开具中医处方,不仅需要医生掌握丰富的草药知识,还需要综合分析患者的症状、体征、病史等复杂信息。这种高度依赖专家经验的特性,使得中医处方预测成为一个极具挑战性的任务。
现有研究虽然尝试利用计算方法来辅助中医处方预测,但依然面临诸多瓶颈:
- 数据匮乏与质量不高: 现有研究大多依赖于从古籍中提取的文本数据,这些数据往往缺乏现代临床记录的详细性和准确性。此外,这些数据也缺乏与患者个体化的关联,难以支持个性化处方推荐。
- 模型性能不足: 传统机器学习方法难以捕捉中医处方中症状与草药之间复杂的非线性关系,导致预测准确率不高。此外,现有模型往往忽略了草药剂量的预测,而剂量是中医处方中至关重要的组成部分。
- 评估指标单一: 现有评估指标主要关注草药的预测准确性,而忽略了处方是否符合中医理论,以及是否有效治疗患者的症状。
二、TCM-FTP:基于精调的LLM方法
为了克服上述挑战,这篇论文提出了一个名为TCM-FTP(TCM Fine-Tuning Pre-trained)的创新方法。该方法的核心思想是利用预训练LLM强大的语言理解和生成能力,并通过高质量的临床数据集进行精调,以适应中医处方预测的特定需求。TCM-FTP方法的流程主要包括:
- DigestDS数据集的构建: 作者花费大量精力,从一家中医医院的临床记录中提取出真实患者的症状描述、病史、舌苔信息以及相应的处方信息,构建了一个高质量的TCM数据集——DigestDS。这个数据集的构建为TCM-FTP模型的训练奠定了坚实的基础。
- 基于LoRA的高效精调: 为了提高LLM的精调效率,作者采用了低秩自适应(LoRA)技术。LoRA的核心思想是只更新模型中的少量参数(低秩矩阵),而固定其他参数,从而大大降低了计算资源需求和训练时间,同时又可以达到与完整精调相当的性能。
- 数据增强: 认识到中医处方中草药的顺序并不影响疗效这一特点,作者采用了数据增强策略。通过随机打乱处方中草药的顺序,增加了训练样本的多样性,有助于模型学习更鲁棒的特征。
- 自回归生成: 作者将处方中的草药名称和剂量连接成一个字符串,并通过自回归的方式,让LLM逐个预测草药的名称和剂量。这种自回归生成方法可以更好地利用LLM的序列建模能力。
三、实验结果的深入分析
论文的实验结果令人印象深刻。TCM-FTP在草药预测任务上显著优于其他模型,取得了0.8031的F1分数。这表明,通过高质量的数据集和精调技术,LLM可以很好地学习中医处方中症状与草药之间的复杂关系。
更重要的是,TCM-FTP在草药剂量预测方面也表现出色,其归一化均方误差(NMSE)仅为0.0604。这说明,TCM-FTP不仅可以预测正确的草药,还可以预测出合理的剂量。这一结果对于中医处方的实际应用具有重要意义。
为了验证TCM-FTP的实际疗效,作者还邀请了五位经验丰富的中医专家对模型生成的处方进行了定性评估。专家们分别从草药疗效(SHE)和草药配伍(HC)两个方面对处方进行了评分。结果显示,TCM-FTP在两个指标上都取得了显著优于其他模型的分数,这表明TCM-FTP生成的处方不仅准确,而且符合中医理论,具有较好的疗效和安全性。
与基线模型相比,TCM-FTP不仅超越了传统的TCM处方预测模型,也显著优于未经过精调的LLMs(例如,GPT-3.5和GPT-4.0)。这进一步验证了精调对于LLM在专业领域应用的重要性,也表明单纯依靠通用LLM在TCM等专业领域中难以取得理想的效果。
四、创新点与贡献
这篇论文的主要创新点和贡献可以总结如下:
- 数据集: 构建了高质量的TCM临床数据集DigestDS,为后续研究提供了宝贵资源。该数据集不仅包括草药名称,还包括了关键的剂量信息。
- 方法: 提出了基于LoRA的TCM-FTP方法,该方法通过高效精调、数据增强以及自回归生成,显著提升了LLM在中医处方预测方面的性能。
- 评估指标: 提出了用于评估草药剂量预测的归一化均方误差(NMSE)指标,弥补了现有研究在剂量预测评估上的不足。
- 实验: 通过定量和定性实验,证明了TCM-FTP方法的有效性和实用性,并且得到了中医专家的认可。
五、未来研究方向
尽管取得了显著成果,但这项研究依然存在一些可以深入探索的方向:
- 引入中医知识图谱: 将中医理论知识(如阴阳五行、脏腑学说等)融入模型,可以进一步提升模型的理解和推理能力。
- 多模态数据融合: 将患者的影像学资料、理化检验结果等多种模态数据与症状描述相结合,可以构建更加全面的患者画像,从而提供更加个性化的处方推荐。
- 模型可解释性: 提高模型的透明度和可解释性,可以帮助医生更好地理解模型的预测结果,并且增加对模型的信任。
- 临床应用研究: 将TCM-FTP模型应用到真实的临床环境中,验证其在实际治疗中的效果,并且收集更多的反馈信息,以进一步改进模型。
总结
“TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction” 这篇论文,以其精湛的实验设计、创新的方法以及令人信服的实验结果,为LLM在TCM领域的应用迈出了重要一步。TCM-FTP的成功,不仅为中医的现代化和智能化提供了新的思路,也为LLM在其他专业领域的应用提供了有益的借鉴。
文献关键词:
- 大型语言模型 (Large language models)
- 传统中医 (Traditional Chinese medicine)
- 微调 (Fine-tuning)
- 低秩自适应 (Low-Rank Adaptation, LoRA)
- 处方预测 (Prescription prediction)
- 草药剂量预测 (Herb dosage prediction)
- 数据增强 (Data Augmentation)
- 自回归生成 (Auto-regressive Generation)
往期内容荐读:
ChatGPT 在临床药学中的有效性以及人工智能在药物治疗管理中的作用
DDI-GPT:使用知识图谱增强的大模型对药物相互作用进行可解释的预测
诺奖得主David Baker最新Science论文:药学+AI领域迎来新机遇!
AI与药学:ChatGPT与临床培训——药学博士(Pharm-D)学生的看法、担忧和实践
人工智能大模型在用药处方审核的应用潜力:一项跨 12 个临床专科的前瞻性研究
AI用于研究药物扩大适应症:大模型架起药物分子结构与适应症的桥梁
AI与药学:DrugGPT助力减少英国每年2.37亿次用药错误
CancerGPT :基于大语言模型的罕见癌症药物对协同作用少样本预测研究
AI与药学|DAPSNet:基于双重注意力机制和患者相似性的药物推荐模型
AI与药学| Nature Medicine:大模型MEDIC显著降低药店用药指导错误
AI与药学:基于大模型的多智能体药物不良事件提取系统—MALADE
FastRx:基于 Fastformer 和记忆增强图神经网络的个性化用药推荐模型
AI与药学 | Med-Pal:轻量级大型语言模型在药物咨询领域的应用
AI与药学|当AI遇上老药新用,DrugReAlign—基于大模型的多源提示药物重定位框架
AI与药学 | 大模型赋能用药处方:迈向更清晰、个性化、无偏见的用药指导新时代
欢迎关注公众号 “赛文AI药学”!
赛文AI药学,致力于探索人工智能在药学场景中的创新与应用。