多机构合作开发阿尔茨海默病预测模型,利用临床数据提升诊断准确率
快速阅读: 研究人员开发CARE-AD多智能体LLM框架,通过分析临床记录早期预测阿尔茨海默病,提升预测性能,比单模型方法更准确,有助于早期干预和治疗。
研究人员提出了一种新的多智能体LLM框架——CARE-AD,用于通过真实世界的纵向临床记录早期预测阿尔茨海默病。该方法基于多智能体系统的发展,如MEDAGENTS,模拟多学科诊断过程,其中专门的智能体分析与阿尔茨海默病相关的不同症状,包括认知障碍、生理变化、神经精神症状和其他细微迹象,这些信息从临床记录中提取。通过将责任分配给不同的智能体,系统能够识别可能被单一通用模型忽视的领域特定标志物。据我们所知,这是首次应用LLM不仅从非结构化临床文本中提取阿尔茨海默病相关指标,还采用多智能体工作流程进行早期检测。回顾性临床数据评估表明,CARE-AD在预测性能方面有所提升,有助于弥合通用LLM能力和阿尔茨海默病临床应用需求之间的差距。
在回顾性评估中,CARE-AD的表现优于单模型零样本方法。在ICD诊断前10年,其准确率达到0.53,这表明相关风险指标可能比传统认识出现得更早,为早期临床关注提供了窗口。尽管迭代单模型方法如自一致性与自精炼超过了零样本基线,但仍然不如多智能体策略。CARE-AD的优势在于其分布式专业知识和协作决策框架。与自精炼和自一致性方法不同,这些方法在单个模型内约束多个推理路径,CARE-AD将不同角色分配给专门的“医生”智能体,每个智能体利用领域特定知识,并通过一个阿尔茨海默病专家智能体整合评估结果。这种结构模拟了现实世界中的临床协作,支持更全面的风险评估。例如,初级保健医师智能体识别共病和缺乏认知筛查;神经科医师智能体强调过去的短暂性脑缺血发作和药物相互作用;老年医学家智能体注意到与年龄相关的脆弱性和多重用药;精神病学家智能体指出抑郁症状可能掩盖早期认知衰退;临床心理学家智能体建议进一步的情绪和认知监测。阿尔茨海默病专家智能体综合这些见解,认为患者可能处于早期阿尔茨海默病的认知衰退阶段,建议进行确认性评估。通过跨临床领域的互补视角整合,CARE-AD提供了一种受多学科咨询启发的早期认知风险评估方法。多智能体设计还通过揭示中间推理步骤和展示不同观点的综合,增强了可解释性。虽然需要进一步的前瞻性验证,但这种方法为改善早期检测、支持纵向监测和指导针对性干预提供了潜在途径。
研究团队还将CARE-AD与基于AutoGen的多智能体设置进行了比较,后者提供了一个通用的智能体间对话框架。当限定相同的LLM调用次数(六次)时,AutoGen的表现不如CARE-AD。这可能是由于AutoGen的通用架构,包括预定义的系统消息和自动协调机制,引入了额外的推理步骤或角色协商,与临床推理的简化需求不太一致。相比之下,CARE-AD的角色特定提示明确强制任务专业化,实现更高效的患者信息提取和综合。增加AutoGen的LLM调用次数至12次或18次,其表现与CARE-AD相当,但超过12次调用后,改进效果趋于平稳,表明进一步计算的边际效益递减。这些结果表明,CARE-AD为早期阿尔茨海默病风险预测提供了一个更高效的资源替代方案。
CARE-AD 在分析非结构化临床叙述方面展示了价值,相比传统随机森林模型,后者主要基于结构化电子健康记录(EHR)数据。结构化数据如 ICD 代码、药物和实验室结果通常反映下游诊断或晚期表现,可能遗漏早期行为或认知变化。相比之下,叙述笔记中往往包含预诊断的细微观察,这些观察比正式诊断早数年出现。通过利用这些非结构化信息,CARE-AD 在预测早期症状模式方面比结构化数据模型更有效,尤其是在较长的预测时间范围内。这些发现强化了大型语言模型(LLM)在挖掘自由文本 EHR 数据以检测早期疾病信号的潜力。
研究存在几个重要局限性。首先,研究依赖退伍军人事务部(VHA)的数据,这些数据可能无法完全代表更广泛的人群,因为 VHA 患者通常具有特定的人口统计特征,包括显著的性别失衡、社会经济挑战以及较高的创伤后应激障碍和创伤性脑损伤率。因此,研究结果需要在非 VHA 人群中验证。其次,为了确保足够的预测信息,研究要求至少有 5 年的纵向笔记数据。这可能导致选择偏差,因为医院利用率较低和临床就诊次数较少的患者——那些最需要大规模筛查的患者——被低估。未来的研究计划将纳入更多数据源,以涵盖这一群体并改进预测模型。第三,研究使用首次记录的与阿尔茨海默病(AD)相关的 ICD 代码定义诊断日期,并包括一个 -1 天的预测窗口,与先前研究一致。然而,手动审查显示,在某些情况下,实际诊断可能早于 ICD 代码日期,这可能会高估性能,特别是在 -1 天窗口内。包括更广泛的早期时间点,如诊断前 1 年、2 年和 3 年,有助于更好地评估模型在不同疾病进展阶段的预测性能。第四,尽管研究使用了广泛的基线进行比较,但隐私限制阻止了使用其他先进 LLM(如 GPT 系列)评估方法,限制了其在更大模型中的泛化能力。尽管如此,研究结果仍提供了有意义的见解,展示了在严格数据保密条件下方法的适应性。未来的工作将探索公开可用的数据集,以更全面地评估模型在其他 LLM 上的扩展和性能。
专家级别的复杂医疗任务如 AD 诊断,可能需要协作的多代理系统。CARE-AD 展现了这种方法的潜力,通过协调专门的 LLM 代理提取症状、评估风险和预测 AD 发病,可提前 10 年做出准确预测,比单一模型基线在评估中表现出更高的准确性。数据提取代理设计用于操作纵向 EHR 数据,经过进一步验证后,可以支持临床决策中的症状跟踪和趋势分析。通过结合领域专业知识,专门代理增强临床决策,确保更全面和准确的评估,提高诊断的可解释性。虽然这项工作集中在 AD 上,但底层框架展示了多代理 LLM 解决方案在应对其他复杂医疗条件方面的潜力,可能适用于需要多学科专业知识进行诊断和管理的多因素疾病,为 AI 辅助临床决策支持的进一步探索奠定了基础。
(以上内容均由Ai生成)