开源 AI 在解决疑难医疗病例方面与顶级专有模型相匹配
快速阅读: 《Newswise （新闻稿）》消息，研究表明，开源AI工具Llama 3.1 405B在处理复杂医疗案例时的表现可与闭源模型GPT-4媲美，可能为医疗领域提供更安全、可定制的替代方案。这有助于提升诊断准确性并降低医疗成本。研究获NIH资助。
人工智能正在多个领域改变医学，尤其是在其作为忙碌临床医生可靠诊断助手的潜力方面展现出了巨大优势。过去两年内，专有AI模型（即闭源模型）在处理复杂临床推理的棘手医疗案例时表现卓越。尤其值得一提的是，这些闭源AI模型的表现优于开源模型，后者因其源代码公开，允许任何人对其进行调整和修改。
那么，开源AI能否迎头赶上？根据哈佛医学院研究人员主导的一项由美国国立卫生研究院（NIH）资助的新研究，答案似乎是有希望的。这项研究与哈佛附属的贝斯以色列女执事医疗中心及布列根妇女医院的临床医生合作完成，并于3月14日在《JAMA健康论坛》上发表。研究结果显示，名为Llama 3.1 405B的开源AI工具的表现与领先的闭源模型GPT-4相当。在这项分析中，研究人员对比了这两个模型在《新英格兰医学杂志》每周公布的92个诊断困难临床场景中的表现。研究发现，开源AI工具正迅速发展，可能为闭源模型提供有价值的替代方案。“据我们所知，这是首次有研究证明开源AI模型能在医生评估的如此具有挑战性的病例中媲美GPT-4的表现，”资深作者阿琼·曼拉伊（Arjun Manrai）指出，他是哈佛医学院布莱瓦特尼克研究所的生物医学信息学助理教授。“令人震撼的是，Llama模型如此快速地接近领先的闭源模型。这对患者、医疗服务提供者和医院都是有益的。”
开源和闭源AI系统各有优劣。首先，开源模型可被下载并在医院的私有计算机上运行，从而保护患者数据的安全性。而闭源模型则需在外部服务器上运行，这要求用户将私人数据传送到外部，即便这个实体可能是可信的。主要作者托马斯·巴克利（Thomas Buckley）表示：“对于许多首席信息官、医院管理人员和医生而言，开源模型可能更具吸引力，因为数据离开医院流向另一实体（哪怕是可信实体）本质上是不同的。”托马斯·巴克利是哈佛医学院生物医学信息学系新开设的医学AI轨道的博士生。
其次，医学与信息技术专业人士能够调整开源模型以满足特定的临床和研究需求，而闭源工具通常更难以定制。“这一点至关重要，”巴克利强调，“你可以利用本地数据来微调这些模型，无论是以基础方式还是复杂方式，以便它们适应你自己的医生、研究人员和患者的需求。”
第三，像OpenAI和Google这样的闭源AI开发者在其自有模型上托管并提供传统客户服务，而开源模型则将模型设置和维护的责任交给了用户。截至目前，闭源模型在与电子健康记录和医院IT基础设施集成方面证明更为容易。
开源AI与闭源AI：解决具有挑战性的临床案例的评分卡
开源和闭源AI算法均经过包含医学教科书、同行评审的研究、临床决策支持工具以及匿名患者数据（如案例研究、测试结果、扫描和确诊诊断）的巨大数据集训练。通过以超高速审视这些海量材料，算法学习模式。例如，病理切片上的癌性肿瘤和良性肿瘤看起来是什么样子？心力衰竭的最早预警信号是什么？如何区分CT扫描上的正常结肠和发炎的结肠？当面对新的临床情景时，AI模型会将其接收到的信息与在训练期间吸收的内容进行比较，并提出可能的诊断。
在他们的分析中，研究人员测试了Llama在70个具有挑战性的临床NEJM案例上的表现，这些案例之前用于评估GPT-4的表现，并在亚当·罗德曼（Adam Rodman）领导的一项早期研究中描述，他是贝斯以色列女执事医疗中心的医学助理教授，也是新研究的合著者。在新研究中，研究人员添加了22个在Llama训练期结束后发布的案例，以防止Llama在基础训练期间可能无意中遇到其中一些已发表的案例。开源模型展示了真正的深度：Llama在70%的案例中做出了正确的诊断，而GPT-4为64%。它还有一半以上的时间（41%）将正确选择作为第一个建议，而GPT-4为37%。对于22个较新的案例子集，开源模型得分更高，在73%的情况下做出了正确的判断，并且有45%的时间将最终诊断作为首选建议。
“作为一名医生，我看到许多关于强大大型语言模型的关注集中在我们无法本地运行的专有模型上，”罗德曼说。“我们的研究表明，开源模型可能同样强大，这将使医生和卫生系统对这些技术的使用拥有更多控制权。”
根据2023年的报告，美国每年约有795,000名患者因诊断错误死亡或永久性残疾。除了对患者的直接影响外，诊断错误和延误还会给医疗系统带来巨大的经济负担。不准确或延迟的诊断可能导致不必要的检查、不适当的治疗，有时甚至会导致随着时间推移变得更加难以治疗且成本更高的严重并发症。
“如果明智地使用并负责任地整合到当前的医疗基础设施中，AI工具可以成为忙碌临床医生的宝贵副驾驶，并作为值得信赖的诊断助手来提高诊断的准确性和速度，”曼拉伊说。“但医生帮助推动这些努力仍然至关重要，以确保AI为他们服务。”
作者、资金和披露
其他作者包括拜伦·克劳（Byron Crowe）和拉贾-埃利·阿卜杜勒努尔（Raja-Eli Abdulnour）。该项目得到了国家心脏、肺和血液研究所颁发的K01HL138259奖项和哈佛医学院院长创新奖的支持。克劳报告称在提交工作之外从Solera Health获得个人费用。罗德曼报告称在提交工作之外从戈登和贝蒂·摩尔基金会获得拨款。
(以上内容均由Ai生成)
