医疗 AI 工具正在增长，但它们是否经过了适当的测试？

快速阅读: 《科学在线新闻》消息，人工智能在医疗领域的应用广泛，但现有基准测试不足以评估其临床能力。计算机科学家黛博拉·拉吉指出，当前测试缺乏灵活性，无法全面衡量AI的实际表现。她建议通过访谈专家、收集实际数据和采用“红队”方法等手段，创建更贴近实际情况的评估方法。此外，需要更多政策支持和透明度，以促进更好的评估体系。

人工智能算法几乎被整合到了医疗保健的各个领域。它们被集成到乳腺癌筛查、临床记录、医疗保险管理，甚至电话和计算机应用程序中，以创建虚拟护士并转录医生与患者的对话。公司声称这些工具将使医学更加高效便捷，并减轻医生和其他医疗工作者的负担。但是一些专家质疑这些工具是否像公司声称的那样有效。诸如大型语言模型（LLM）等人工智能工具，经过大量文本数据训练以生成类似人类的文本，其效果仅取决于其训练和测试的质量。然而，目前公开评估LLM在医疗领域的性能是基于使用医学院入学考试（如MCAT）的评估。实际上，一项对评估医疗AI模型的研究回顾发现，只有5%使用了真实患者数据。此外，大多数研究通过询问医学知识问题来评估LLM的能力。很少有研究评估LLM撰写处方、总结对话或与患者交谈的能力——这些都是LLM在现实世界中会执行的任务。当前的基准测试存在误导性，计算机科学家黛博拉·拉吉及其同事在《新英格兰医学杂志人工智能》二月刊中指出。这些测试无法衡量实际的临床能力；它们没有充分考虑到需要细致决策的真实案例的复杂性。它们也不够灵活，无法评估不同类型的实际临床任务。而且，由于测试基于医生的知识，它们不能充分代表护士或其他医务人员的信息。

人们对这些系统抱有的许多期望和乐观情绪都是基于这些医学考试测试基准，“加州大学伯克利分校研究AI审计和评估的拉吉说。“这种乐观现在正在转化为部署，人们试图将这些系统整合到现实世界中，并将其应用于真正的患者。”她和她的同事们认为我们需要开发评估LLM在应对复杂多样的临床任务时的表现的方法。科技新闻采访了拉吉关于当前医疗AI测试的状态、存在的担忧以及创建更好评估方法的解决方案。这篇采访经过了长度和清晰度的编辑。

科技新闻：为什么现有的基准测试不足？

拉吉：这些基准并不能反映人们希望实现的应用类型，因此整个领域不应该如此痴迷于它们。这并不是一个新问题，也不是医疗保健特有的。这是机器学习中存在的问题，在这里我们构建这些基准，希望它们能够代表我们关心的特定领域的通用智能或通用能力。但我们必须非常小心关于我们对这些数据集所作的声明。这些系统的代表性越远离实际部署的情况，我们就越难理解这些系统所持有的失败模式。这些系统远非完美。有时它们在特定人群中表现不佳，有时因为它们错误地表示任务，未能捕捉到任务的复杂性，从而揭示某些部署中的失败。这种基准偏差问题，即我们依据不反映实际部署情况的信息来选择部署这些系统，导致了许多盲目自信的现象。

科技新闻：如何为医疗AI模型创建更好的评估方法？

拉吉：一种策略是采访领域专家，了解实际的工作流程，并收集试点交互的自然数据集，以查看人们输入的不同查询类型和不同输出。还有这个想法，[合著者]罗克珊·达内什朱在一些工作中使用“红队”方法，积极召集一群人对抗性地提示模型。这些都是获取更接近人们实际与系统互动的更现实的一组提示的不同方法。另一种尝试是从实际医院获取使用数据——例如它们实际如何部署它以及关于它们如何实际整合系统的流程信息——以及匿名的患者信息或这些模型的匿名输入，这些信息可以用来指导未来的基准测试和评估实践。赞助信息

其他学科（如心理学）存在一些关于如何根据现实观察来评估的方法。同样的原则也适用——我们当前的评估生态系统中有多少是基于人们实际观察到的现实，以及人们在实际部署这些系统时欣赏或挣扎的内容。

科技新闻：模型基准测试应该有多专业化？

拉吉：针对问答和知识回忆的基准测试与验证模型在总结医生笔记或处理上传数据上的问答任务的基准测试是非常不同的。这种任务设计上的细微差异正是我努力追求的目标。不是每个人都应该有自己的个性化基准，而是我们共同的任务需要比多项选择题测试更加基于现实。

科技新闻：需要哪些政策或框架来建立这样的评估？

拉吉：这主要是呼吁研究人员投入更多精力思考和构建不仅限于基准测试，还包括评估的整体方法，这些方法应更贴近我们对这些系统部署后期望的现实。目前，评估很大程度上是一种事后考虑。我们认为在这个领域应该更多关注评估方法、基准设计方法以及评估方法。其次，我们可以要求机构层面更多的透明度，例如通过医院的AI清单，医院应分享他们作为临床实践一部分使用的各种AI产品的完整列表。这是在机构层面，特别是在医院层面，帮助我们理解人们当前使用AI系统的方式的一种做法。如果医院和其他机构发布关于他们如何整合这些AI系统的流程信息，这也有助于我们思考更好的评估方法。这种医院层面的做法将非常有帮助。在供应商层面，共享他们当前评估实践的信息——他们的当前基准依赖什么——有助于我们找出当前做法与可能更现实或更基于现实的做法之间的差距。

科技新闻：你对使用这些模型的人有什么建议？

拉吉：作为一个领域，我们应该更加慎重地对待我们关注或过度依赖的评估。选择最简单的测试项目很容易——医学院入学考试是最容易获得的医学测试。即使它们完全不代表人们希望在实际应用中使用这些模型的方式，它也是一个容易编译和上传下载运行的数据集。但我挑战这个领域要更加深思熟虑，更加注意真正构建我们希望模型做什么的有效表征，以及一旦部署后我们对这些模型的期望。

(以上内容均由Ai生成)