人工智能和医疗保健：我们应该关注可信度，而不是信任

快速阅读: 《健康基金会》消息，奥诺拉·奥尼尔男爵夫人的观点指出了全球医疗系统的共同挑战。为赢得患者对医疗技术和人工智能的信任，需透明沟通、标准化评估及持续监控。独立验证和明确问责制亦至关重要，以确保人工智能的安全性和有效性。

奥诺拉·奥尼尔男爵夫人的言论，由赫坦·沙阿在他最近关于健康领域人工智能的年度讲座中引用，简洁明了地揭示了全球医疗系统共同面临的难题。那么，我们究竟在采取哪些措施来赢得患者对我们所提供的护理以及所使用技术的信任呢？毕竟，患者、医护人员和公众对人工智能缺乏信任是有实际原因的。例如，Epic首个脓毒症模型就展示了事情可能出错的情况，而且后果可能相当严重。该工具旨在早期识别脓毒症病例，但回顾性研究表明，它漏掉了三分之二的实际病例，同时错误标记了近五分之一的住院患者，而这些人实际上并未患有脓毒症。随着人工智能和数据驱动工具在英国国家医疗服务体系（NHS）中的广泛应用，考虑公众的不同看法显得尤为重要。与公众沟通并让他们了解数据驱动医疗系统的工作原理有助于建立信任。健康基金会的调查显示，75%的英国公众愿意分享部分健康数据用于人工智能开发，尽管这一意愿因数据种类而异：59%的人愿意分享眼科健康数据，而只有44%的人支持分享性健康数据。不同社会经济群体之间存在明显差异，这凸显了针对不同群体建立信任并解决疑虑的重要性。在美国，由健康和技术领域专家组成的非营利组织“健康人工智能联盟”（Coalition for Health AI, CHAI）正在努力解决人工智能在健康领域可信度问题的三个具体方案。标准化人工智能模型评估方法 食品营养标签将复杂信息浓缩成易懂的标准标题，帮助我们做出合理的饮食选择。医疗服务提供者和患者也需要类似的结构来辅助他们做出关于健康人工智能使用的知情决定。CHAI与患者团体、临床医生及模型开发者合作，制定了应用模型卡，标准化了由负责人工智能核心原则的专家定义的重要信息，使医疗服务提供者能轻松对比模型。它还为模型开发者明确了具体目标，描述了他们的模型需在哪些领域表现出色才能成功。模型卡赋予开发者灵活性，选择最适合展示其模型安全性、有效性和公平性的方法。尽管模型卡为开发者提供了描述模型性能的空间，但独立验证进一步提升了我们所用模型的可信度。这种独立验证功能很可能需要高质量的数据准备以及深厚的技术能力，包括数据科学、健康记录工程和临床信息学。一些信托机构和学术中心或许具备这些能力，但对于许多提供者来说，包括小型初级保健机构或资源紧张的地区综合医院，组建专门的验证团队并不现实。因此，像英国的“牛顿之树”这样的独立人工智能验证实验室行业正在兴起，以协助提供者验证人工智能在真实临床环境中的性能。我们知道，人工智能模型可能会随着时间推移而退化，这可能是由于模型本身的内在变化或护理路径的外部变化。这些性能下降通常不明显且可以通过更新轻松解决。然而，有时它们可能引发灾难性后果，尤其是对于人工智能临床决策支持工具而言，性能下降可能导致误诊或不当治疗。此外，如果临床医生不相信模型的表现达到了预期效果，他们就不会信任模型的推荐。当他们看到一个他们不认同的输出时，他们可能会认为这是退化所致而忽略它，从而让模型失去效用。在这种情况下，值得信赖的人工智能意味着模型投入运行后持续的部署后监控。对任何临床模型进行定期审计都是常规做法，例如抽取样本案例并与“真实情况”（由专家组确定）比较模型输出。这可能成本高昂且耗时，通常只能针对模型处理量的小样本进行。确保子人群的性能保障更加复杂。当提供者通过开发人员平台购买人工智能模型时，开发人员通常会提供与模型同步运行的性能监控。提供者应清楚根据出错时的风险高低、退化的频率以及护理路径的变化频率，需要何种程度的监控。提供者希望确保开发人员监控子人群的退化，并可能在护理路径转换期间需要加强监控，例如放射科更换扫描仪时。提供者需要确保开源或自研模型有完善的部署后监控系统。为什么我们应该信任一个人工智能模型呢？人工智能是一项强大且令人兴奋的技术。它有望解决当前严重影响患者的诸多医疗问题，包括质量问题、获取问题及不平等问题。但如果患者、医护人员和公众不信任健康领域的人工智能模型的话，其推广速度将会缓慢，社会也将错失提升医疗质量的巨大机遇。上述提到的干预措施应有助于建立人工智能的信任基础——更清晰地阐明模型是如何构建的、如何运作以及何时出现问题。在信任的另一方面，政策制定者还需解决问责制的相关问题，患者和临床医生需要知晓在出现问题时的补救措施，责任应由能够真正预防伤害的人承担。
**埃德·米德尔顿博士（MBBS）** 是斯坦福医学卓越研究中心和健康人工智能联盟的英国哈克尼斯研究员。
**露西·奥尔-埃文斯** 是高级英国哈克尼斯研究员，同时也是健康人工智能联盟的首席幕僚长兼政策主管。

(以上内容均由Ai生成)