研究发现：AI错误决策可能比人类高两倍

快速阅读: 俄亥俄州立大学研究团队发现，AI辅助技术在远程患者监测中显著提高决策准确性，但AI错误预测导致人类表现急剧下降。研究强调人机协作在安全关键系统中的重要性。

研究团队认为，评估应测试人们如何应对技术表现优秀、一般和较差的情况，以真正考验人机互动，并揭示错误带来的风险程度。

俄亥俄州立大学工程研究人员领导的一项研究中，450名主要为本科生且临床培训程度不同的护理学生和12名注册护士参与了实验。他们在远程患者监测情景中使用人工智能辅助技术，判断患者是否需要紧急护理。

结果显示，当AI预测准确时，参与者的表现提高了50%至60%。然而，当算法预测错误，即使附带的数据不支持这一结论，人类的表现急剧下降，决策正确率下降超过100%。

“AI算法永远不会完美。因此，如果希望AI算法适用于安全关键系统，那么团队、人员与AI之间的协作必须能够应对性能不佳的AI算法。”第一作者、俄亥俄州立大学综合系统工程系的研究科学家Dane Morey表示，“重点不在于制造非常优秀的安全关键系统技术，而是人机联合能力在安全关键系统中的重要性。”

Morey与俄亥俄州立大学综合系统工程系副教授Mike Rayo和荣誉教授David Woods共同完成了这项研究。研究成果最近发表在《npj数字医学》上。

相关故事

– 人工智能通过早期检测和个性化治疗工具改变眼科护理

– AI框架MetaGIN加速药物发现，大幅缩短分子预测时间

– Matillion释放AI数据工程师潜力，重塑数据工作流，赋能每位用户

– 《医疗保健领域的人工智能电子书》：过去一年顶级访谈、文章和新闻精选

Cognitive Systems Engineering Lab的研究人员开发了“联合活动测试”研究计划，旨在解决高风险环境（特别是医疗和国防领域）中负责任地部署AI的缺口。该团队还正在完善一套基于证据的设计原则，以简化人机性能评估过程，并最终改善系统结果。

根据初步清单，机器首先应向用户传达其与现实世界的不一致，即使它自己并未意识到这种不一致。“即使技术在这方面的表现良好，可能仍不够成熟。”Rayo说，“我们需要进行某种形式的实证评估，因为这些是风险管理步骤，我们的安全关键行业至少需要这两个步骤来衡量人机协作的性能，并考察一系列具有挑战性的案例。”

Cognitive Systems Engineering Lab已经对真实技术进行了五年的研究，以确定最佳实践评估方法，主要项目涉及20至30名参与者。此次项目共有462名参与者，特别是目标人群——与课程相关教育活动联系紧密的AI技术用户，这使研究人员对其发现和建议充满信心。

每位参与者分析了10个患者病例，在不同实验条件下进行：无AI帮助、AI预测紧急护理需求的概率、AI标注的相关患者状况数据，以及同时提供AI预测和标注。所有示例都包含显示人口统计学、生命体征和实验室结果的数据可视化，旨在帮助用户预测或判断患者的状况变化。

参与者需根据每个患者的情况报告0到10分的关注度。对紧急患者更高的关注度和对非紧急患者更低的关注度被视为更好的表现指标。

“我们发现，无论是护士还是AI算法，在所有情况下都没有绝对的优势。”作者写道。分析考虑了参与者临床经验的差异。

尽管总体结果提供了此类评估的需求证据，但研究人员惊讶地发现，某些实验条件下的解释对参与者的关注程度几乎没有影响——相反，算法推荐的红色条形图压倒了一切。

雷伊表示：“那些注释的效果完全被那个指示器的存在所压倒，后者将一切其他因素都扫除了。”

研究团队考虑了研究方法，包括当前医疗应用中使用的定制技术，作为其建议的模板，展示了行业如何实施这些建议。

实验技术的编码数据已公开，莫雷、雷伊和伍兹进一步在AI前沿网站上发表文章解释了他们的工作。

莫雷说：“我们倡导的是帮助人们更好地理解技术可能带来的各种影响。目标不仅是实现最佳的AI性能，而是实现最佳的团队表现。”

这项研究由美国护士基金会的“重塑护理计划”资助。

(以上内容均由Ai生成)