研究警告使用 AI 治疗聊天机器人存在“重大风险”

快速阅读: 据《TechCrunch 技术紧缩》最新报道，斯坦福大学研究指出，AI治疗聊天机器人可能对心理健康用户产生歧视或危险反应。研究发现，即使最新模型也未能解决此问题。尽管存在不足，AI仍有望辅助治疗。

据《纽约时报》报道，7月11日，美国斯坦福大学研究人员发布了一篇新论文，指出由大型语言模型驱动的治疗聊天机器人可能会对有心理健康问题的用户产生污名化，或以不适当甚至危险的方式作出反应。该研究评估了五种旨在提供可及性治疗的聊天机器人，发现这些机器人在处理特定心理健康状况时存在显著的歧视倾向，尤其是在对待酒精依赖症和精神分裂症用户时。论文将于本月晚些时候在ACM公平性、问责制和透明度会议上发表。

斯坦福大学教育研究生院助理教授尼克·哈伯在接受《斯坦福报告》采访时指出，尽管聊天机器人被广泛用作伴侣、知己和治疗师，但研究揭示了其潜在的重大风险。研究人员通过两项实验验证了这一点：一项是向聊天机器人提供描述各种症状的情景并提出相关问题，以检测其是否存在歧视；另一项则是提供真实的治疗记录，观察机器人如何应对包括自杀念头和妄想等症状。结果显示，部分聊天机器人在面对复杂心理问题时未能给予恰当回应。

论文主要作者、计算机科学博士生杰拉德·摩尔强调，即使是最新的大型模型也未能显著减少歧视现象。“AI的默认反应往往是认为增加数据量可以解决问题，但这并不是解决之道。”他补充道。

尽管存在诸多不足，摩尔和哈伯仍认为这些技术在辅助治疗方面具有潜力，如协助管理费用、培训以及支持患者完成写作任务等。哈伯总结道：“我们需谨慎考虑LLM在治疗领域的应用，确保其发挥积极作用而非替代专业治疗师的角色。”

(以上内容均由Ai生成)