AI幻觉如何防范和治理？这场圆桌沙龙谈到人防、技防等措施

快速阅读: 11月28日，2025中国报业传媒行业人工智能应用大会在上海召开，与会专家讨论了AI幻觉的成因及治理，强调数据质量、公众媒介素养提升及多方协作的重要性。

“人工智能的三驾马车是数据、算力、算法,源头还是数据,现在互联网上的语料五花八门、鱼龙混杂,数据如果本身不干净,再加上算法和机制的问题,就导致AI幻觉产生。” 11月28日,2025中国报业传媒行业人工智能应用大会在沪举办,上海市信息安全测评认证中心总工程师李宏达在圆桌沙龙环节表示。

本场圆桌沙龙的主题是《AI的幻觉、伦理、法理与治理》,围绕AI为什么会产生幻觉、如何防范和治理AI幻觉,与会者谈了自己的看法。

11月28日,2025中国报业传媒行业人工智能应用大会在沪举办,图为圆桌沙龙。

澎湃新闻记者 朱伟辉 摄 澎湃新闻·明查工作室主理人李怡清表示,AI幻觉其实就是AI生成过程中带来的虚假信息或者具有误导性的信息,公众媒介素养的培育、AI素养的培育、对于已经产生误导的信息进行事实核查并将其展示在公众面向,是必不可少的流程。

复旦大学人工智能创新与产业研究院研究员、博士生导师朱思语表示,对于大模型来讲,训练模式是侧重于对大量数据的压缩,数据里面有错误,让训练后的模型产生的结果不一定准确,有些时候甚至会为了讨好人类胡说八道,产生AI幻觉。

如何兼顾安全和隐私保护?与会者提出了人防和技防等措施。

安永大中华区网络安全与隐私保护咨询服务合伙人夏文婷表示,避免AI产生幻觉,好的数据源很重要,可以起到正本清源的作用。传媒行业作为公信力承载者,有动力和义务帮助用户了解什么样的内容可能是AI生成的、AI生成到什么程度,做好这一轮AI素养教育。

上海人工智能研究院首席数字官、技术与创新中心主任林圆圆指出,技术方、内容生产方、平台方、内容消费者这四个角色都有责任和义务保证对应的内容生产和消费是安全的。其中,内容生产者是链条关键的一环,需要保证生产的内容信源完全准确,内容里使用什么样的AI能力、产出了哪部分内容,也需要有对应说明;平台方有责任和义务做好内容核查、抽审;终端消费者也要注意甄辨事实到底是什么样的,而不是人云亦云随大流。

李宏达表示,今年《人工智能生成合成内容标识办法》发布,主要涉及哪些是可以生成、在哪生成、谁生成的,要打显标和隐标。显标就是提醒受众这是AI生成的,隐标打在数据原文件里面,一旦虚假信息传播,便于完成追溯。从监管角度来说,标识生成、传播验证到最后的溯源追责都形成了闭环。上海市信息安全测评认证中心也一直在支持标识检查等相关工作。

(以上内容均由Ai生成)