研究人员如何帮助 AI 弄清楚事实

快速阅读: 据《康奈尔科学联盟》称，人工智能在信息检索中的应用日益广泛，但其准确性问题不容忽视。研究表明，即使是先进的AI模型，如ChatGPT和Claude，也存在高达25%的“幻觉”率，即提供虚假信息。密歇根大学的研究人员开发了一种新方法，通过置信分数来提高AI答案的准确性。尽管如此，AI在处理复杂信息和现实世界知识方面仍显不足，可能导致误导或有害信息的传播。因此，提升AI系统的可信度和真实性仍是当前的重要课题。

人工智能使查找信息变得比以往任何时候都容易：向ChatGPT提问几乎任何问题，系统都会迅速给出答案。然而，人们越来越依赖人工智能来解答他们的疑问。然而，像OpenAI的ChatGPT或Anthropic的克劳德这样的流行工具背后的大语言模型并不是为了准确或事实性而设计的。它们经常“幻觉”并提供虚假信息，仿佛这些信息是确凿的事实。然而，人们越来越依赖人工智能来解答他们的疑问。根据2024年哈佛大学的一项研究，美国14至22岁的人群中有一半现在使用人工智能获取信息。《华盛顿邮报》的一项分析发现，在ChatGPT上的提示中有超过17%是请求信息的。研究人员试图改善人工智能系统提供的信息的一种方式是让系统表明它们对其答案准确性有多自信。我是一名研究自然语言处理和机器学习的计算机科学家。我在密歇根大学的实验室开发了一种新的方法来推导置信分数，从而提高人工智能聊天机器人答案的准确性。但是置信分数的作用有限。领先科技公司越来越多地将人工智能集成到搜索引擎中。谷歌现在提供了在搜索结果上方以文本摘要形式出现的AI概览，这与通常的链接列表不同。其他新兴搜索引擎，如Perplexity，正以其生成的摘要挑战传统搜索引擎。这些摘要的便利性使得这些工具非常受欢迎。为什么还要在多个网站上搜寻内容，当人工智能可以在几秒钟内提供最相关的信息时？人工智能工具似乎提供了一种更顺畅、更高效的获取信息的方式。但它们也可能误导人们，甚至传播有害的虚假信息。我的实验室发现，即使是最准确的人工智能模型在25%的情况下也会产生幻觉。这个幻觉率令人担忧，因为其他研究表明人工智能可以影响人们的看法。语言模型产生幻觉是因为它们从大量的文本数据中学习和操作，其中大部分来自互联网。这意味着它们并不一定基于现实世界的事实。它们还缺乏其他人类能力，比如常识和区分严肃表达和讽刺表达的能力。这一切在去年春天就显现出来，当时一位用户要求谷歌的AI概览工具建议一种防止奶酪从披萨上滑落的方法。该工具立刻建议将奶酪与胶水混合。后来发现有人曾在Reddit上开玩笑提出过这种建议。像大多数大型语言模型一样，谷歌的模型可能已经通过抓取各种互联网来源（包括Reddit）进行训练。然后它错误地将用户的玩笑解读为一个真正的建议。虽然大多数用户不会认真对待胶水建议，但一些幻觉信息确实可能造成实际伤害。人工智能搜索引擎和聊天机器人多次被发现引用已被驳斥的种族主义伪科学作为事实。去年，Perplexity AI声称一名加利福尼亚州的警察犯下了一项他并未犯下的罪行。展示自信建立优先考虑真实性的AI系统是有挑战的，但并非不可能。一种方法是设计能够传达其答案置信度的模型。这通常表现为置信分数——一个数字，表示模型提供准确信息的可能性有多大。然而，估计模型对其所提供内容的置信度也是一项复杂的任务。一种常见的方法是让模型反复回应给定查询。如果模型可靠，它应该对相同查询生成相似的答案。如果不能一致回答，人工智能很可能缺乏准确回答所需的信息。随着时间的推移，这些测试的结果成为人工智能针对特定主题领域的置信分数。其他方法通过直接提示和训练模型来评估它们对其答案的置信度。但这并不能提供真正的问责制。允许人工智能自我评估其置信度，可能会让系统给自己打高分，并继续提供虚假或有害的信息。我的实验室设计了算法，通过将大语言模型的回答分解成可自动交叉引用维基百科的单独声明来分配置信分数。我们评估了人工智能模型的输出与引用的维基百科条目的语义等价性。我们的方法允许人工智能快速评估其所有陈述的准确性。当然，依赖通常但不总是准确的维基百科文章也有其局限性。在模型的答案中公布置信分数，可以帮助人们更批判性地思考这些工具提供的信息的真实性。语言模型还可以被训练在获得低于设定阈值的置信分数时保留信息。我的实验室还证明置信分数可以用来帮助人工智能模型生成更准确的答案。置信度的限制要实现真正准确的人工智能，还有很长的路要走。大多数这些方法假设正确评估人工智能准确性所需的信息可以在维基百科和其他在线数据库中找到。但在难以获得准确信息的情况下，置信度估计可能会产生误导。为了应对这种情况，谷歌开发了专门机制来评估人工智能生成的陈述。我的实验室同样编制了一个包含常见导致幻觉的提示的基准数据集。但所有这些方法都是验证基本事实——没有自动化方法可以评估长篇内容的其他方面，比如因果关系或人工智能处理多句文本的推理能力。开发改进这些人工智能元素的工具是使这项技术成为可靠信息来源的关键步骤——并避免错误信息造成的危害。

王露是密歇根大学计算机科学与工程副教授。本文转载自《对话》。

(以上内容均由Ai生成)