新研究发现，AI 搜索工具平均不准确 60%

快速阅读: 《技术点》消息，研究发现，八款AI搜索引擎，包括ChatGPT、Perplexity等，整体准确率仅40%，大多数时间不准确。ChatGPT虽回答所有查询，但仅28%完全准确，57%完全不准确。X公司的Grok AI两个版本表现更差，错误率高达94%。尽管这些问题存在，AI公司仍向公众收取高额费用。并非所有人都认为AI不可靠，有人认为某些AI工具快速、智能且准确。

AI模型可能缺乏准确性，这是毋庸置疑的。生成幻觉和坚持错误信息一直是开发者们持续面临的挑战。由于使用场景差异巨大，很难确定与AI准确性相关的具体百分比。一个研究团队声称他们现在掌握了这些数据。哥伦比亚大学数字新闻研究中心最近研究了八款AI搜索引擎，包括ChatGPT搜索、Perplexity、Perplexity专业版、Gemini、DeepSeek搜索、Grok-2搜索、Grok-3搜索和Copilot。他们测试了每个工具的准确性，并记录了工具拒绝回答问题的频率。研究人员随机选择了来自二十家新闻出版机构（每家十篇）的两百篇新闻文章。他们确保在使用文章摘录进行谷歌搜索时，每个故事都能出现在前三个搜索结果中。然后，他们在每个AI搜索引擎中执行相同的查询，并根据搜索是否正确引用A）文章、B）新闻机构和C）网址来评定准确性。研究人员随后根据准确性从“完全正确”到“完全不正确”对每个搜索进行了标注。如您在下面的图表中所见，除了两个版本的Perplexity外，其他AI工具表现不佳。总体而言，AI搜索引擎有60%的时间是不准确的。此外，这些错误的结果被AI对其“信心”的坚持所强化。这项研究之所以引人注目，是因为它量化证实了我们多年来已知的事实——即LLM是“有史以来最狡猾的骗子”。即使它们所说的是错误的，它们也会以完全权威的态度报告，有时甚至会争论或编造其他虚假陈述。在2023年的一篇轶事文章中，Ted Gioia（《诚实经纪人》）指出了数十个ChatGPT的回答，显示该机器人在回应许多查询时自信地“撒谎”。虽然有些例子是敌对性查询，但很多只是普通问题。

相关报道：谷歌敦促特朗普政府司法部放弃分拆计划，称其威胁国家安全；如果广泛采用，屋顶太阳能板可以帮助缓解气候变化。“如果我信了关于ChatGPT的一半传言，我可以让它接管《诚实经纪人》，而我在海滩上喝着玛格丽塔，寻找丢失的盐瓶。”Gioia随意地评论道。即使承认自己错了，ChatGPT也会继续提供更多的虚构信息。LLM似乎被编程为不惜一切代价回答每个用户输入。研究人员的数据证实了这一假设，指出ChatGPT搜索是唯一回答了所有两百篇文章查询的AI工具。然而，它的完全准确率只有百分之二十八，而且有百分之五十七的时间完全不准确。ChatGPT甚至不是最差的。X公司的Grok AI两个版本的表现都很差，Grok-3搜索的错误率为百分之九十四。考虑到微软的Copilot在两百次查询中拒绝回答了一百零四次，它并没有好多少。在剩下的九十六次查询中，只有十六次是“完全正确”，十四次是“部分正确”，六十六次是“完全不正确”，使其大约有百分之七十的时间是不准确的。可以说，这一切中最疯狂的事情是，制造这些工具的公司在这个准确性缺失的问题上并不透明，同时向公众收取每月二十至二百美元的费用以访问他们的最新AI模型。此外，Perplexity专业版（每月二十美元）和Grok-3搜索（每月四十美元）比免费版本（Perplexity和Grok-2搜索）正确回答了更多的查询，但错误率显著更高。这就是所谓的骗局。然而，并非所有人都同意这一点。TechRadar的Lance Ulanoff表示，在尝试了ChatGPT搜索后，他可能永远不会再次使用谷歌。他描述这个工具为快速、智能且准确，界面干净无广告。

(以上内容均由Ai生成)