研究表明,AI 搜索引擎以惊人的 60% 的比率给出错误答案
快速阅读: 据《Ars Technica》最新报道,研究显示AI新闻搜索工具普遍存在严重准确性问题,错误率超六成。高级付费版表现未必更好,甚至更差。部分AI无视出版商的防爬虫设置,引发可靠性担忧。
哥伦比亚新闻评论旗下的塔数字新闻研究中心的一项新研究发现,用于新闻搜索的生成式人工智能模型存在严重的准确性问题。这项研究测试了八种配备实时搜索功能的人工智能驱动搜索工具,结果显示这些人工智能模型错误回答了超过六成的新闻内容查询。研究人员克劳迪亚·贾兹温斯卡和艾斯瓦亚·钱德拉塞卡尔在报告中指出,大约四分之一的美国人如今将人工智能模型作为传统搜索引擎的替代选择。鉴于研究中发现的高错误率,这一现象引发了对可靠性严重的担忧。
不同平台的错误率差异显著。Perplexity 在所测试的查询中给出了37%的错误信息,而ChatGPT搜索错误识别了67%(200个查询中有134个)的文章。Grok 3 的高级版(每月40美元)表现出最高的错误率,达到94%。CJR 提供的一张图表显示了“自信但错误”的搜索结果。
在测试中,研究人员向人工智能模型提供实际新闻文章的直接摘录,然后要求每个模型识别文章标题、原始出版商、发布日期和URL。他们在八个不同的生成式搜索工具上运行了1600个查询。该研究强调了这些人工智能模型的一个共同趋势:与拒绝回答缺乏可靠信息的问题相比,这些模型更倾向于提供虚构内容——听起来合理但实际上错误或推测性的答案。研究人员强调,这种行为在所有测试的模型中都是一致的,而不仅仅局限于某一个工具。
令人惊讶的是,在某些方面,这些人工智能搜索工具的高级付费版本表现得更差。Perplexity Pro(每月20美元)和Grok 3 的高级版(每月40美元)比其免费版本更频繁地自信地给出错误回答。尽管这些高级模型正确回答了更多问题,但由于它们不愿拒绝不确定的回答,导致整体错误率更高。
引用政策和出版商控制的问题
CJR 研究人员还发现证据,显示一些人工智能工具无视出版商使用的机器人排除协议设置以防未经授权访问。例如,尽管《国家地理》明确禁止 Perplexity 网络爬虫,但 Perplexity 免费版仍准确识别了所有10段付费墙内容摘录。
(以上内容均由Ai生成)