AI 研究人员警告：领先的 AI 模型仍然存在幻觉

快速阅读: 据《搜索引擎日志》称，报告指出，公众对AI能力的认知与现实有差距，最先进模型在事实性上仍有挑战。提升事实性的技术效果有限，超六成研究人员对短期解决该问题持悲观态度。营销人员应谨慎使用AI工具，确保内容准确，避免损害品牌声誉。

美国人工智能促进协会（AAAI）的一份报告揭示了公众对人工智能能力的认知与当前技术现实之间存在脱节。即便最先进的模型也面临着真实性这一重大挑战。这份由“人工智能研究未来总统委员会”发布的报告，基于24位资深人工智能研究人员的意见以及475名参与者的调查反馈。

**关键发现影响搜索和数字营销**

领先的AI模型未能通过基本的事实性测试，尽管投入了数十亿美元用于研发，但AI的事实性问题仍未得到解决。报告显示，即使是来自OpenAI和Anthropic的顶级模型，在新基准测试中的表现也令人失望。例如，在SimpleQA（包含简单事实性问题的集合）上，“正确回答的问题不到一半”。

**技术局限与事实性挑战**

为提升事实性，一些关键技术被广泛应用，包括：

– **检索增强生成（RAG）**：在生成答案前利用传统信息检索获取相关文档。
– **自动化推理检查**：将输出结果与预设规则对比，剔除不一致的回答。
– **思维链（CoT）**：将复杂问题拆解为小部分，逐步推导出结论。

然而，这些方法的效果有限，超过六成的AI研究人员对短期内解决事实性问题持悲观态度。这意味着需要持续的人类监督来保证内容和数据的准确性。虽然AI工具可以加速常规任务处理，但完全自主运行仍存在风险。

**公众认知与现实差距**

报告指出，公众对AI能力的认知与实际情况之间存在显著偏差。79%的受访AI研究人员表示不同意或强烈不同意“当前对AI能力的认知符合现实”。加特纳公司将生成式AI归类于其期望膨胀峰值之后，正进入“幻灭谷底”阶段。这可能引发投资热度波动，影响决策者对资源分配的态度。

此外，74%的研究人员相信研究方向更多受到市场炒作而非科学需求驱动，这可能导致重要基础问题被忽视，比如事实性保障。

**报告主席亨利·考茨博士强调**：“许多初入行者的公开言论与实际状况不符。”这提醒我们即使是专家的观点也需要谨慎对待。

**对SEO及数字营销的意义**

由于事实准确性尚未彻底解决，营销人员在使用AI工具时应保持责任感。定期审核并寻求专业意见有助于减少错误信息传播的风险，特别是在受严格监管的领域如金融和医疗保健行业尤为重要。

基于AI生成的内容可能因不准确而损害用户信任及品牌声誉。搜索引擎倾向于惩罚那些发布不可靠或欺诈性材料的网站。因此，建议采用人机协作模式，人工校验AI输出内容以提高可靠性。

**应对市场炒作**

除了内容创作上的挑战之外，企业还需理性看待市场炒作现象。报告警告称，过度追捧AI可能导致资源错配，忽略长期可持续发展的机会。熟悉AI优缺点的专业人士能够制定出真正创造价值的战略计划。

如需进一步了解详情，请查阅完整版报告链接。

[图片来源：patpitchaya/Shutterstock]

主题：生成式AI

(以上内容均由Ai生成)