超越 arc-Agi：Gaia 和寻找真正的智能基准
快速阅读: 据《VentureBeat 公司》称，文章探讨了人工智能评估基准的局限性，提出GAIA基准更注重解决实际问题的能力，而非单纯的知识测试，有助于衡量人工智能在复杂任务中的表现，推动行业从独立应用转向多功能代理发展。
订阅我们的每日和每周简报，获取行业领先的人工智能报道的最新动态和独家内容。了解更多智能无处不在，但对其测量似乎总是带有主观性。在最好的情况下，我们通过测试和基准来大致估算它的测量值。想想大学入学考试：每年有无数学生报名参加，背诵考试技巧，有时甚至能获得满分。一个百分比的数字，比如100%，是否意味着获得它的人拥有相同的智力，或者他们已经以某种方式达到了智力的顶峰？当然不是。基准是近似值，而不是对某人或某物真正能力的精确测量。
生成式人工智能社区长期以来依靠像MMLU（大规模多任务语言理解）这样的基准，通过跨学科的多项选择题来评估模型的能力。这种格式便于简单对比，但无法真正体现智能能力。例如，克劳德3.5诗歌版和GPT-4.5在这个基准上获得了相似的分数。在纸面上，这表明它们的能力相当。然而，与这些模型合作的人知道它们在现实世界中的表现存在显著差异。
如何衡量人工智能的“智能”？随着新的ARC-AGI基准的推出——这是一种旨在推动模型向通用推理和创造性问题解决发展的测试——关于如何衡量人工智能的“智能”再次引发了争论。虽然并非所有人都已尝试过ARC-AGI基准，但业界欢迎这一以及其他改进测试框架的努力。每个基准都有其价值，ARC-AGI在这方面是一个有前景的方向。
人工智能评估中的另一项重要进展是‘人类的最后一场考试’。这是一个包含3000个经过同行评审且涉及多步骤的全面基准，涵盖多个学科。尽管这项测试代表了一种大胆的尝试，旨在挑战人工智能系统在专家级推理方面的能力，但早期结果显示了快速的进步——据报道，OpenAI在发布后一个月内取得了26.6%的得分。然而，与其他传统基准一样，它主要评估知识和推理的孤立能力，而没有测试日益重要的实际应用中所需的工具使用能力。例如，在一个例子中，多个最先进的模型未能正确计算单词“草莓”中“r”的数量。在另一个例子中，它们错误地认为3.8比3.1111小。这些失败——在即使是小孩子或基本计算器也能解决的任务上——揭示了基准驱动进展与现实世界稳健性之间存在的差距，提醒我们智能不仅仅是通过考试，而是可靠地应对日常生活中的逻辑。
衡量人工智能能力的新标准随着模型的发展，这些传统基准显示出了局限性——尽管在多项选择测试中取得了令人印象深刻的成绩，但在GAIA基准中，GPT-4结合工具只能在更复杂的现实世界任务中达到约15%的准确率。随着人工智能系统从研究环境转移到商业应用，这种基准性能与实际能力之间的脱节变得越来越成问题。传统基准测试知识回忆，但忽略了智能的关键方面：收集信息、执行代码、分析数据并综合多个领域解决方案的能力。
GAIA是人工智能评估方法论的一项必要转变。由Meta-FAIR、Meta-GenAI、HuggingFace和AutoGPT团队共同开发，该基准包含466个精心设计的问题，分为三个难度等级。这些问题测试网络浏览、多模态理解、代码执行、文件处理和复杂推理——这些能力对于现实世界的人工智能应用至关重要。一级问题通常需要约5步以及一种人类解决问题所需的工具。二级问题通常需要5到10步以及多种工具，而三级问题可能需要多达50个离散步骤和任何数量的工具。这种结构反映了商业问题的实际复杂性，其中解决方案很少来自单一行动或工具。
通过优先考虑灵活性而不是复杂性，一款人工智能模型在GAIA上的准确率达到75%——超过了行业巨头微软的Magnetic-1（38%）和谷歌的Langfun Agent（49%）。他们的成功源于使用了一种组合模型，用于音频-视觉理解和推理，以Anthropic的Sonnet 3.5为主要模型。
人工智能评估的这一演变反映了行业的更大转变：我们正在从独立的SaaS应用程序转向能够协调多种工具和工作流程的人工智能代理。随着企业越来越多地依赖人工智能系统处理复杂的多步骤任务，像GAIA这样的基准提供了比传统多项选择测试更有意义的能力评估标准。
人工智能评估的未来不在于孤立的知识测试，而在于全面评估解决问题的能力。GAIA为衡量人工智能能力设定了一个新的标准——一个更能反映现实世界人工智能部署挑战与机遇的标准。
人工智能评估的这一演变反映了行业的更大转变：我们正在从独立的SaaS应用程序转向能够协调多种工具和工作流程的人工智能代理。随着企业越来越多地依赖人工智能系统处理复杂的多步骤任务，像GAIA这样的基准提供了比传统多项选择测试更有意义的能力评估标准。
斯里·安巴蒂是H2O.ai的创始人兼首席执行官。
每日商业用例洞察与VB每日通讯
如果你想给老板留下深刻印象，VB每日通讯可以助你一臂之力。我们为你提供公司如何运用生成式人工智能的内部资讯，从监管变化到实际部署，以便你能分享见解以获取最大收益。
每日商业用例洞察与VB每日通讯立即订阅
阅读我们的隐私政策
感谢订阅。查看更多VB新闻通讯。
发生了一个错误。
(以上内容均由Ai生成)
