随着 AI 模型破坏了每个基准，现在是人工评估的时候了
快速阅读: 据《ZDNet》最新报道，随着AI进步，传统基准测试面临瓶颈，人类评估变得重要。谷歌、OpenAI等强调人类评分，AI基准测试正融合更多人类参与，以推动技术发展。
传统上，人工智能的进步主要依靠在旨在模拟人类知识的任务中进行自动准确性测试来实现。精心设计的基准测试任务，比如通用语言理解评估基准（GLUE）、大规模多任务语言理解数据集（MMLU）以及“人类的最后一考”，都通过大量问题来评估大型语言模型对各种事物的理解程度。
然而，随着生成式人工智能程序的价值日益显现，这些测试正变得越来越不令人满意。我们需要一些新的方法，也许更需要一种更贴近人类的评估方式来衡量人工智能的表现。
同时：
Anthropic 表示，人工智能并不是撞上了天花板，而是变得太过聪明以至于超越了基准测试。这一观点已在业内流传已久。“我们已经饱和了这些基准测试，”Anthropic 公司 API 技术主管迈克尔·格施滕哈伯在 11 月的一次彭博人工智能会议上说道，该公司开发了 Claude 系列大型语言模型。
在评估人工智能模型时，人类需要“参与其中”的需求也出现在文献中。
本周，波士顿贝斯以色列女执事医疗中心等多家机构学者在《新英格兰医学杂志》发表的一篇论文中，由主要作者亚当·罗德曼及其合作者提出，“就基准测试而言，人类是唯一的评判标准。”
他们写道，医学人工智能领域的传统基准测试，如麻省理工学院创建的 MedQA，“已经饱和”，这意味着人工智能模型很容易通过此类考试，但并未真正融入临床实践中的关键内容。“我们的研究表明，困难的基准测试正迅速被像 OpenAI o1 这样的推理系统突破。”
罗德曼团队主张采用训练人类医生的经典方法，例如与真人角色扮演。“人机交互研究即便比人工裁定的基准测试还要慢，但随着系统的功能越来越强大，它们将变得更加重要。”
同时：
“人类的最后一考”基准测试让顶级人工智能模型陷入困境——你能做得更好吗？
对人工智能发展的监督一直是通用人工智能进步的关键。2022 年 ChatGPT 的发展广泛运用了“基于人类反馈的强化学习”方法。这种方法通过多轮人类对人工智能模型输出的评分来塑造其输出，以达到预期目标。
然而，现在 ChatGPT 的开发者 OpenAI 以及其他前沿模型开发者开始让人类参与到对其工作的评分与排名中。
在本月发布开源 Gemini 3 时，谷歌强调的不是自动化基准分数，而是人类评估者的评分来证明该模型的优势。
谷歌甚至用类似顶级运动员的方式描述 Gemini 3，使用所谓的 ELO 评分来衡量其综合能力。
同样，在本月发布开源 Gemini 3 时，谷歌强调的不是自动化基准分数，而是人类评估者的评分来证明该模型的优势。
同时：
谷歌宣称 Gemini 3 的准确率达到了 DeepSeek 的 98%——仅需一块 GPU。
同样，当 OpenAI 在 2 月份发布其最新的顶级模型 GPT-4.5 时，不仅强调了其在自动化基准测试（如 SimpleQA）上的表现，还提到了人类评审员对其输出的感受。
OpenAI 表示，“人类偏好指标”是一种衡量“测试者更喜欢 GPT-4.5 而非 GPT-4 的比例”的方式。该公司声称，这使得 GPT-4.5 具有更高的“情商”，尽管具体体现在哪些方面并未明确说明。
同样，当 OpenAI 在 2 月份发布其最新的顶级模型 GPT-4.5 时，不仅强调了其在自动化基准测试（如 SimpleQA）上的表现，还提到了人类评审员对其输出的感受。
即便新的基准测试正在被设计以取代那些被认为已饱和的基准测试，基准测试的设计者似乎也将人类参与视为核心要素。
去年 12 月，OpenAI 的 GPT-o3“迷你版”成为首个在被称为人工通用智能抽象推理语料库（ARC-AGI）的抽象推理测试中超越人类分数的大规模语言模型。
本周，ARC-AGI 的发明者、谷歌 AI 部门的科学家弗朗索瓦·肖莱特推出了一个更具挑战性的版本——ARC-AGI 2。虽然原始版本是通过测试亚马逊机械土耳其工人的人类能力来评分的，但这一次，肖莱特采用了更加生动的人类参与方式。
他在博客文章中写道：“为了确保面向人类的难度校准，我们在 2025 年初在圣地亚哥进行了一场涉及超过 400 名公众成员的现场研究。参与者接受了 ARC-AGI-2 候选任务的测试，使我们能够确定哪些问题可以被至少两名参与者在两次或更少尝试内一致解决。这一第一方数据为人类表现提供了坚实的基准，并将在与 ARC-AGI-2 论文一起发布。”
这有点像是自动化基准测试与几年前那种充满趣味的表演艺术快闪活动的结合。
这种将人类参与融入人工智能模型开发的方式表明，在循环中增加越来越多集中的人类参与，将有巨大的空间扩展人工智能模型的训练、开发、工程和测试。
就连肖莱特也无法断言这一切是否会促成人工通用智能的出现。
想了解更多关于人工智能的故事？
请订阅《创新》，我们的每周通讯。
人工智能
2025 年最佳编程人工智能（以及不该使用的——包括 DeepSeek R1）
我测试了 DeepSeek 的 R1 和 V3 编程技能——我们还没有全军覆没（暂时）。
如何从你的 Microsoft 365 计划中移除 Copilot
如何在 MacOS 上安装 LLM（以及为什么应该这样做）
2025 年最佳编程人工智能（以及不该使用的——包括 DeepSeek R1）
我测试了 DeepSeek 的 R1 和 V3 编程技能——我们还没有全军覆没（暂时）。
如何从你的 Microsoft 365 计划中移除 Copilot
如何在 MacOS 上安装 LLM（以及为什么应该这样做）
(以上内容均由Ai生成)
