比较 AI 模型的字母汤真是一团糟
快速阅读: 据《商业内幕》称，AI模型基准测试面临争议，多家公司被指操纵测试。专家质疑现有方法的有效性，强调实际应用中的模型表现更重要。选择AI助手时，应关注其具体具体问题的能力而非仅看基准分数。
在工作和生活场景中选择一款最佳的AI助手并不轻松。那么，GPT-4o、4.5、4.1、o1、o1-Pro、o3-Mini或者o3-Mini-High，哪一个才是最优解？如果不在意OpenAI，还可以考虑Meta、Google或Anthropic等公司推出的众多模型。今年，各大主要人工智能公司已至少推出了十几款模型，分辨哪些真正具备竞争优势变得愈发困难。多数发布者声称其AI在某些方面具有优越的“基准”成果。然而，这种比较方式受到质疑，认为其可能不够严格或可靠。
上个月，Meta发布了两个全新的Llama家族模型，声称其“结果优于”谷歌及Mistral的类似规模模型。然而，Meta随后遭遇指控，称其操纵了基准测试。LMArena，一个通过用户投票评估模型性能的人工智能基准平台，在其X平台上发文表示，Meta“应更明确说明”提交的Llama 4 Maverick版本是经过“定制”的，以便更好地适配其测试格式。“Meta对我们的政策解读与我们期待的模型供应商不同，”LMArena在其X帖文中提到。一位Meta发言人向《商业内幕》记者回应：“‘Llama-4-Maverick-03-26-Experimental’是我们尝试的一种聊天优化版本，在LMArena上表现不错。”他们还补充道：“我们现在开源了Llama 4，并将看到开发者如何根据自身需求定制它。”
这一事件反映了人工智能行业在基准测试方面日益显现的问题。投入数十亿美元研发人工智能的公司面临着巨大的诱惑，去发布比前代产品更强大的模型。认知科学家和人工智能研究员加里·马库斯认为这可能存在问题。“当下，随着众多资金押注在基准测试表现上，大型科技公司很容易去构建训练数据，‘针对考试进行教学’，从而导致基准测试逐渐失去更多有效性，”马库斯批评了他认为过于炒作的AI领域，并告诉《商业内幕》。
还有人质疑基准测试是否真正衡量了所需内容。在欧洲委员会联合研究中心的一的一份二月份题为《我们能信任AI基准吗？当前AI评估中的跨学科回顾》的论文中，研究人员得出结论，现有方法存在重大问题。研究人员表示，当前基准实践存在系统性缺陷，这些缺陷从根本上受到文化、商业和竞争动态影响，往往优先考虑最先进的性能，而牺牲了更广泛的社会关切。
同样，AI安全初创公司ZeroPath的联合创始人兼首席执行官迪恩·瓦伦丁在三月的博客文章中提到，“最近的人工智能模型进步感觉大部分都不靠谱。”在他的文章中，瓦伦丁提到，自去年六月Anthropic发布3.5 Sonnet以来，他和他的团队一直在评估声称有所“改进”的不同模型的。。他团队尝试的新模型中没有一个在其公司的内部基准测试或开发人员发现新漏洞的能力上表现出“显著差异”。他说，它们或许“更有趣”，但并未体现经济实用性和通用性。正如他所说，“如果行业现在无法准确衡量模型的智力水平，而它们仅仅限于聊天室环境中，很难想象未来更复杂的AI如何能够被准确测量。”
基准可以是一个“良好的指南针”。Hugging Face的机器学习工程师内森·哈比布告诉《商业内幕》，许多竞技场风格的基准测试的问题在于它们倾向于通过众包投票偏向人类偏好，这意味着“你可以优化你的模型以获得喜欢而不是能力。”相关故事《商业内幕》讲述你想要知道的创新故事
“为了使基准测试真正服务于社区，我们需要几个保障措施：最新的数据、可重复的结果、中立的第三方评估以及防止答案污染，”哈比布指出GAIA基准作为这样一个工具的例子。他补充说，即使基准测试并非完美无缺，“它们依然是指引我们前行的良好方向标。”
据马库斯说，没有立竿见影的解决办法。制作优秀的测试十分困难，而阻止人们操控这些测试则更为不易，”他告诉《商业内幕》。他说，许多测试试图测量“语言理解”，但“事实证明，通过记住大量东西而不具备真正的语言理解能力，你可以欺骗出许多这些测试。”马库斯补充说，“直接的风险在于客户被告知新系统更优而因此花费大量金钱。”
那么，某人应该如何在这片庞大的AI模型世界中导航呢？如何知道DeepSeek-R1、DeepSeek-V3、Claude 3.5 Haiku或Claude 3.7 Sonnet哪个更好？“在众多宣称‘最先进’的模型中挑选合适的模型时，请记住，最好的模型不是在每个基准测试中都获胜的那个；而是那个优雅地解决你特定问题的模型，”Hugging Face的AI研究科学家克莱芒·富告诉《商业内幕》。“不要一味追求分数最高的模型；寻找对你而言最重要的高分模型，”她说。
这样调整后的文本不仅流畅自然，而且层次分明，让读者更容易理解复杂的AI基准问题及其解决方案。
(以上内容均由Ai生成)
