关于 AI 基准测试的争论已经蔓延到 Pokémon

快速阅读: 《雅虎美国》消息，《精灵宝可梦》作为AI基准测试备受争议，谷歌Gemini因使用自定义小地图优势明显。不同模型在各类基准测试中的表现受定制化工具影响，结果难以公平比较。

即使是《精灵宝可梦》，也未能逃脱AI基准测试争议的困扰。上周，一篇在X平台（即推特）上走红的帖子声称，谷歌最新推出的Gemini模型在原版《精灵宝可梦》三部曲中表现优于Anthropic公司的旗舰产品Claude模型。据报道，Gemini已经通过开发者的Twitch直播成功抵达Lavender Town（ lavender镇），而Claude截至二月底仍然卡在Mount Moon（月亮山）。然而，这篇帖子并未提及的是，Gemini有一个显著的优势：小地图。Reddit上的用户指出，负责Gemini直播的开发者专门设计了一个自定义的小地图，这有助于模型在游戏中识别诸如可砍伐的树木等“图块”。这一工具极大地简化了模型在做出游戏决策前分析截图的需求。如今，《精灵宝可梦》最多也只能算是一个半严肃的AI基准测试——很少有人会认为这是一个能够充分展示模型能力的严格测试。不过，它确实是一个发人深省的例子，展示了不同基准测试实现方式对结果产生的影响。

例如，Anthropic在其近期发布的Anthropic 3.7 Sonnet模型上，在专为评估模型编码能力设计的基准测试SWE-bench Verified中报告了两个不同的分数。Claude 3.7 Sonnet在SWE-bench Verified上的准确率为62.3%，但借助Anthropic开发的“定制支架”，其准确率提升至70.3%。而在更近一些的时候，Meta对其较新的模型之一Llama 4 Maverick的一个版本进行了微调，以便在特定的基准测试LM Arena上表现出色。该模型的初始版本在这项评估中的得分明显较低。

鉴于AI基准测试——尤其是《精灵宝可梦》测试——从一开始就并非完美的衡量标准，定制化与非标准化的实现方式可能会进一步模糊比较结果。也就是说，随着越来越多的模型被推出，比较它们似乎不会变得更加容易。

这篇文章最初发布于TechCrunch网站，网址为https://techcrunch.com/2025/04/14/debates-over-ai-benchmarking-have-reached-pokemon/。

(以上内容均由Ai生成)