首届K奖编程大赛揭晓 顶尖模型表现不佳

快速阅读: 据相关媒体最新报道，K奖大赛首位获奖者仅答对7.5%问题，引发AI技术讨论。该比赛采用“无污染”测试方式，挑战AI编程能力。创始人承诺若得分超90%将奖励100万美元。

据AI新闻资讯报道，近日，由Laude Institute主办的K奖大赛公布了首位获奖者。令人意外的是，巴西程序员爱德华多·罗查·德·安德拉德（Eduardo Rocha de Andrade）尽管只正确回答了7.5%的问题，仍获得了5万美元的奖金。这一结果引发了对当前人工智能技术现状的广泛讨论。

K奖由Databricks和Perplexity的联合创始人安迪·孔温斯基（Andy Konwinski）发起，旨在推动AI模型在实际编程问题上的表现。孔温斯基表示：“我们很高兴能够建立一个真正具有挑战性的基准。”与现有测试系统不同，K奖设计更为严格，采用“无污染”的方式，确保模型的能力不被训练集影响。

K奖不允许模型在提交前接触到特定问题，而是使用截止日期后从GitHub提取的新问题。尽管许多AI编程工具已相继出现，但这次挑战揭示了现有模型的局限性。K奖的最高成绩仅为7.5%，而SWE-Bench的最高得分为75%，这引发了业内对基准测试污染问题的质疑。

孔温斯基对未来充满信心，并承诺如果有开源模型能在测试中得分超过90%，他将提供100万美元的奖励。他希望通过这项挑战，让业界认识到当前AI技术仍有很大提升空间。他表示：“如果我们连10%的成绩都达不到，那现实就很残酷了。”

此次比赛引发了业内关于AI评估标准的热烈讨论。普林斯顿大学的研究者萨亚什·卡普尔（Sayash Kapoor）指出：“我们需要新的测试方法来评估现有的基准，否则无法找到问题的根源。”K奖不仅为AI模型设定了新的挑战标准，也为整个行业提供了反思的机会，促使人们重新审视当前的人工智能技术和其应用的可行性。

(以上内容均由AI生成)