您的 AI 模型在生产中失败 – 以下是修复模型选择的方法

快速阅读: 据《VentureBeat 公司》称，Ai2发布RewardBench 2，升级奖励模型基准测试，帮助企业评估模型在现实场景中的表现，确保与企业目标一致。更大奖励模型表现更佳，但需根据具体需求选择合适模型。

加入我们的每日和每周通讯，获取行业领先的人工智能报道的最新更新和独家内容。了解更多企业需要知道支撑其应用程序和代理的模型在现实场景中是否有效。这种类型的评估有时可能很复杂，因为很难预测具体场景。

艾伦人工智能研究院（Ai2）推出的RewardBench 2是其奖励模型基准测试的更新版本，旨在让组织更好地了解模型的实际表现。艾伦人工智能研究院（Ai2）推出了RewardBench 2，这是其奖励模型基准测试RewardBench的更新版本，他们声称这提供了对模型性能更全面的视角，并评估了模型如何与企业的目标和标准相一致。

企业需要知道支撑其应用程序和代理的模型在现实场景中是否有效。这种类型的评估有时可能很复杂，因为很难预测具体场景。艾伦人工智能研究院（Ai2）推出的RewardBench 2是其奖励模型基准测试的更新版本，旨在让组织更好地了解模型的实际表现。

Ai2使用分类任务构建了RewardBench，这些任务通过推理时计算和下游训练来衡量相关性。RewardBench主要处理奖励模型（RM），这些模型可以充当裁判并评估大型语言模型（LLM）的输出。奖励模型分配一个分数或“奖励”，以引导带有人类反馈的强化学习（RHLF）。

Ai2的高级研究科学家内森·兰伯特告诉VentureBeat，当第一个RewardBench推出时，它达到了预期的效果。然而，模型环境迅速发展，因此其基准也应随之更新。“随着奖励模型变得更加先进且应用场景更加复杂，我们很快意识到第一版未能完全捕捉现实世界中人类偏好的复杂性，”他说。

兰伯特补充道，借助RewardBench 2，“我们致力于提高评估的广度和深度——引入更多样化、更具挑战性的提示，并完善方法论，以更好地反映人类实际上如何判断AI输出。”他表示第二版使用了未见过的人类提示，评分设置更具挑战性，并涵盖了新的领域。

使用评估模型虽然奖励模型测试了模型的工作效果，但重要的是奖励模型要与公司的价值观保持一致；否则，微调和强化学习过程可能会强化不良行为，例如幻觉、降低泛化能力，并对有害响应给予过高评价。

RewardBench 2涵盖了六个不同的领域：事实性、精确指令遵循、数学、安全性、专注力和关联性。“企业应根据其应用场景的不同方式使用RewardBench 2。如果他们自己进行RLHF，应在自己的管道中采用领先模型的最佳实践和数据集，因为奖励模型需要符合政策的训练配方（即模仿他们试图用RL训练的模型的奖励模型）。对于推理时间扩展或数据过滤，RewardBench 2显示它们可以选择最适合其领域的最佳模型并看到相关性能，”兰伯特说。

兰伯特指出，像RewardBench这样的基准为用户提供了一种基于对他们最重要的维度来评估所选模型的方法，而不是依赖于狭隘的一刀切分数。他说，许多评估方法声称评估的“性能”非常主观，因为模型的良好响应高度依赖于用户的具体上下文和目标。同时，人类偏好变得非常细微。

艾伦人工智能研究院于2024年3月发布了RewardBench的第一个版本。当时，该公司表示这是奖励模型的第一个基准和排行榜。从那时起，出现了几种用于基准测试和改进奖励模型的方法。Meta的FAIR团队推出了reWordBench。DeepSeek发布了一种名为自我原则批判调优的新技术，用于更智能、可扩展的奖励模型。

模型表现如何

由于RewardBench 2是RewardBench的更新版本，Ai2测试了现有的和新训练的模型，查看它们是否继续保持高排名。这些包括各种各样的模型，如Gemini、Claude、GPT-4.1和Llama-3.1的版本，以及Qwen、Skywork及其自身的Tulu数据集和模型。

该公司发现，更大的奖励模型在基准测试中表现最好，因为其基础模型更强。总体而言，表现最强的模型是Llama-3.1 Instruct的变体。在专注力和安全性方面，Skywork数据“特别有帮助”，而Tulu在事实性方面表现出色。

Ai2表示，尽管他们认为RewardBench 2“是在广泛、多领域准确性评估方面向前迈出的一步”用于奖励模型，但他们警告说，模型评估应主要用作选择最能满足企业需求的模型的指南。

VB每日商业用例洞察

如果你想给老板留下深刻印象，VB每日可以帮你实现。我们为你提供公司如何运用生成式人工智能的内幕消息，从监管变化到实际部署，以便你可以分享见解以获得最大投资回报率。立即订阅阅读我们的隐私政策。

感谢订阅。查看更多VB新闻通讯。

发生错误。

(以上内容均由Ai生成)