超越通用基准：Yourbench 如何让企业根据实际数据评估 AI 模型

快速阅读: 据《VentureBeat 公司》最新报道，Hugging Face推出Yourbench工具，帮助开发者和企业定制基准测试以评估模型特定需求表现。尽管基准测试有局限性，但仍是评估AI模型的重要手段。此外，Google DeepMind和高校研究人员也开发了新方法来测试模型性能。

加入我们的每日和每周通讯，获取行业领先的人工智能报道的最新动态和独家内容。了解更多。

每次发布人工智能模型时，总会包含图表，展示它在这一基准测试或那一评估矩阵中如何优于竞争对手。然而，这些基准通常测试的是通用能力。对于希望使用模型和基于大型语言模型代理的组织而言，更难评估代理或模型是否真正理解其具体需求。

模型库Hugging Face发布了Yourbench，这是一个开源工具，开发者和企业可以利用它创建自己的基准测试，以测试模型在内部数据上的表现。据Hugging Face的论文介绍，Yourbench支持“从您的任何文档中进行自定义基准测试和合成数据生成”。这是改进模型评估方法的重要一步。Hugging Face明白“对于很多应用场景而言，真正关键的是模型在特定任务上的表现如何”。Yourbench让您可以根据对您重要的内容来评估模型。

据Hugging Face的论文介绍，Yourbench通过使用最少的源文本复制MMLU基准测试的子集，“总推理成本不到15美元，同时完美保留了模型性能排名的相对顺序”。在使用Yourbench之前，组织需要先对文档进行预处理。这涉及三个阶段：文档摄入以“标准化”文件格式。语义分块将文档拆分为符合上下文窗口限制且聚焦于模型注意力的形式。文档摘要。

接下来是问答生成环节，此环节基于文档中的信息生成问题。这就是用户引入所选LLM来判断哪个模型更能回答这些问题的地方。Hugging Face测试了DeepSeek V3和R1模型、阿里巴巴的Qwen系列模型（包括推理模型Qwen QwQ）、Mistral Large 2411和Mistral 3.1 Small、Llama 3.1和Llama 3.3、Gemini 2.0 Flash、Gemini 2.0 Flash Lite和Gemma 3、GPT-4o、GPT-4o-mini和o3 mini，以及Claude 3.7 Sonnet和Claude 3.5 Haiku。Shashidhar提到，Hugging Face还对模型进行了成本分析，发现Qwen和Gemini 2.0 Flash“以极低的成本带来巨大价值”。

计算限制

然而，基于组织文档创建自定义LLM基准测试是有代价的。运行Yourbench需要强大的计算能力。Shashidhar在X上提到，公司正在“全力增加算力”。Hugging Face使用多块GPU，并与谷歌等公司合作，利用他们的云服务进行推理任务。

基准测试并不完美

基准测试及其他评估手段能让用户了解模型的表现如何，但这些无法全面反映模型的实际日常应用效果。有人甚至质疑基准测试暴露了模型的局限性，可能得出关于其安全性和性能的错误结论。一项研究还警告说，基准测试代理可能是“误导性的”。然而，随着市场上有许多选择，企业无法避免评估模型，技术领导者也证明了使用人工智能模型的成本上升是合理的。这导致了不同的方法来测试模型的性能和可靠性。

Google DeepMind推出了FACTS Grounding方法，该方法用于测试模型依据文档信息生成事实准确响应的能力。一些耶鲁大学和清华大学的研究人员开发了自我调用代码基准，以帮助企业确定哪些编码LLM对其适用。

VB Daily的商业用例每日洞察

如果你希望给老板留下深刻印象，VB Daily可以助你一臂之力。我们会为你解读公司如何运用生成式人工智能，从监管调整到实际部署，这样你就可以分享见解以获得最大回报。立即订阅阅读我们的隐私政策感谢订阅。查看更多VB时事通讯。发生错误。

(以上内容均由Ai生成)