新的 1.5B 路由器型号无需昂贵的重新训练即可实现 93% 的准确率

快速阅读: 《VentureBeat 公司》消息，Katanemo实验室推出“Arch-Router”，一种智能路由框架，根据用户偏好将查询分配给最佳LLM，提升多模型系统的效率与灵活性。

想要更智能的见解进入您的邮箱吗？订阅我们的每周新闻通讯，获取仅对企业AI、数据和安全领导者重要的内容。立即订阅

研究人员在Katanemo实验室推出了“Arch-Router”，这是一种新的路由模型和框架，旨在智能地将用户查询映射到最合适的大型语言模型（LLM）。

对于依赖多个LLM构建产品的公司而言，“Arch-Router”旨在解决一个关键挑战：如何在不依赖固定逻辑或每次更改时进行昂贵的微调的情况下，将查询引导至最适合任务的模型。

LLM路由的挑战

随着LLM数量的增长，开发者正从单模型设置转向多模型系统，利用每个模型的独特优势来完成特定任务（例如代码生成、文本摘要或图像编辑）。LLM路由已成为构建和部署这些系统的关键技术，它充当交通控制器，将每个用户查询引导至最合适的模型。

现有的路由方法通常分为两类：“基于任务的路由”，即根据预定义的任务进行路由；“基于性能的路由”，旨在在成本和性能之间寻求最佳平衡。

然而，基于任务的路由在处理模糊或变化的用户意图时存在困难，特别是在多轮对话中。另一方面，基于性能的路由过于僵化地优先考虑基准分数，常常忽视现实世界中的用户偏好，并且除非经过昂贵的微调，否则难以适应新模型。

更根本的是，正如Katanemo实验室的研究人员在其论文中所指出的，“现有的路由方法在实际使用中存在局限性。它们通常优化基准性能，而忽略了由主观评估标准驱动的人类偏好。”

研究人员强调了需要一种“与主观人类偏好一致”的路由系统，这种系统应提供更高的透明度，并且在模型和使用场景不断演变时仍易于适应。

一种面向偏好的路由新框架

为了解决这些限制，研究人员提出了一种“面向偏好的路由”框架，该框架根据用户定义的偏好将查询与路由策略相匹配。

在这个框架中，用户使用“领域-动作分类法”以自然语言定义其路由策略。这是一个两级层次结构，反映了人们自然描述任务的方式，从一般主题（领域，如“法律”或“金融”）开始，逐步细化到具体任务（动作，如“摘要”或“代码生成”）。

然后，每个策略都会链接到一个首选模型，使开发人员能够根据现实需求做出路由决策，而不仅仅是基于基准分数。正如论文所述，“这个分类法作为心理模型，帮助用户定义清晰且结构化的路由策略。”

在这个框架中，用户使用“领域-动作分类法”以自然语言定义其路由策略。这是一个两级层次结构，反映了人们自然描述任务的方式，从一般主题（领域，如“法律”或“金融”）开始，逐步细化到具体任务（动作，如“摘要”或“代码生成”）。

路由过程分为两个阶段。首先，一个面向偏好的路由模型接收用户查询和完整的策略集，并选择最合适的策略。其次，一个映射函数将选定的策略连接到其指定的LLM。

由于模型选择逻辑与策略分离，只需编辑路由策略即可添加、删除或更换模型，无需重新训练或修改路由器本身。这种解耦提供了实际部署所需的灵活性，因为模型和使用场景不断演变。

面向偏好的路由框架 来源：arXiv

策略选择由“Arch-Router”驱动，这是一个经过微调的15亿个参数语言模型，专门用于面向偏好的路由。“Arch-Router”接收用户查询和完整的策略描述作为提示。然后，它会生成最佳匹配策略的标识符。

由于策略是输入的一部分，系统可以在推理时通过上下文学习适应新的或修改后的路由，而无需重新训练。这种生成方法使“Arch-Router”能够利用其预训练知识来理解查询和策略的语义，并一次性处理整个对话历史。

将大量策略包含在提示中可能会导致延迟增加，这是常见的担忧。然而，研究人员设计了“Arch-Router”以实现高度效率。“虽然路由策略的长度可能很长，但我们可以通过对‘Arch-Router’的上下文窗口进行小幅扩展，从而最小化对延迟的影响，”共同作者之一、Katanemo实验室的创始人兼首席执行官Salman Paracha解释道。他指出，延迟主要由输出长度驱动，而对“Arch-Router”而言，输出只是路由策略的简短名称，如“image_editing”或“document_creation”。

“Arch-Router”的实际应用

为了构建“Arch-Router”，研究人员在一个精心挑选的43,000个示例数据集上对Qwen 2.5模型的一个15亿个参数版本进行了微调。然后，他们在四个专为评估对话式AI系统而设计的公共数据集上，将其性能与OpenAI、Anthropic和Google的最先进的专有模型进行了比较。

结果显示，“Arch-Router”实现了93.17%的最高总体路由得分，平均比所有其他模型（包括顶级专有模型）高出7.71%。随着对话时间的延长，该模型的优势进一步增强，显示出其在多轮对话中跟踪上下文的强大能力。

“Arch-Router”与其他模型的对比 来源：arXiv

据Paracha表示，这种方法已经在一些场景中得到实际应用。例如，在开源编码工具中，开发者使用“Arch-Router”将工作流的不同阶段（如“代码设计”、“代码理解”和“代码生成”）引导至最适合该任务的LLM。同样，企业可以将文档创建请求引导至像Claude 3.7 Sonnet这样的模型，同时将图像编辑任务引导至Gemini 2.5 Pro。

Paracha还表示，该系统也非常适合“各种领域的个人助手，其中用户拥有从文本摘要到事实性查询的各种任务”，并补充说，“在这种情况下，‘Arch-Router’可以帮助开发人员统一并提升整体用户体验。”

该框架已集成到Arch中，这是Katanemo实验室的原生AI代理服务器，允许开发人员实施复杂的流量整形规则。例如，当集成一个新的LLM时，团队可以将特定路由策略的一小部分流量发送到新模型，通过内部指标验证其性能，然后有信心地完全转移流量。该公司还在努力将其工具与评估平台集成，以进一步简化企业开发者的流程。

最终目标是超越孤立的AI实现。“‘Arch-Router’——更广泛地说，‘Arch’——帮助开发人员和企业从碎片化的LLM实现转向统一的、基于策略的系统，”Paracha表示。“在用户任务多样化的场景中，我们的框架有助于将任务和LLM的碎片化转化为统一的体验，使最终产品对终端用户来说感觉无缝。”

每日商业用例洞察，尽在VB Daily

如果您想给老板留下深刻印象，VB Daily为您准备好了。我们为您提供关于公司如何使用生成式AI的内幕消息，从监管变化到实际部署，以便您分享见解以获得最大的投资回报率。

立即订阅

查看我们的隐私政策

感谢您的订阅。请查看更多VB新闻通讯。

发生错误。

(以上内容均由Ai生成)