F5 和 NVIDIA 通过增强的 LLM 路由和安全性扩展 AI 基础设施

快速阅读: 据《快速模式》称，F5推出基于NVIDIA BlueField-3 DPU的BIG-IP Next，强化Kubernetes应用交付与安全性。该方案经Sesterce验证，提升GPU利用率20%，优化AI推理，扩展模型上下文协议。F5与NVIDIA合作，开启AI基础设施新可能，提供高效流量管理与安全解决方案。

F5，全球应用交付与安全领域的领军者，宣布其面向Kubernetes的F5 BIG-IP Next新增功能正式上线。这一功能由NVIDIA BlueField-3 DPU加速，并基于NVIDIA DOCA软件框架，同时得到了客户Sesterce实际部署验证的支持。Sesterce是一家领先的欧洲运营商，专注于下一代基础设施和主权人工智能，致力于满足加速计算和人工智能的需求。

通过扩展F5的应用交付与安全平台，运行在NVIDIA BlueField-3 DPU上的BIG-IP Next为大规模人工智能基础设施提供了高性能的流量管理和安全性，从而解锁了人工智能应用更高的效率、控制和性能。同时，Sesterce成功完成了对F5和NVIDIA解决方案在多个关键能力方面的验证，包括以下领域：

– 提升性能、多租户和安全性以满足云级期望，初步显示GPU利用率提升了约20%。
– 与NVIDIA Dynamo及KV缓存管理器集成，减少大型语言模型（LLM）推理系统的推理延迟，并优化GPU和内存资源。
– 在BlueField DPU上进行智能LLM路由，与NVIDIA NIM微服务有效配合处理需要多个模型的工作负载，帮助客户快速且安全地利用所有可用模型的最佳特性。
– 扩展和保护模型上下文协议（MCP），包括反向代理功能和保护措施，使LLM更加可扩展和安全，助力客户快速、安全地利用MCP服务器的强大功能。
– 借助强大的F5 iRules功能实现数据可编程性，允许快速定制以支持AI应用和不断发展的安全需求。

新解决方案的功能亮点包括：

– 使用BIG-IP Next for Kubernetes进行LLM路由和动态负载均衡。
– 通过NVIDIA Dynamo及KV缓存管理器集成优化分布式AI推理中的GPU使用。

Youssef El Manssouri，Sesterce首席执行官兼联合创始人表示：“在我们进行任何测试之前，F5和NVIDIA之间的集成就已极具吸引力。我们的结果强调了F5在高容量Kubernetes入口和出口方面动态负载平衡的优势。这种方法使我们能够更有效地分配流量并优化GPU的使用，同时为客户带来额外的独特价值。我们很高兴看到F5对越来越多的NVIDIA用例的支持，包括增强的多租户，并期待两家公司在支持下一代AI基础设施方面的更多创新。”

Kunal Anand，F5首席创新官表示：“企业正在越来越多地部署多个LLM来推动先进的AI体验——但路由和分类LLM流量可能计算密集，会降低性能和用户体验。通过直接在NVIDIA BlueField-3 DPU上编写路由逻辑，F5 BIG-IP Next for Kubernetes是交付和保护LLM流量的最高效方法。这只是个开始。我们的平台为AI基础设施开启了新的可能性，我们对与NVIDIA深化合作创新充满期待，因为企业AI将继续扩展。”

Ash Bhalgat，NVIDIA AI网络与安全解决方案高级总监表示：“由NVIDIA BlueField-3 DPU加速的BIG-IP Next for Kubernetes为企业和服务提供商提供了一个单一的控制点，可以高效地将流量路由到AI工厂以优化GPU效率，并加速数据摄取、模型训练、推理、RAG和自主AI的AI流量。此外，F5对多租户和iRules增强编程的支持持续为集成和功能扩展提供理想的平台，例如对NVIDIA Dynamo分布式KV缓存管理器的支持。”

Greg Schoeny，World Wide Technology全球服务提供商高级副总裁表示：“采用自主AI技术的机构越来越依赖MCP部署来提高LLM的安全性和性能。通过将先进的流量管理和安全性引入广泛的Kubernetes环境，F5和NVIDIA正在提供集成的AI功能集——以及编程和自动化能力——这些功能在行业内其他地方尚未见到。”

(以上内容均由Ai生成)