Pliops 宣布与 vLLM 生产堆栈合作，以增强 LLM 推理性能
快速阅读: 据《GlobeNewswire（新闻稿）》最新报道，2025年3月12日，存储解决方案领导者Pliops宣布与芝加哥大学LMCache实验室合作，优化大型语言模型推理性能。双方将结合各自优势，提升AI应用效率与成本效益，合作成果将在GTC 2025大会上展示。
**美国加州圣克拉拉，2025年3月12日（GlobeNewswire）——存储和加速解决方案领域的领导者Pliops今日宣布与芝加哥大学LMCache实验室开发的vLLM生产堆栈展开战略合作。这一合作旨在彻底改变大型语言模型（LLM）推理性能，在下周即将举行的GTC 2025大会前，AI社区正齐聚一堂。**
Pliops与vLLM生产堆栈——一个集群级全栈vLLM服务系统的开源参考实现，为LLM推理提供了无与伦比的性能和效率。Pliops贡献了其在共享存储和高效vLLM缓存卸载方面的专长，而LMCache实验室则带来了多实例执行的强大可扩展性框架。该联合解决方案还将受益于从失败实例中恢复的能力，利用Pliops先进的KV存储后端，为AI应用设定新的性能和可扩展性基准。
“我们很高兴能与Pliops合作，为LLM推理带来前所未有的效率和性能，”芝加哥大学LMCache实验室主任姜俊成表示，“这一合作展示了我们对创新的承诺，并推动AI可能达到的边界。共同，我们正在为AI部署的未来奠定基础，推动将惠及广泛应用程序的进展。”
**联合解决方案的关键亮点：**
**无缝集成**：通过使vLLM仅处理每个上下文一次，Pliops和vLLM生产堆栈确立了可扩展和可持续AI创新的新标准。
**增强性能**：该合作引入了一层位于高带宽内存（HBM）之下的PB级内存，用于GPU计算应用。采用低成本的分散式智能存储，计算出的KV缓存被保留和高效检索，大幅提升vLLM推理速度。
**AI自主任务代理**：此解决方案非常适合AI自主任务代理，通过战略规划、复杂推理及与外部环境的动态交互，解决各种复杂的任务。
**成本效益的服务**：Pliops的NVMe SSD KV存储技术增强了vLLM生产堆栈，在保证高性能的同时降低服务成本、能耗和计算需求。
**展望未来，Pliops与vLLM生产堆栈的合作将在以下阶段继续发展：**
**基础集成**：目前的重点是将Pliops的KV-IO模块集成到生产环境中。这一阶段通过高效的KV/IO模块启用功能开发，借助Pliops的LightningAI KV存储。这包括使用共享存储进行预填充-解码分离和KV缓存移动，以及共同工作定义要求和API。Pliops正在开发一种通用的GPU KV存储IO框架。
**高级集成**：下一阶段将把Pliops vLLM加速整合到生产堆栈中。这包括跨多轮对话的提示缓存功能，如OpenAI和DeepSeek提供的平台，将KV缓存卸载至可扩展且共享的键值存储，以及无需粘性或缓存感知路由。
“这一合作为提升LLM推理带来了令人兴奋的可能性，”Pliops首席执行官伊多·布克斯潘评论道，“它使我们能够利用互补优势来应对一些AI最严峻的挑战，推动广泛应用程序中的更大效率和性能。”
**联系Pliops阅读博客关于Pliops访问资源中心——XDP闪电AI简报LinkedIn上连接关注X关于Pliops XDP闪电AI**
随着生成式AI应用需求的增长，优化LLM推理效率和降低成本变得至关重要。凭借Pliops的XDP闪电AI解决方案，即一种加速的KV分布式智能节点，引入了一层位于高带宽内存（HBM）之下的PB级内存，用于GPU计算应用。它利用低成本的分散式智能存储保留计算出的KV缓存，若从HBM中丢弃则可重新检索。当提供预处理上下文时，保存的KV缓存从存储中高效加载，使vLLM能够显著更快地生成新内容。
**关于Pliops**
荣获FMS 2024年度最具创新性AI解决方案的Pliops是一家专注于让数据中心运行得更快更高效的科技革新者。公司的极端数据处理器（XDP）彻底简化了数据处理和管理的方式。Pliops解决了I/O效率低下的问题，极大提升了性能并显著降低了数据渴求型AI应用的整体基础设施成本。成立于2017年的Pliops屡次被评为十大最热门半导体创业公司之一。迄今为止，该公司累计融资超过2亿美元，投资方包括Koch Disruptive Technologies、State of Mind Ventures Momentum、Intel Capital、Viola Ventures、SoftBank Ventures Asia、Expon Capital、NVIDIA、AMD、Western Digital、SK海力士和Alicorn。
**欲了解更多信息，请访问** [www.pliops.com](http://www.pliops.com)
**媒体联系人：**
**Stephanie Olsen**
Lages & Associates
电话：(949) 453-8080
邮箱：[stephanie@lages.com](mailto:stephanie@lages.com)
**附带的照片可在以下网址查看：**
[https://www.globenewswire.com/NewsRoom/AttachmentNg/94f982b7-1d6c-4522-9258-6a7048c07e73](https://www.globenewswire.com/NewsRoom/AttachmentNg/94f982b7-1d6c-4522-9258-6a7048c07e73)
(以上内容均由Ai生成)
