Nvidia Dynamo 和 Storage Next 提升 AI 存储、性能并降低成本

快速阅读: 据《福布斯》称，NVIDIA在GTC 2025发布AI数据平台，结合Blackwell GPU等提升AI性能，降低能耗。Dynamo软件引入KV缓存管理器优化存储层级，降低成本。与多家公司合作的“Storage Next”计划将推全新存储架构，助力GPU计算。

在2025年的NVIDIA GPU技术大会（GTC）上，NVIDIA发布了其AI数据平台，该平台在企业级数字存储领域取得了重大突破，以支持公司的AI工作负载。然而，NVIDIA Dynamo软件中的KV缓存功能，以及未来将存储和内存更直接地连接至GPU的计划，将进一步推动数字存储和内存需求的增长，提高推理性能并降低AI成本。

NVIDIA AI数据平台结合了Blackwell GPU、BlueField DPU和Spectrum-X网络，相较于基于CPU的传统存储方案，其性能提升了1.6倍，功耗减少了50%，每瓦性能提升了三倍以上，并且相较传统以太网，加速存储流量最多可提升48%。这一成果得益于与多家数字存储公司紧密合作，正如黄仁勋在GTC主题演讲中所展示的那样。

黄仁勋在大会上介绍了NVIDIA的企业级AI数据平台，并详细阐述了Dynamo的作用。他将Dynamo形容为“AI工厂的操作系统”。KV缓存存储了AI模型在特定时间点的状态信息，对于大型模型而言，KV缓存可能变得极其庞大。然而，KV缓存能显著加快用户响应速度，同时避免重新计算模型结果，从而有效降低运营成本并提高效率。

NVIDIA Dynamo是一款开源、高性能、低延迟的推理软件，旨在实现模型部署的标准化，并在生产环境中提供快速且可扩展的AI支持。由于为用户请求生成已训练的KV值需要大量计算资源，而将这些值仅保存在GPU内存中则成本高昂，因此Dynamo引入了KV缓存管理器。该管理器能够将较旧或访问频率较低的KV缓存块转移到更具成本效益的存储介质中，例如CPU内存、本地存储或者联网的对象存储和文件存储。这种方式使组织能够以更具成本效益的方式存储PB级别的KV缓存数据，通过在GPU可访问存储的不同层级之间分配KV缓存块，具体依据使用频率进行优化。这样的层级结构覆盖了内存、SSD和HDD等不同媒介。此外，Dynamo还能够在多个GPU节点上管理KV缓存，并支持分布式和解耦的推理服务，借助分层缓存，在多个级别制定卸载策略。

NVIDIA与其他多家数字存储和内存公司共同推进的一项名为“Storage Next”的计划，是Open Compute Project的一部分，旨在为GPU计算开发一种全新的存储架构，用于内存解耦的数据保护、管理的块存储，并采用下一代NVMe over PCIe第6代总线技术。预计这一计划将带来更低的总体拥有成本、更高的IOPS、更低的功耗、更简单的基础设施，以及减少尾部延迟带来的影响。Kevin告诉我，这项计划还将包含针对AI的计算存储解决方案。NVIDIA计划于2025年8月的FMS上进一步分享更多细节。

NVIDIA的Dynamo通过可扩展的数字存储和内存分层KV缓存，实现了更快、更高效的AI推理。存储行业正在研发的新技术将进一步强化数字存储与GPU之间的融合。

(以上内容均由Ai生成)