GPU 与基于 PCIe 的硬盘相遇：Seagate 和 Nvidia 演示 NVMe HDD

快速阅读: 据《Tom 的硬件》最新报道，西部数据展示NVMe协议加持的硬盘，以更好适配AI数据中心需求。相比传统SAS/SATA，NVMe提供更高带宽、更低延迟及更好扩展性，大幅提升AI工作负载性能。西部数据构建的概念验证系统显示，NVMe硬盘可在降低成本的同时支持高性能AI环境。

西部数据展示NVMe协议加持的硬盘用于AI数据中心

（图片版权：西部数据）

硬盘驱动器在未来多年内仍将是数据中心最具成本效益的存储解决方案，但为了更好地适应人工智能数据中心的需求，西部数据正在开发一款使用通用PCIe接口和NVMe 2.0协议的硬盘。在GTC大会上，西部数据展示了基于NVMe硬盘、NVMe固态硬盘、Nvidia的BlueField 3 DPU和AIStore软件的概念验证系统，以证明NVMe如何革新硬盘用于AI工作负载。西部数据领先于其竞争对手，后者也在开发NVMe硬盘。

**新协议，新性能**
硬盘驱动器传统上使用专用接口，例如SCSI、并行ATA、串行ATA（SATA）等，这些接口虽然表现良好，但在现代高性能数据环境中已接近极限，尤其在AI和大规模数据中心中。SATA和SAS都依赖于1980年代开发的串行协议，这些协议携带的遗留协议层无法满足现代高速数据处理的需求。此外，SAS和SATA设置需要主机总线适配器和额外的控制器层，增加了复杂性、潜在故障点和延迟。因此，这些架构并不适合需要高吞吐量和低延迟访问海量数据集的AI工作负载。

相比之下，NVMe搭配PCIe提供了显著更高的带宽、更低的延迟和更好的可扩展性。与受限于6-12 Gbps速度且依赖HBA和扩展器等复杂层的SAS/SATA不同，NVMe通过行业标准的PCIe接口运行，支持高达128 GB/s的速度（单个硬盘在相当长的时间内不需要超过1 TB/s的带宽，但在系统级别，带宽越多越好），并且大大减少了系统复杂性并简化了可扩展性。NVMe还通过DPUs绕过CPU实现直接GPU到存储（GPUDirect）访问，从而减少CPU瓶颈，并支持每个队列64K队列和每队列64K命令，极大提升了并行处理能力，这对AI系统至关重要。

**概念验证系统**
为验证这一架构，西部数据构建了一个概念验证系统，集成了八个NVMe硬盘、四个NVMe固态硬盘用于缓存、Nvidia的BlueField 3 DPU和AIStore软件，所有这些都在西部数据的NVMe混合阵列外壳中运行。测试结果显示，直接GPU到存储访问最小化了AI工作流程中的延迟。此外，移除传统的SAS/SATA基础设施简化了系统架构并提高了存储效率。AIStore软件动态优化数据缓存和分层，这大大提升了AI模型训练性能。

此外，西部数据表示，使用NVMe-over-Fabric（NVMe-oF）时，该系统可扩展至EB级别。具体而言，NVMe-oF集成能够无缝扩展多机架AI存储集群，这对于在大型数据中心中高效（或许更重要的是无缝）扩展至关重要。试验确认，NVMe硬盘可以在不依赖全闪存存储解决方案的情况下支持高性能AI环境，同时降低成本并保持性能。

**保持领先地位**
AI系统正在推动数据存储需求的指数级增长，而现有架构面临重大限制。固态硬盘提供高速性能，但在这种规模下长期存储在经济上不可持续。SAS和SATA硬盘提供经济性，但由于依赖主机总线适配器（HBA）、专有硅和未针对AI高吞吐量、低延迟需求优化的控制器系统，引入了复杂性和延迟。云存储选项进一步使基础设施复杂化，具有高广域网数据传输成本、不可预测的检索时间和延迟高峰，这阻碍了AI处理效率。这些限制导致了复杂的、昂贵的和低效的架构，减缓了AI的采用和性能。

**未来的AI存储需求**
如今，企业需管理PB到EB级别的数据集以进行AI模型的训练和推理。展望未来，他们的需求将会增加，这就是西部数据将NVMe连接引入硬盘并创建统一高效的数据中心存储平台的解决方案将大放异彩的地方。

从硬盘复杂性的角度来看，向硬盘添加NVMe并不昂贵，因为硬盘保留了SAS/SATA物理连接器及其传统的3.5英寸外形尺寸。唯一的变化是添加了对NVMe协议的支持和一个PCIe接口到控制器（可能只花费几美分），以及开发支持NVMe功能和能力（如GPUDirect）的固件。考虑到转向NVMe/PCIe连接消除了HBA和相关复杂性，小幅的成本上涨几乎不会引起行业的注意。然而，随着硬盘容量的增加，其每TB的IOPS性能下降，这可能会影响未来在AI集群中的性能（或者需要更多的闪存来缓解）。为此，未来双活动臂硬盘（如西部数据的Mach.2）可能会更受AI集群的青睐。当然，这样的驱动器比普通的单活动臂硬盘更贵，但每块这样的驱动器仍然比两块单活动臂硬盘便宜，所以这不会造成任何重大冲击。

**什么时候？**
热衷的读者在了解NVMe对硬盘的优势后可能会问，这样的硬盘何时会上市。不幸的是，很难确定。大型公司通常为产品（如硬盘）寻求双重供应来源，这就是为什么NVMe硬盘作为OCP项目的一部分开发的原因。然而，尽管西部数据已经拥有NVMe硬盘，其竞争对手尚未发布相关产品。一旦这种情况发生，且所有硬盘制造商能够大批量生产此类产品时，面向AI公司和工作负载的云服务提供商将开始采用这些产品。

**查看更多硬盘新闻主题**
西部数据查看所有评论（0）
安东·希洛夫
社交链接导航
特约作者
安东·希洛夫是Tom’s Hardware的特约作者。在过去几十年里，他报道了从CPU和GPU到超级计算机的一切，并涵盖了从现代工艺技术和最新工厂工具到高科技行业趋势的各个方面。

(以上内容均由Ai生成)