NVIDIA Blackwell 创下新纪录

快速阅读: 《电子说明符》消息，英伟达在MLPerf推理V5.0中刷新多项记录，Blackwell平台大幅提升性能。新增Llama 3.1等基准测试，英伟达硬件展现卓越AI推理能力。多伙伴基于英伟达平台提交结果，助力AI基础设施优化与发展。

英伟达凭借其在MLPerf推理V5.0基准测试中的最新成果，再度突破了人工智能性能的边界。全新推出的Blackwell平台刷新了多项纪录，标志着英伟达首次利用GB200 NVL72系统（一款专为AI推理设计的机架级解决方案）参与MLPerf提交。随着人工智能的不断演进，传统数据中心正逐步转型为AI工厂——即专门用于大规模生成智能的基础设施。这些AI工厂致力于高效处理海量数据，并以最低成本提供精准的查询响应，同时最大化其可访问性。如今，AI模型的复杂度已攀升至数十亿乃至数万亿参数，这要求具备强大的计算能力。这一增长带来了在维持高推理吞吐量的同时降低每token成本的挑战。为应对这一难题，需要在硅芯片、网络系统及软件层面迅速实现创新。

MLPerf推理V5.0：新挑战与新成就
MLPerf推理作为行业广泛认可的基准测试，引入了新的评估项目，其中包括Llama 3.1 405B模型——这是目前最大的开源权重模型之一，同时也是计算需求最高的模型之一。此外，还推出了对延迟要求更为严格的Llama 2 70B Interactive基准测试。英伟达的Blackwell与Hopper平台在此次基准测试中表现优异。GB200 NVL72系统将72个英伟达Blackwell GPU整合成一个巨型GPU，在Llama 3.1 405B基准测试中，其吞吐量相较英伟达H200 NVL8提交提升了30倍。这一性能跃升得益于每个GPU性能超过三倍的增长以及NVIDIA NVLink互连带宽提升了九倍。

现实世界中的AI推理性能
AI推理效率通常通过两个关键的延迟指标来衡量：首次令牌时间（TTFT）：查询提交后响应开始的速度；每个输出令牌时间（TPOT）：令牌交付的速度。新增设的Llama 2 70B Interactive基准测试提出了更严苛的要求，需要TPOT缩短五倍，TTFT降低4.4倍。在此测试中，配备八个Blackwell GPU的NVIDIA DGX B200系统性能达到了配备H200 GPU的等效系统的三倍。

持续优化Hopper AI工厂
英伟达的Hopper架构于2022年发布，至今仍在为AI推理和训练任务提供支持。持续的软件优化显著提升了Hopper架构AI工厂的吞吐量。在Llama 2 70B基准测试中，自MLPerf推理V4.0以来，H100 GPU的吞吐量提升了1.5倍，而H200 GPU则进一步提高了1.6倍。Hopper依旧保持高度灵活性，能够运行本次MLPerf测试中的所有基准，包括Llama 3.1 405B和新增的图神经网络测试，确保其能够应对日益复杂的AI模型需求。

扩展英伟达AI生态体系
十五家技术伙伴在此次MLPerf测试中利用英伟达硬件提交了结果，其中包括华硕、思科、CoreWeave、戴尔科技、富士通、Giga Computing、谷歌云、惠普企业、Lambda、联想、甲骨文云基础设施、广达云科技、超微、可持续金属云和VMware。英伟达AI平台的广泛应用表明其在全球云服务提供商和企业服务器制造商中的普及程度。由MLCommons监管的MLPerf推理基准测试不断进化，确保IT决策者能够获得经过同行评审的性能数据。这有助于组织选择最高效的AI基础设施，以满足其需求，因为AI应用的规模正在不断扩大。

(以上内容均由Ai生成)