数以千计的 NVIDIA Grace Blackwell GPU 现在部署在 CoreWeave 上,推动 AI 先驱的发展
快速阅读: 据《NVIDIA 官方博客》称,科纬迅率先推出英伟达Grace Blackwell NVL72系统,助力Cohere、IBM和Mistral AI等公司提升AI模型训练与推理性能,加速AI创新,推动企业级AI应用发展。
今日,科纬迅(CoreWeave)成为首批大规模向客户推出英伟达Grace Blackwell NVL72系统的云服务提供商之一。前沿的人工智能公司Cohere、IBM和Mistral AI已经开始使用这些系统来训练和部署下一代人工智能模型与应用。作为首家提供英伟达Grace Blackwell的云服务商,科纬迅在MLPerf基准测试中凭借英伟达Grace Blackwell NVL72展示了令人瞩目的成果——这是一款专为推理和人工智能代理设计的强大机架级加速计算平台。现在,科纬迅客户已开始访问数千块英伟达Blackwell GPU。
“我们与英伟达密切合作,迅速为客户提供最新且最强大的AI模型训练和推理服务解决方案,”科纬迅首席执行官迈克·因特纳表示,“借助新的Grace Blackwell机架级系统,我们的许多客户将是首批体验到规模化AI创新者带来的好处和性能提升的人。”
如今,成千上万的英伟达Blackwell GPU正以前所未有的速度将原始数据转化为智能,更多设备即将上线。像科纬迅这样的云服务提供商正在为客户加速部署。基于英伟达Grace Blackwell构建的系统已全面投产,将云数据中心转变为人工智能工厂,通过高速、准确和高效的方式将原始数据转化为实时洞察。全球领先的AI公司正利用GB200 NVL72的能力为AI应用、自主AI和尖端的模型开发赋能。
**个性化AI代理**
Co here正在利用其Grace Blackwell超级芯片帮助开发由领先的研究和技术驱动的安全企业级AI应用。其企业级AI平台“北”,使团队能够构建个性化AI代理,安全地自动化企业工作流程,呈现实时洞察等。借助科纬迅上的英伟达GB200 NVL72,Co here在训练具有1000亿参数的模型时,相比前一代英伟达Hopper GPU,性能提升了高达3倍——即使没有针对Blackwell的具体优化措施。通过进一步优化利用GB200 NVL72的大统一内存、FP4精度和72-GPU英伟达NVLink域(每块GPU相互连接协同运行),Co here显著提升了处理能力,并缩短了首次和后续令牌的时间,从而实现了更高效、更具成本效益的推理。
“得益于云中一些首批英伟达GB200 NVL72系统的访问权限,我们很高兴我们的工作负载轻松迁移到英伟达Grace Blackwell架构上,”Co here工程副总裁奥托姆·莫尔德表示,“这显著提升了我们整个技术栈的性能效率——从单个Blackwell GPU上运行的垂直整合的‘北’应用程序,到在数千个GPU上扩展训练任务。我们期待随着进一步优化实现更高的性能。”
**企业级AI模型**
IBM正在利用英伟达GB200 NVL72系统的首批部署之一,扩展至科纬迅上的数千块Blackwell GPU,用于训练下一代Granite模型系列,这是开放源代码、企业就绪的AI模型。Granite模型在最大化安全性、速度和成本效率的同时,提供了最先进的性能。Granite模型家族拥有一个强大的合作伙伴生态系统,包括嵌入大型语言模型的领先软件公司。Granite模型为IBM watsonx Orchestrate等解决方案奠定了基础,该解决方案使企业能够构建和部署强大的AI代理,自动化且加速企业工作流。
科纬迅为IBM提供的英伟达GB200 NVL72部署还利用了IBM Storage Scale系统,该系统为AI提供了卓越的高性能存储。科纬迅客户可以在科纬迅的专用环境和AI云平台上访问IBM存储平台。
“我们很高兴看到英伟达GB200 NVL72能够加速我们Granite模型家族的训练,”IBM研究AI副总裁斯里拉姆·拉加瓦南表示,“与科纬迅的这项合作将增强IBM的能力,帮助构建先进的、高性能且成本高效的模型,以支持IBM watsonx为企业和自主AI应用提供动力。”
**大规模计算资源**
Mistral AI现在获得了其首批千块Blackwell GPU,用于构建下一代开源AI模型。总部位于巴黎的开源AI领导者Mistral AI正在利用配备GB200 NVL72的科纬迅基础设施,加快其语言模型的开发。像Mistral大型模型这样具备强大推理能力的模型需要大规模快速计算资源。为了有效地训练和部署这些模型,Mistral AI需要一个提供大型高性能GPU集群的云服务提供商,这些集群配备了英伟达Quantum InfiniBand网络和可靠的基础设施管理。科纬迅通过行业领先的可靠性和弹性工具(如CoreWeave Mission Control)大规模部署英伟达GPU的经验满足了这些要求。
“开箱即用且无需额外优化,我们在密集型模型训练性能提升方面达到了2倍,”Mistral AI联合创始人兼首席技术官蒂莫泰·拉克鲁瓦表示,“英伟达GB200 NVL72的新可能性为模型开发和推理开辟了新途径。”
**越来越多的Blackwell实例**
除了长期客户解决方案外,科纬迅还提供基于72块英伟达Blackwell GPU和36块英伟达Grace CPU的机架级NVIDIA NVLink实例,通过NVIDIA Quantum-2 InfiniBand网络可扩展至多达110,000块GPU。这些由英伟达GB200 NVL72机架级加速计算平台加速的实例,提供了构建和部署下一代AI推理模型及代理所需的规模和性能。
(以上内容均由Ai生成)