瑞士棺材刚刚在阿尔卑斯山超级计算机上训练了一个“完全开放”的 LLM

快速阅读: 据《The Register》称，瑞士研究人员利用阿尔卑斯超级计算机训练出两个开放的大语言模型，分别有80亿和700亿参数，使用15万亿标记数据，支持超过1000种语言，将开源发布。

超级计算机通常与科学探索、研究和开发相关，并确保我们的核武库正常运行。这些工作负载通常依赖于高精度计算，64位浮点数学是行业标准。但随着对低精度数据类型的支援继续进入用于构建这些系统的芯片中，超级计算机越来越多地被用于训练人工智能模型。这正是苏黎世联邦理工学院（ETH Zurich）和洛桑联邦理工学院（EPFL）的研究人员所做的。本周在日内瓦举行的国际开源大型语言模型开发者峰会上，研究人员透露了一对使用该国阿尔卑斯超级计算机训练的开放大型语言模型（LLM）。

就超级计算机而言，阿尔卑斯超级计算机比大多数系统更适合同时运行AI工作负载和传统高性能计算（HPC）应用。该系统目前是欧洲第三强大的超级计算机，在每半年更新一次的Top500排名中位列全球第八。它也是首批基于Nvidia Grace-Hopper超级芯片的大规模超级计算机之一。

每个GH200超级芯片都配备了一个由72个Arm Neoverse V2核心驱动的定制Grace CPU，并通过900GB/s的NVLink-C2C互连连接到一个96GB的H100 GPU。这些GPU占据了阿尔卑斯超级计算机总计算能力的大部分，最高可达34万亿次FP64向量运算性能。然而，如果你愿意稍微降低一点分辨率，比如使用FP8，性能将跃升至近四千万亿次稀疏计算。

由HPE的Cray部门制造的阿尔卑斯超级计算机配备了超过10,000个这样的芯片，分布在2688个计算刀片上，这些刀片通过OEM自定义的Slingshot-11互连技术连接在一起。整个系统拥有42艾次的稀疏FP8计算性能，使用更精确的BF16数据类型时约为一半。

虽然Nvidia的H100加速器多年来一直广泛用于人工智能训练，但绝大多数Hopper集群采用的是NVIDIA的8-GPU HGX外形规格，而不是其超级芯片。不过，阿尔卑斯并不是唯一使用它们的超级计算机。德国的朱庇特超级计算机和英国的Isambard AI，这两台系统均采用了NVIDIA的GH200超级芯片。

“训练这个模型之所以可能，是因为我们对‘阿尔卑斯’超级计算机的战略投资，这是一台专门为人工智能设计的超级计算机，”瑞士国家超级计算中心（CSCS）主任、苏黎世联邦理工学院教授托马斯·舒尔瑟斯在一篇博客文章中说道。

研究人员尚未命名这些模型，但我们知道它们将提供80亿和700亿参数的两个版本，并且已使用15万亿个标记的数据进行训练。它们预计将能够流利地使用超过1000种语言，其中大约40%的训练数据来自非英语语言。

更重要的是，研究人员表示，这些模型将是完全开放的。除了像微软、谷歌、Meta等公司那样仅发布模型和权重供公众审查和调整之外，苏黎世联邦理工学院的研究人员还打算发布用于训练模型的源代码，并声称“训练数据将是透明且可复现的。”

“通过拥抱全面的开放性——不同于商业模型在封闭环境中开发——我们希望我们的方法能推动瑞士、欧洲乃至跨国合作中的创新，”EPFL教授马丁·贾吉在帖子中说道。

随着SiPearl最终完成了Rhea1芯片的设计定型，欧洲的百亿亿次计算梦想又向前迈进了一步。

亚马逊为Anthropic打造了一个庞大的AI超级集群，名为Project Rainier——目前所知信息如下。

朱庇特——欧洲目前最强的超级计算机——首次启动，但未达到百亿亿次级别。

英国的Isambard-AI超级计算机已启动，政府正陷入AI热潮。

据ETH人工智能中心的研究科学家Imanol Schlag表示，这种透明度对于构建高信任度的应用程序以及推进人工智能的风险与机遇研究至关重要。

此外，研究人员认为，对于大多数任务和一般性知识问题，绕过网络爬虫保护并非必要，遵守这些退出选项也未表现出性能下降的迹象。

这些大语言模型预计将在今年夏天晚些时候以高度宽松的Apache 2.0许可协议向公众开放。

(以上内容均由Ai生成)