模拟芯片加速AI训练,能耗降低千倍
快速阅读: 北京大学研发模拟芯片组,提升矩阵方程求解速度和精度,能耗远低于现有数字芯片,有望缓解AI模型训练中的能源消耗问题。
模拟计算机在解决训练人工智能模型所需的关键方程方面速度快且能耗低,可能成为应对数据中心因人工智能热潮而日益增长的能源消耗问题的潜在解决方案。笔记本电脑、智能手机等常见的设备属于数字计算机,因为它们以一系列二进制数字(0或1)的形式存储和处理数据,并可以编程来解决各种问题。相比之下,模拟计算机通常设计用于解决某一特定问题,它们利用可以连续变化的量(如电阻)来存储和处理数据,而不是离散的0和1。
研究人员发现,模拟计算机在速度和能效方面表现出色,但过去其准确性不及数字计算机。现在,北京大学的孙忠及其同事开发了一对协同工作的模拟芯片,能够精确地解决矩阵方程——这是数据传输、大规模科学模拟或训练AI模型的基本部分。第一块芯片快速输出低精度的矩阵计算结果,第二块芯片则运行迭代精炼算法,分析第一块芯片的误差率并提高精度。据孙忠介绍,第一块芯片的误差率约为1%,但在第二块芯片经过三次循环后,这一数字降至0.0000001%——这与标准数字计算的精度相匹配。
目前,研究团队已经制造出能够解决16×16矩阵(含256个变量)的芯片,适用于一些小型问题。然而,孙忠承认,要解决当今大型AI模型的问题,则需要规模大得多的电路,可能达到百万乘百万级别。但模拟芯片的一个优势在于,随着矩阵尺寸的增加,解决时间并不会相应延长,而数字芯片的处理时间会呈指数级增长。这意味着,32×32矩阵芯片的吞吐量将超过当前用于训练AI的高端芯片之一——英伟达H100 GPU。理论上,进一步扩大规模可使吞吐量达到数字芯片的1000倍,同时能耗降低100倍。不过,孙忠也指出,实际任务可能超出其电路的极窄能力范围,导致加速效果有限。
伦敦国王学院的詹姆斯·米伦表示,矩阵计算是训练AI模型的关键过程,模拟计算提供了潜在的提升。他提到:“现代世界建立在数字计算机之上。这些了不起的机器是通用计算机,意味着它们可以计算任何事情,但并非所有事情都能高效或快速地计算出来。模拟计算机针对特定任务进行了优化,在这方面可以非常快速和高效。这项工作使用模拟计算芯片加速了一个称为矩阵求逆的过程,这是训练某些AI模型的关键步骤。如果这个过程能更高效地完成,有助于减轻我们对AI日益增长的依赖所带来的巨大能源需求。”
《自然电子学》杂志发表了相关研究成果,DOI: 10.1038/s41928-025-01477-0。主题涵盖计算/人工智能。
(以上内容均由Ai生成)