TensorWave 老板表示,AMD 对 Nvidia 的首次尝试受到半生不熟的训练软件的阻碍
快速阅读: 据《The Register》称,大型GPU集成系统通过高速互联模拟单一加速器,可采用NVLink或未来开源UALink标准。这种架构利于训练超大规模模型,如Meta即将发布的包含近两万亿参数的Llama 4超级模型。
这些大型机架式系统通常集成了大量的 GPU,通过高速互联的方式连接,从而充当一个单一的加速器。它们可以使用英伟达的专有 NVLink 协议,或者未来采用 AMD、英特尔等支持的开源标准 UALink。这种方式在运行或训练超大规模模型时具有诸多优势,例如 Meta 即将发布的 Llama 4 超级模型,据说该模型包含近两万亿个参数,其中约有 2880 亿个为活跃参数。
(以上内容均由Ai生成)