谷歌DeepMind推出MoR架构，Transformer迎来新挑战

快速阅读: 据相关媒体报道，KAIST、Mila和DeepMind推出MoR架构，提升推理速度2倍，内存减半。通过路由器和共享块优化，性能优于传统Transformer模型。

据最新消息，KAIST、Mila和谷歌DeepMind团队近日发布了一款名为“Mixture-of-Recursions”（MoR）的全新大型语言模型架构。这款架构在推理速度和内存使用方面实现了重大突破，推理速度提升2倍，内存使用减少一半，直接挑战了传统Transformer模型的主导地位。

MoR架构通过两项关键技术实现了性能飞跃。首先，它不再对所有文本单元（token）一视同仁，而是通过小型路由器为每个token的隐藏状态打分，仅高分token继续循环，其他则提前退出。其次，MoR设计了共享块，每个token最多循环4次，一旦路由器判断完成即跳出循环，大大提高了效率。

研究团队在135M到1.7B参数规模下测试了MoR模型，结果显示，在相同的训练计算量下，MoR不仅验证损失更低，小样本准确率也更高，吞吐量更是提升了2倍以上。此外，MoR在训练时间和内存使用方面也表现出色，相比标准基线模型，训练时间减少了19%，峰值内存使用量降低了25%。

业内人士普遍认为，MoR架构有望成为下一代大型语言模型的标准。谷歌DeepMind的研究人员表示，真正的技术突破不在于简单地增加模型参数，而在于设计上的创新。MoR的成功展示了递归混合架构的巨大潜力，未来AI的发展方向可能不再是单纯追求模型的庞大，而是更加注重高效和灵活的设计。

这项研究的详细内容已发表在《arXiv》上，论文链接为：https://arxiv.org/abs/2507.10524。

(以上内容均由AI生成)