递归混合提供 2 倍的推理速度 – 以下是实现它的方法

快速阅读: 据《VentureBeat 公司》最新报道，韩国KAIST与Mila团队推出MoR架构，优化LLM内存与计算资源。通过参数共享与自适应计算结合，提升精度与吞吐量，降低训练成本。

据韩国科学技术院（KAIST）和Mila研究人员报道，7月20日，他们推出了一种新的Transformer架构——递归混合架构（Mixture-of-Recursions，MoR），旨在优化大型语言模型（LLMs）的内存和计算资源使用。该架构在不增加模型参数数量和计算预算的前提下，显著提高了模型精度和吞吐量。

当前，大型语言模型的扩展面临着内存占用和计算需求激增的问题，这限制了除超大规模数据中心外其他组织的训练和部署能力。为解决这一难题，研究者们提出了两种主要方法：参数共享和自适应计算。参数共享通过在模型不同部分重用权重来减少唯一参数的数量；自适应计算则根据输入的复杂度动态调整模型的计算资源。然而，将这两种方法有效结合一直是个挑战。

MoR架构通过引入轻量级路由器和改进的键值缓存技术，成功地将参数共享与自适应计算相结合。轻量级路由器能够智能地为每个输入标记分配适当的递归深度，确保计算资源被合理分配到最需要的地方。改进的键值缓存技术则通过按递归阶段存储和检索活动标记的键值对，减少了内存流量，提高了模型的吞吐量。

实验结果显示，MoR模型在相同的训练计算预算下，即使参数减少了近50%，其平均少样本准确性仍优于原始模型。此外，MoR模型的训练时间减少了19%，峰值内存使用量降低了25%。随着模型规模的增加，MoR在性能上的优势愈发明显，特别是在较低的计算预算下表现尤为突出。这为大规模运营的企业带来了显著的成本节约潜力。

韩国科学技术院（KAIST）的博士生Bae Sangmin表示，MoR的设计不仅适用于文本处理，还具备跨模态的应用潜力，未来有望在视频、音频等复杂数据类型的处理中发挥重要作用。MoR为企业提供了一条有效路径，以显著减少计算和内存开销的方式实现大模型的能力。

(以上内容均由Ai生成)