Meta新实验室推REFRAG框架，RAG推理提速30倍

快速阅读: Meta成立超级智能实验室，发布REFRAG框架，大幅提升大语言模型在RAG任务中的推理速度超30倍，降低计算成本，提高效率。

近日，Meta公司宣布成立全新的超级智能实验室（Meta Superintelligence Labs, MSL），并发布了首篇重要论文。该研究成果显著提升了大语言模型在检索增强生成（RAG）任务中的推理速度，提升幅度超过30倍。

论文名为《REFRAG: Rethinking RAG Based Decoding》，主要探讨如何使大型语言模型在执行RAG任务时，快速提炼出关键信息，以减少计算量并缩短响应时间，同时保持准确度不变。Meta超级智能实验室的成立，标志着公司在人工智能领域进一步加强投入，特别是在当前激烈的竞争环境下，扎克伯格迫切需要推动AI技术的发展。

该实验室于今年6月正式成立，总部位于加利福尼亚州的门洛帕克，旨在研发超级智能技术。据报道，扎克伯格在4月份对Meta最新发布的Llama4模型表现不满意，甚至要求员工加班改进。这促使他成立了新实验室，并引进了大量顶尖人才，包括Scale AI的创始人Alexandr Wang。

在实验室内部，团队被分为四个小组，分别负责大语言模型的研发、人工智能基础研究、产品技术落地及基础设施建设。REFRAG框架的提出，正是实验室在优化大语言模型性能上的第一步。

REFRAG框架的核心理念是，通过一个轻量级模型将冗长的上下文内容压缩成摘要，减少解码器处理的信息量。这种方法不仅加快了处理速度，还降低了计算成本，提高了模型的效率。此外，研究团队还采用了“持续预训练”的方法，通过重建任务训练模型，以在压缩信息的同时尽可能保留重要细节。

经过全面测试，REFRAG在多种任务中表现出色，尤其在时间延迟和吞吐量方面有显著提升。实验结果显示，在压缩比为16倍的情况下，REFRAG的速度超越了此前最先进的模型CEPE，且几乎未损失准确性。

这一创新成果为Meta在人工智能领域的发展注入了新的动力，同时也展示了其在提高大模型推理效率方面的前瞻性思考。

(以上内容均由Ai生成)