摩尔线程发布URPO框架，突破大模型训练瓶颈

快速阅读: 摩尔线程在AAAI2026发布URPO框架，简化大语言模型训练，提升效率和效果。该框架将指令遵循和奖励评判合二为一，实现数据格式统一、自我奖励循环和协同进化机制，显著优于传统方法。

近日，摩尔线程的AI研究团队在国际顶级学术会议AAAI2026上发布了最新研究成果，推出了一种名为URPO（统一奖励与策略优化）的创新框架。该技术旨在简化大语言模型的训练过程，突破性能瓶颈，为AI领域开辟新的技术路径。

在题为《URPO: A Unified Reward & Policy Optimization Framework for Large Language Models》的论文中，研究团队重塑了传统的“大模型训练”方法。URPO框架的独特之处在于，它将“指令遵循”和“奖励评判”两种功能合二为一，使单一模型在训练过程中实现同步优化。这不仅提高了模型的理解能力，还增强了其自我评估的能力，从而提升了训练效率和效果。

URPO框架在三个方面攻克了现有技术的挑战。首先，实现了数据格式的统一，研究团队成功将偏好数据、可验证推理数据和开放式指令数据转化为适用于GRPO训练的统一信号格式。其次，通过自我奖励循环，模型在生成多个候选回答后能够自主评分，这些评分作为GRPO训练的奖励信号，促进了高效的自我改进。最后，协同进化机制通过混合处理三类数据，实现了模型生成能力和评判能力的双向提升。

实验结果表明，基于Qwen2.5-7B模型的URPO框架在多个性能指标上均超过了传统基线方法。例如，在AlpacaEval指令跟随榜单上的得分提升至44.84，综合推理能力测试的平均分从32.66提升至35.66。此外，该模型在RewardBench奖励模型评测中获得了85.15的高分，优于专用奖励模型的83.55分，充分展示了URPO框架的优势。

值得注意的是，摩尔线程已经在其自主研发的计算卡上实现了URPO框架的高效运行，并完成了与主流强化学习框架VERL的深度适配。这一进展不仅确立了摩尔线程在大模型训练领域的领先地位，也为未来AI的发展指明了方向。

(以上内容均由Ai生成)