挑战主流认知！蚂蚁、人大在2025外滩大会发布行业首个原生MoE扩散语言模型

快速阅读: 蚂蚁集团与人大合作研发出LLaDA-MoE，首个原生MoE架构扩散语言模型，性能超前，计划开源。模型基于20T数据训练，采用非自回归掩码扩散机制，实现与Qwen2.5相当的语言智能，推AGI发展。

蚂蚁集团与中国人民大学合作，成功研发出首个原生MoE架构的扩散语言模型（dLLM）“LLaDA-MoE”。该模型基于约20T的数据从零开始训练，验证了工业级大规模训练的扩展性和稳定性，其性能超越了此前发布的稠密扩散语言模型LLaDA1.0/1.5和Dream-7B，与等效的自回归模型相媲美，并且具有数倍的推理速度优势。模型预计近期将完全开源，旨在促进全球AI社区在dLLM领域的技术进步。

9月11日，在2025 Inclusion·外滩大会上，蚂蚁集团与中国人民大学联合发布了这一创新成果。中国人民大学高瓴人工智能学院副教授李崇轩和蚂蚁集团通用人工智能研究中心主任、西湖大学特聘研究员、西湖心辰创始人蓝振忠出席了发布仪式。

据介绍，LLaDA-MoE通过非自回归的掩码扩散机制，首次在大规模语言模型中实现了与Qwen2.5相当的语言智能，包括上下文学习、指令遵循、代码和数学推理等能力，打破了“语言模型必须自回归”的传统观念。实验证明，LLaDA-MoE在代码、数学、Agent等任务上的表现优于LLaDA1.0/1.5和Dream-7B等扩散语言模型，接近甚至超过了自回归模型Qwen2.5-3B-Instruct，仅需激活1.4B参数就能达到等效3B稠密模型的性能。

蓝振忠在现场表示：“LLaDA-MoE模型的成功验证了工业级大规模训练的扩展性和稳定性，标志着我们在将dLLM扩大至更大规模方面取得了重要进展。” 李崇轩进一步解释：“尽管AI大模型的能力在过去两年里迅速提升，但仍存在一些根本问题未得到有效解决，主要是由于当前模型普遍采用的自回归生成方式所致。这种模式天然地单向建模，逐个生成token，难以捕捉token间的双向依赖关系。” 为应对这些挑战，部分研究者转向并行解码的扩散语言模型。然而，现有的dLLM大多基于稠密架构，无法复制ARM中MoE的‘参数扩展、计算高效’的优势。在此背景下，蚂蚁与人大的联合研究团队首次在MoE架构上开发出了原生的扩散语言模型LLaDA-MoE。

蓝振忠还提到：“我们计划近期公开模型权重及自主研发的推理框架，与社区共同推进AGI的新一轮突破。” 经过三个月的努力，蚂蚁与人大的团队在LLaDA-1.0的基础上重新编写了训练代码，并利用蚂蚁自研的分布式框架ATorch提供了EP并行等加速技术，解决了负载均衡、噪声采样漂移等关键技术难题，最终采用7B-A1B（总计7B，激活1.4B）的MoE架构完成了约20T数据的高效训练。

在蚂蚁自研的统一评估框架下，LLaDA-MoE在HumanEval、MBPP、GSM8K、MATH、IFEval、BFCL等17个基准测试中平均提高了8.4%，相较于LLaDA-1.5提升了13.2%，与Qwen2.5-3B-Instruct持平。实验结果再次证实了“MoE放大器”定律在dLLM领域同样适用，为未来10B至100B稀疏模型的发展提供了可行方案。

蓝振忠还透露，除了开放模型权重，蚂蚁还将开源专门针对dLLM并行特性优化的推理引擎。与NVIDIA官方fast-dLLM相比，该引擎实现了显著加速。相关代码和技术报告不久将在GitHub和Hugging Face社区发布。

蓝振忠最后表示，蚂蚁将继续在基于dLLM的AGI领域加大投入，下一阶段将联合学术界和全球AI社区共同推动AGI的新突破。“自回归并非终点，扩散模型同样可以成为通往AGI的主要路径。”蓝振忠总结道。

(以上内容均由Ai生成)