首次超越自回归模型！蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer

快速阅读: 蚂蚁集团开源dInfer框架，大幅提升扩散语言模型推理速度，超过英伟达Fast-dLLM 10.7倍。dInfer优化KV缓存管理等，促进AI高效应用。

10月13日，蚂蚁集团正式开源了业界首个高性能扩散语言模型推理框架dInfer。在基准测试中，dInfer将扩散语言模型的推理速度比英伟达的Fast-dLLM框架提高了10.7倍；在代码生成任务HumanEval上，dInfer在单批次推理中达到了1011 Tokens/秒的速度，首次在开源社区中实现扩散语言模型的单批次推理速度显著超越自回归模型。dInfer的工作表明，扩散语言模型具有显著的效率潜力，通过系统性的创新工程可以兑现这一潜力，为通往AGI的架构路径提供极具竞争力的选择。

扩散语言模型作为一种全新的范式，将文本生成视为一个“从随机噪声中逐步恢复完整序列”的去噪过程，具有高度并行、全局视野、结构灵活三大优势。凭借这些优势，以蚂蚁集团和人大发布的LLaDA-MoE为代表的模型在多个基准测试中展现了与顶级自回归模型相媲美的准确性。然而，在推理效率方面，尽管dLLM理论上拥有强大的潜力，却长期受到计算成本高、KV缓存失效、并行解码三大挑战的制约。这些瓶颈导致扩散语言模型的推理速度一直不尽如人意，如何打破这些障碍，释放扩散语言模型在推理效率上的潜力，成为整个领域亟待解决的问题。

dInfer是一款专为扩散语言模型设计的高性能推理框架，支持多种扩散语言模型，包括LLaDA、LLaDA-MoE、LLaDA-MoE-TD等。dInfer包含四个核心模块：模型接入（Model）、KV缓存管理器（KV-Cache Manager）、扩散迭代管理器（Iteration Manager）和解码策略（Decoder）。这种可插拔的架构允许开发者像拼装积木一样组合和探索不同模块的优化策略，并在统一的平台上进行标准化评估。更重要的是，dInfer针对上述三大挑战，在每个模块中都集成了针对性的解决方案。

在配备了8块NVIDIA H800 GPU的节点上，dInfer的性能表现突出：与之前的dLLM推理方案Fast-dLLM相比，在模型效果相同的情况下，dInfer的平均推理速度提高了10.7倍（681 vs 63.6）；在代码生成任务HumanEval上，dInfer在单批次推理中达到了1011 tokens/秒的速度；与在业界领先的推理服务框架vLLM上运行的、参数量和性能相近的AR模型Qwen2.5-3B相比，dInfer的平均推理速度是其2.5倍（681 vs 277）。

蚂蚁集团表示，dInfer连接了前沿研究与产业应用，标志着扩散语言模型从“理论可行”向“实践高效”的重要转变。此次开源计划也邀请全球的开发者和研究者共同探索扩散语言模型的巨大潜力，构建更加高效、开放的AI生态系统。

(以上内容均由Ai生成)