阿里发布Qwen3-Next-80B-A3B,性能效率显著提升
快速阅读: 阿里巴巴开源Qwen3-Next-80B-A3B模型,总参数800亿,训练成本下降90%,推理效率提升10倍,采用混合专家架构与多token预测机制,显著增强上下文处理能力,尤其在超长文本处理中表现优异。
近日,阿里巴巴开源了最新架构模型 Qwen3-Next-80B-A3B,标志着公司在人工智能生成内容(AIGC)领域取得重要进展。该模型在混合注意力机制、高稀疏性专家模型(MoE)和训练方法上进行了创新,展现出显著的性能提升。
Qwen3-Next 的总参数达到800亿,但在推理过程中仅激活30亿参数,使得训练成本较前代产品 Qwen3-32B 下降了90%。此外,其推理效率提升了10倍,尤其在处理超长文本(32K以上)时表现更为突出,能够与阿里旗舰模型 Qwen3-235B 相媲美,甚至超越了谷歌最新的 Gemini-2.5-Flash 思考模型。
该模型的核心创新在于混合专家架构,采用门控 DeltaNet 和门控注意力相结合的设计。通过这种方式,Qwen3-Next 解决了传统注意力机制在处理长上下文时的不足,既提高了速度,又增强了上下文学习能力。训练过程中,Qwen3-Next 采用了高稀疏性 MoE 结构,实现了在不影响性能的同时最大化资源利用。
Qwen3-Next 还引入了多 token 预测机制,提升了模型在投机解码中的表现。预训练阶段,Qwen3-Next 的效率显著高于 Qwen3-32B,训练成本仅为前者的9.3%,而性能更优。在推理速度方面,Qwen3-Next 在处理长文本时的吞吐量比 Qwen3-32B 提升了7倍,在更长的上下文中仍保持10倍的速度优势。
阿里的这一新模型不仅在技术上取得了突破,也受到了广泛关注和好评,尤其是在开发者和研究人员中。无论是在技术创新还是市场竞争力方面,Qwen3-Next 都标志着阿里巴巴在人工智能领域的进一步领先。
在线体验:https://chat.qwen.ai/
开源地址:https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d
划重点:
🌟 Qwen3-Next-80B-A3B 模型总参数800亿,训练成本下降90%,推理效率提升10倍。
🔍 新模型采用混合专家架构与多 token 预测机制,显著增强上下文处理能力。
🚀 在推理速度上,Qwen3-Next 在超长文本场景中表现出色,吞吐量相比前代模型提高了7到10倍。
(以上内容均由Ai生成)