Kimi K2技术报告发布：全球开源赛场上的领先者

快速阅读: 据相关媒体最新报道，Kimi K2拥有1万亿参数，采用MuonClip优化器和重述法提升训练效率，一周内全球开源竞赛夺冠，性能媲美Grok4和GPT4.5。

近日，Kimi团队发布了Kimi K2的技术报告，揭秘了这款新模型的训练细节。Kimi K2拥有1万亿参数，激活参数达320亿，凭借其卓越性能，在上线一周内便在全球开源模型竞赛中夺冠，超越了DeepSeek，与Grok4和GPT4.5等顶级闭源模型不相上下。

Kimi K2的成功归功于其创新的训练方法和技术架构。团队引入了MuonClip优化器，取代了传统的Adam优化器，提高了token的使用效率和稳定性，使Kimi K2在预训练阶段无损处理了15.5万亿个token的数据。此外，团队还开发了一套大规模的Agentic Tool Use数据合成管道，涵盖多个领域和工具，为模型提供了丰富的训练场景。

值得一提的是，Kimi K2在训练中采用了“重述法”来提升数据效率。这种方法不仅避免了简单的重复，还通过不同方式重新表达知识内容，确保模型能够深入理解信息。特别是在处理数学和知识类文本时，Kimi K2通过将复杂内容改写成易于理解的学习笔记风格，显著提升了训练效果。数据显示，使用重写数据训练一轮的准确率，超过了使用原始数据训练十轮的效果。

在后训练阶段，Kimi K2进行了监督微调和强化学习，通过构建可验证的奖励环境和自我评估机制，确保模型在多种任务中持续优化表现。训练过程中还引入了预算控制和温度衰减策略，以提高生成文本的质量和稳定性。

为了满足庞大的训练需求，Kimi K2依赖于由NVIDIA H800组成的高性能GPU集群，确保了训练效率和数据传输的高效性。

随着技术的不断进步，Kimi K2的发布无疑为开源模型的发展注入了新的活力，引起了行业内外的广泛关注。

(以上内容均由AI生成)