月之暗面发布“Kimi Linear”，优化AI处理性能

快速阅读: 月之暗面推出Kimi Linear，一种新型混合线性注意力架构，性能优于传统全注意力方法。核心技术KDA优化RNN记忆管理，1M token场景下KV缓存减少75%，解码吞吐量提升6倍。

近日，月之暗面推出了一种全新的混合线性注意力架构——“Kimi Linear”。据称，该架构在处理短距离、长距离信息及强化学习（RL）等多种场景中，性能超越了传统的全注意力方法。其核心技术Kimi Delta Attention（KDA）是Gated DeltaNet的优化版，特别引入了一种更高效的门控机制，以更好地管理有限状态RNN的记忆使用。

Kimi Linear的设计由三个Kimi Delta Attention单元和一个全局MLA组成。这种结构通过细粒度的门控压缩有限状态RNN的记忆，提高了模型处理信息的效率。官方表示，在处理1M token的数据场景中，Kimi Linear的KV缓存占用减少了75%，解码吞吐量最高可提升6倍，TPOT相较于传统MLA加速了6.3倍。

这一新架构为各类AI应用场景提供了更强支持，无论是信息密集型的自然语言处理任务，还是动态环境中的强化学习，Kimi Linear均表现出显著优势。随着AI技术的不断进步，这种高效的注意力机制有望为未来的智能应用带来新的突破。更多技术细节可参见Kimi Linear的技术报告，链接如下：https://github.com/MoonshotAI/Kimi-Linear/blob/master/tech_report.pdf。

要点总结：

– Kimi Linear是一种新型的混合线性注意力架构，优化了信息处理性能。

– 在1M token场景下，KV缓存占用减少75%，解码吞吐量提升6倍。

– 其核心技术Kimi Delta Attention通过细粒度门控优化了RNN的记忆管理。

(以上内容均由Ai生成)