DeepSeek 推出 DeepEP，一个用于混合专家模型训练和推理的通信库

快速阅读: 据《印度分析杂志》称，周二，中国深探AI在开源周期间推出了深探通信库（DeepEP），专门用于专家混合（MoE）模型的训练和推理。该库针对非对称领域带宽传输进行了优化，并支持八位浮点数（FP8）计算。测试显示，该库在NVIDIA H800 GPU上的性能接近最大带宽。这是继闪速机器学习内核（FlashMLA）后，深探开源的第二个库。这些举措赢得了用户对其透明度的赞赏。

周二，中国深探AI推出了深探通信库（DeepEP），一个用于专家混合（MoE）模型训练和推理的通信库。这一公告是深探开源周的一部分——在此期间，这家人工智能初创公司承诺将其技术栈中的五个存储库开源。该库旨在通过MoE架构改进显卡与机器学习模型之间的通信。深探通信库提供了一组优化的内核，适用于非对称领域带宽传输，并能高效地在NVLink和RDMA连接之间移动数据。深探通信库的性能在配备CX7 InfiniBand RDMA网卡的NVIDIA H800 GPU上进行了测试。这些GPU的最大NVLink带宽为160 GB/s，而深探通信库实现了153 GB/s的性能。尽管H800的最大RDMA带宽为50 GB/s，深探通信库仍达到了43 GB/s的性能。此外，它能够使用八位浮点数（FP8）进行计算，这加速了计算并减少了内存使用。深探提供了详细的安装和配置开源库的技术文档，并在GitHub上提供指导。深探通信库是深探计划公开发布的五个存储库中的第二个。周一，该公司宣布推出闪速机器学习内核（FlashMLA），这是一种为霍珀架构GPU设计的解码内核。它优化了处理可变长度序列的能力，现已投入生产。该内核支持BF16格式，并具有64块大小的分页KV缓存。在H800 GPU上，它在内存受限配置中达到3000 GB/s的速度，在计算受限配置中达到580 TFLOPS。深探对透明度和开源技术的承诺赢得了互联网用户的赞誉。工程师斯蒂芬·皮梅内尔在推特上表示：“深探有效地反驳了‘他们在训练程序上撒谎’的常见说法。”最近，这家初创公司发布了其深探R1和深探V3模型，引发了业界的巨大反响。主要是因为它们在成本仅为竞争对手的一小部分的情况下提供了最先进的性能——同时作为开源发布。

(以上内容均由Ai生成)