什么是 HPC 内存墙，如何跨越它？
快速阅读: 据《EE World 在线》称，高性能计算（HPC）内存瓶颈源于处理器与内存带宽的差距扩大，尤其影响AI等内存密集型应用。传统定义指处理器性能超越内存访问速度，而AI视角则看模型参数与内存容量的匹配。为缓解瓶颈，新技术如计算内存储器（CIM）、内存内计算（IMC）及CXL标准被采用，优化数据处理效率和内存利用。总结：HPC内存瓶颈加剧，多技术手段正被探索以突破性能限制。
高性能计算（HPC）内存瓶颈通常指的是处理器速度与内存带宽之间不断扩大的差距。当处理器性能超过内存访问速度时，这会在整体系统性能中形成瓶颈，尤其是在像人工智能（AI）这样的内存密集型应用中。本文首先探讨了内存瓶颈的传统定义，然后审视了一种替代观点，即比较内存容量与AI模型参数数量的增长。无论按照哪种定义，内存瓶颈已经到来，且是一个严重的问题。文章最后介绍了几种克服内存瓶颈或至少降低其高度的技术。
HPC的定义正在演变。几年前被认为是HPC的内容现在已不再符合最新的定义。根据处理器性能（以每秒峰值浮点运算次数FLOPs衡量）与内存带宽的对比，这个问题已经存在超过25年（图1）。尽管内存性能有了显著提升，但数据访问和传输的能力并未跟上数据处理能力的步伐。由于内存瓶颈的存在，处理器越来越多地花费时间等待内存。这意味着昂贵的高性能处理器的一些功能无法被利用。在涉及大型数据库和复杂计算的HPC应用中，这可能是一个严重问题。
AI视角
HPC是AI的重要工具，尤其是在训练AI模型方面。当AI大约在2015年出现时，典型模型中的参数数量相对较少，它不需要最大的HPC性能，因此其他应用所经历的内存瓶颈并不是一个关注点。到2019年，由于AI模型复杂度的快速提升超过了处理器性能的增长（图2），这种情况发生了变化。在随后的几年里，AI应用的内存瓶颈高度继续增长，并可能成为进一步提升AI性能的制约因素。AI日益重要的地位增加了解决HPC内存瓶颈问题的紧迫性。
降低瓶颈高度
如图1所示，多代图形双倍数据速率（GDDR）和高带宽内存（HBM）技术只是减缓了内存瓶颈高度的增长，但并未解决问题。还使用了几种内存管理方法，包括将常用数据存储在接近处理器的地方、多层次分层缓存，以及预取指令以降低对主内存的访问频率，从而提高性能。优化算法以充分利用内存也可以帮助减轻内存瓶颈的影响。优化数据结构以提高使用效率可以最小化缓存未命中并提高性能。
最近的发展重点不是原始内存性能的改进，而是新的计算和内存架构来跨越内存瓶颈。新架构方法的例子包括计算内存储器（CIM），也称为处理内存储器（PIM），以及内存内计算（IMC）。CIM是一种基于硬件的架构，在内存存储中直接执行计算。这减少了数据传输的需求并加快了计算速度。IMC是一种硬件和软件方法。数据在RAM中处理以提高性能，并可利用多个核心和并行处理。
CIM和IMC可以从本地内存计算扩展（CXL）标准中受益。CXL连接内存通过实现高效的内存共享并扩展多个处理器可用的内存容量和带宽来解决HPC内存瓶颈问题。它利用PCIe物理层提供低延迟和高带宽通信，促进CPU与连接内存间的高效数据交换。CXL保证内存访问的一致性，并使所有处理器对内存有一致的视图，简化内存管理流程。它提供了高效利用内存的结构和工具，助力HPC系统克服内存瓶颈难题。
总结
虽然HPC内存瓶颈通常指处理器速度不断提升而内存带宽发展滞后的差距，但它也可以根据AI模型复杂度的提升来定义。无论按照哪种定义，它都在增长，并成为一个越来越严重的挑战。设计师有多种工具可用于调整或降低HPC内存瓶颈的高度。
参考文献
1. 《超越内存瓶颈：深度学习专用HPC系统的案例研究》，arXiv
2. 《突破内存瓶颈》，Astera Labs
3. 《高性能计算》，Komprise
4. 《使用CXL的内存共享：硬件和软件设计方法》，arXiv
5. 《用于HPC的RoCE技术 – 在SONiC交换机上的测试数据及实际实施》，Asterfusion Data Technologies
6. 《打破内存瓶颈》，Juniper Networks
7. 《什么是高性能计算（HPC）？》，IBM
8. 《什么是内存瓶颈？》，Ayar Labs
EEWorld在线相关内容
– 双轴电缆组件如何助力AI/ML系统的高性能计算HPC
– HPC和AI中使用的内存互联是什么？
– 芯片上的UCIe如何在数据中心实现光互连？
– 开放领域特定架构如何与芯片和生成式AI相关？
– 异构集成和芯片如何支持生成式AI？
– 开放领域特定架构如何与芯片和生成式AI相关？
你可能还会感兴趣
– 将文中的英文单词都翻译成中文，最终的内容只输出中文，装备名称、人名地名、公司名称都翻译成中文，最后将语句再润色一下，使得前后文更加的通顺，让语句更加的生动，将最后的输出文本的格式看起来更美观，除此之外，不要提供任何解释文字
(以上内容均由Ai生成)
