访谈：Praveen Vaidyanathan，美光数据中心业务副总裁兼总经理
快速阅读: 《The Register》消息，美光科技在高性能计算和AI领域引领HBM创新，其HBM3E等产品在性能和功耗上领先竞争对手。公司计划在2026年大规模量产HBM4，并通过封装创新保持竞争优势，推动行业进步。
赞助访谈节目
请稍微思考一下当前AI加速器和数据中心GPU的现状。现在，试着想象一下如果没有美光科技进入高带宽内存（HBM）市场，这个领域会是什么样子。美光凭借强大的领导力和开创性创新满足了AI工作负载的内存带宽需求，开启了人工智能能力的新纪元。它的愿景和承诺推动了整个行业的发展，确立了新的标准，并稳固了其在技术生态系统中的核心地位。因此，如果你正在投资用于高性能计算和数据中心的AI加速器——别忘了给美光发一封感谢信，因为其先进的内存解决方案，如LPDDR5X和HBM3E，在实现这些尖端系统方面起到了关键作用。
美光公司46年前是一家半导体设计公司。部分得益于土豆大亨JR Simplot的资金支持——他想涉足计算机芯片以及薯片和麦当劳炸薯条业务——该公司开始涉足计算机内存的生产。如今，近半个世纪过去了，美光从用于构建数据湖的高容量驱动器，到本地存储的快速驱动器，再到各类动态随机存取存储器（DRAM），包括DDR、LPDDR、GDDR和HBM，覆盖了整个领域，这些内存直接连接到各种类型的计算引擎，并为其提供计算所需的内存空间。
为了深入了解高性能计算（HPC）和AI系统中内存层级结构的变化，我们与美光数据中心业务副总裁兼总经理Praveen Vaidyanathan进行了交谈，探讨了所有关于内存的话题，并试图了解对更密集的HBM内存芯片需求的增长以及更广泛采用所带来的机遇。
美光数据中心业务副总裁兼总经理Praveen Vaidyanathan
蒂莫西·普里克特·摩根：让我们先谈谈美光制造的各种类型的DRAM及其最适合的数据中心不同设备和应用的方式。
Praveen Vaidyanathan：当然！思考推动内存需求趋势是有帮助的，以及为什么我们要关注某些方面。我把考虑因素分为四个类别或矢量矩阵——性能、容量、功率、体积。
首先是各种应用程序的性能需求趋势——无论你是在谈论通用计算应用程序、AI训练和推理应用程序，还是网络卡。每个独特的应用程序都有某些性能需求推动着趋势的发展。
第二类是容量需求。你需要多少内存来支持你的数据集？
第三类非常重要——而且每年可能变得越来越重要——那就是功率。你预算和消耗的功率将定义下一代我们将要建造的内存。
TPM：价格不是第四因素吗？
Praveen Vaidyanathan：价格是另一个话题。是的，我们必须考虑采购成本并进行TCO计算。但更重要的第四个因素是驱动内存技术选择的内存占据的体积空间，在X和Y维度以及Z高度上的占用情况。你有多少空间可以容纳这种性能、这种功率和这种容量？这四个变量回答了何时使用DDR、GDDR、LPDDR和HBM的问题。
例如，如果你的主要重点是内存带宽，由于其高速数据传输率，HBM对于AI加速器来说是一个很好的选择。然而，如果你还需要考虑高内存容量，CPU附带的DDR5内存可能是不错的选择。我们看到LPDDR在当今的数据中心中是一个非常好的选项，以降低功耗。所以这就是整体思路：如果你看看这四种内存向量，并加上采购成本和TCO，选择将会非常自然地演变，你会明白为什么某些内存适合一个用例而不是其他用例。
在过去，这很简单：客户需要一块16GB的内存，而且他们想要很多。我们现在面临的挑战是如何定义一条内存路线图，以解决这四个类别或矢量矩阵——性能、容量、功率、体积——客户可以根据他们使用的应用程序和需求从中选择。对我们来说，这就是令人兴奋的地方——你必须真正理解客户的需要及其环境。
TPM：随着AI工作负载快速发展并要求更高的内存性能，你如何看待HBM在未来计算中的关键作用，以及贵公司在这一领域的创新如何推动发展？
Praveen Vaidyanathan：这是一个很好的问题。随着AI和数据密集型应用程序不断突破计算的极限，显然传统的内存架构已经无法跟上处理的数据量。HBM对于满足这些需求至关重要，提供了下一代工作负载所需的高速数据访问和效率。
我们看到计算领域发生了根本性的转变，许多AI驱动的工作负载不仅受计算限制，还受内存限制。例如，生成式AI需要巨大的内存带宽，而现在随着自主AI系统的兴起——这些系统能够实时自主推理、适应和做出决策——对高性能内存的需求正在加速增长。这些工作负载需要无缝的数据访问才能高效运行，使HBM成为AI基础设施不可或缺的一部分。
这是一个很好的问题。随着AI和数据密集型应用程序不断突破计算的极限，显然传统的内存架构已经无法跟上处理的数据量。HBM对于满足这些需求至关重要，提供了下一代工作负载所需的高速数据访问和效率。
我们的公司处于HBM创新的前沿，不断推进我们的技术，以提供更高的容量、更大的带宽和优化的功率效率。我们致力于通过尖端的内存解决方案启用AI、云计算和高性能计算应用程序，解锁新的可能性。随着行业朝着更以内存为中心的架构发展，HBM正成为未来计算的基础。
TPM：HBM比普通DRAM更有利可图吗？我假设HBM的毛利率高于DDR和GDDR。
Praveen Vaidyanathan：我们已经公开表示，HBM对我们业务的整体利润率有增益作用。
TPM：你是直接与HPC中心合作作为内存供应商吗？还是通过惠普企业、Atos、Nvidia、Supermicro、联想、戴尔或其他任何在HPC集群中制造机器的人向HPC中心推销？因为看到HPC中心直接来找你了解如何解决其内存容量和带宽问题会很有趣。
Praveen Vaidyanathan：我们两者都做。例如，去年在SC24期间，我们与CERN讨论了一个重要的计算问题，他们希望整合所有这些内存。他们正在直接与我们合作安装一些我们的技术，看看它如何帮助他们解决这些问题。
HPC社区非常庞大，所以我们很难与所有人互动。我们通过原始设备制造商（OEM）进行间接接触，但在某些领域，我们也进行直接接触。
TPM：HPC中心是否能提前接触到一些有趣的内存产品？这是可能的吗？过去很长一段时间内，计算引擎就是这样做的，而且在一定程度上仍然如此。
Praveen Vaidyanathan：没有你说的那种“有趣的”东西那么多，因为这些组织拥有如此庞大的计算环境，他们需要的是稳定的东西。如果一项技术太早且不稳定，实际上会对他们的工作造成更多干扰。但我们确实推动创新理念，并根据HPC应用程序的需求交付产品。
TPM：你能，而且你这样做吗，向HPC中心进行产品组合推介？你有各种类型的闪存和内存。拥有从顶到底、从前到后的Micron内存是否有好处？
Praveen Vaidyanathan：绝对如此，这也是我们引入超算领域的关键部分。这一切都始于内存与存储层次结构。我们从近内存（如HBM）开始，一直延伸至数据湖。内存与存储层次结构是双向的：越靠近近内存，性能越高；而越靠近数据湖，容量越大。这就是我们为高性能计算（HPC）社区提供的产品组合光谱。美光提供近内存（如HBM）和主要内存（包括高容量和标准DIMM、MRDIMM Gen1、低功耗DRAM）。基于Compute Express Link（CXL）的内存模块相较于DDR DRAM，在稍高的延迟情况下提供更大的容量扩展。高性能NVMe SSD、低成本NVMe SSD以及专为数据湖设计的SSD共同组成了美光的存储产品组合，它们具有不同的延迟、性能和价格水平。
TPM：我先回顾一下历史，再具体谈谈HBM4。四年前我们推出了HBM2E产品，当时也在考虑下一步的发展方向。从那时起，我们决定专注于推出顶级的HBM3E产品。我们在HBM3E市场率先推出，并且令人惊讶的是，我们宣布其带宽可达1.2 TB/s，而人们普遍预期的带宽在1 TB/s左右。我们的初始性能超出预期20%。此外，在相同性能条件下，我们的功耗比其他任何HBM3E产品至少低30%。另外，我们的24GB堆栈，每层24千兆位，容量高于行业标准（每堆栈16GB）。2023年6月，我们宣布了这款产品，并于2024年2月与Nvidia合作生产H200。去年秋季，我们已准备好12层、36GB的HBM3E堆栈，其性能指标和功耗优势相同。实际上，在我们分析数据后发现，我们的36GB HBM3E仍比其他厂商的8层24GB堆栈节能20%。
TPM：对于HBM4，你们不会直接过渡到HBM4E吧？
Praveen Vaidyanathan：不，不。我们有很强的地位，通过HBM4我们希望继续保持这一地位。我们对美光在未来几年内HBM领域的领导力发展路线图充满期待。凭借我们坚实的基础和对1-beta工艺技术的持续投入，我们预计HBM4将在上市时间和能效方面继续保持领先，同时相比HBM3E性能提升超过50%。我们预计HBM4将在2026年的行业内大规模量产。
TPM：你们能否继续保持与竞争对手在HBM4和HBM4E上的性能和功耗差距？
Praveen Vaidyanathan：竞争对手会全力追赶，但我们仍将不断推动功耗方面的差异化。我们认为，随着时间推移，这不仅在通用计算和加速器领域，而且在云服务提供商构建定制硅芯片时，对我们来说仍然是一个差异化因素。他们能够通过优化特定工作负载充分利用这一差距，从而实现运营成本节约或增加计算能力和速度。
去年秋季，我们宣布HBM4机械样品已准备就绪，这是一个重要里程碑。我们不仅通过硅设计，还通过封装创新来实现功率和容量性能的改进。这就是机械测试车辆的用武之地——它基本上是一个与真实HBM堆栈电学上相同的HBM立方体，但还不是完整的设计。机械上，它看起来与真实的HBM4堆栈完全一样。客户可以使用这些机械测试车辆来构建系统并进行封装和制造测试，以便为后续的实际部件做好准备——所有这些都将有助于缩短上市时间。
多家客户正在开展HBM4E的研发工作，这将在HBM4之后推出。HBM4E将通过采用TSMC先进的逻辑代工制造工艺为某些客户提供可定制的逻辑基片选项，从而在内存业务中引入范式转变。我们预计这种定制能力将推动美光的财务表现改善。
(以上内容均由Ai生成)
