探索 AI 工厂的创收潜力

快速阅读: 《NVIDIA 官方博客》消息，AI工厂通过加速计算、优化软件等技术，将数据高效转化为智能，提升吞吐量和用户体验，帮助企业创造更大价值。NVIDIA提供全面技术支持，助力AI工厂实现高效运转。

人工智能正在为每个人创造价值——从药物发现的研究人员到应对金融市场变化的定量分析师。AI系统生成标记（token）的速度越快，其影响力就越大。这就是为什么AI工厂显得尤为重要，它们提供了从“首次生成标记所需时间”到“首次创造价值所需时间”的最高效路径。AI工厂重新定义了现代基础设施的经济模式。它们通过大规模将数据转化为有价值的输出（无论是标记、预测、图像、蛋白质还是其他形式），从而产生智能。它们帮助增强AI旅程中的三个关键方面：数据摄取、模型训练和高吞吐量推理。

AI工厂正在构建以便更快、更准确地生成标记，使用三个关键技术栈：AI模型、加速计算基础设施和企业级软件。继续阅读，了解AI工厂如何帮助世界各地的企业和组织将最有价值的数字商品——数据，转化为收入潜力。

### 从推理经济学到价值创造

在建立AI工厂之前，理解推理经济学是很重要的——如何平衡成本、能源效率和对AI日益增长的需求。吞吐量是指模型可以生成的标记数量。延迟是模型在特定时间内可以输出的标记数量，通常以“首次生成标记所需时间”来衡量——即第一次输出出现需要多长时间，以及每个输出标记所需的时间，或者每个额外标记输出的速度。

好吞吐量是一个较新的指标，衡量系统在达到关键延迟目标的同时能提供多少有用的输出。用户体验对于任何软件应用都很重要，AI工厂也不例外。高吞吐量意味着更智能的AI，低延迟确保及时响应。当这两项指标平衡得当，AI工厂就能通过快速提供有用输出来提供引人入胜的用户体验。

例如，一个响应时间为半秒的AI客服代理比响应时间为五秒的更有吸引力和价值，即使两者最终生成的答案标记数量相同。公司可以通过对推理结果定价来抓住机会，从而提高每个标记的收入潜力。测量和可视化这种平衡可能很困难——这就是帕累托前沿概念的作用。

### AI工厂输出：高效标记的价值

帕累托前沿，如下面图表所示，有助于可视化在部署大规模AI时平衡竞争目标的最佳方式——比如更快的响应速度与同时服务更多用户之间的权衡。纵轴表示每秒令牌数（TPS）的吞吐量效率，在给定能耗下进行测量。这个数字越高，AI工厂能够同时处理的请求数量就越多。横轴表示单个用户的TPS，代表模型给出用户第一个答案提示所需的时间。数值越高，用户体验越好。

较低的延迟和更快的响应时间通常对聊天机器人和实时分析工具等交互式应用程序更为理想。帕累托前沿的最大值——曲线顶部的值——代表给定操作配置的最佳输出。目标是在不同AI工作负载和应用中找到吞吐量和用户体验之间的最佳平衡。

最好的AI工厂使用加速计算来增加每瓦特的标记数——优化AI性能，同时大幅提高AI工厂和应用的整体能效。上面的动画比较了在NVIDIA H100 GPU上运行，每秒每用户设置为32个标记，与在NVIDIA B300 GPU上运行，每秒每用户设置为344个标记时的用户体验。在配置的用户体验下，Blackwell Ultra提供了超过10倍的体验改善和近5倍的吞吐量，使收入潜力提升至原来的50倍。

### AI工厂的实际运作方式

AI工厂由一组组件构成，这些组件共同将数据转化为智能。它不一定采取高端本地数据中心的形式，可能是专用云或基于加速计算基础设施的混合模型。或者它可以是一种电信基础设施，既能优化网络又能执行边缘推理。

任何专用加速计算基础设施与通过AI将数据转化为智能的软件结合在一起，在实践中就是AI工厂。组件包括加速计算、网络、软件、存储、系统以及工具和服务。

当一个人向AI系统发起请求时，整个AI工厂的堆栈都会开始工作。工厂将请求进行标记化处理，将数据转换成小的有意义单元——像图像片段、声音和文字。每个标记通过GPU驱动的AI模型进行处理，该模型在AI模型上执行计算密集型推理以生成最佳响应。每个GPU通过高速网络和互联进行并行处理，同时处理数据。AI工厂会为来自全球各地用户的不同请求运行此过程。

这是实时推理，能够在工业规模上生成智能。由于AI工厂整合了整个AI生命周期，因此该系统不断改进：推理过程被记录下来，特殊情况进行标注以便重新训练和优化循环随着时间推移变得更紧密——所有这些都无需人工干预，这是好吞吐量的实际应用示例。

全球领先的安全技术公司洛克希德·马丁公司为其业务建立了自己的AI工厂。通过其洛克希德·马丁AI中心，该公司在其NVIDIA DGX SuperPOD上集中了生成式AI工作负载，用于训练和定制AI模型，利用专门基础设施的全部能力，并减少云环境的开销成本。

“有了我们的本地AI工厂，我们可以在内部处理标记化、训练和部署，”洛克希德·马丁公司AI基础部门主任格雷格·福里斯特说。“我们的DGX SuperPOD帮助我们每周处理超过10亿个标记，支持微调、检索增强生成或大型语言模型上的推理。这一方案避免了因标记使用而产生的不断攀升的成本。”

### NVIDIA全套技术助力AI工厂

AI工厂将AI从一系列孤立的实验转变为可扩展、可重复且可靠的创新和商业价值引擎。NVIDIA提供构建AI工厂所需的所有组件，包括加速计算、高性能GPU、高带宽网络和优化软件。

例如，NVIDIA Blackwell GPU可以通过网络连接，液冷设计以提高能效，并通过AI软件进行编排。NVIDIA Dynamo开源推理平台为AI工厂提供了操作系统平台。它旨在以最大效率和最小成本加速和扩展AI。通过智能路由、调度和优化推理请求，Dynamo确保每个GPU周期得到充分利用，以峰值性能驱动标记生产。

NVIDIA Blackwell GB200 NVL72系统和NVIDIA InfiniBand网络经过优化，以最大化每瓦特的标记吞吐量，使AI工厂从总吞吐量和低延迟的角度都非常高效。通过验证优化的全栈解决方案，组织可以高效地构建和维护尖端AI系统。

全栈AI工厂支持企业在实现运营卓越方面，使其能够更快、更有信心地利用AI的潜力。了解更多关于AI工厂如何重新定义数据中心并开启AI新时代的信息。

(以上内容均由Ai生成)