MIT与英伟达合作开发HART，图像生成速度提升九倍

快速阅读: 英伟达与麻省理工学院及清华大学合作，开发出HART混合AI图像生成工具，结合自回归模型和扩散技术，实现快速低耗图像生成，比现有模型快约九倍。

人工智能领域的一个核心问题在于其计算需求极高，尤其是在媒体生成等任务上。在移动设备上，只有少数高端设备能够支持这些功能的本地运行。即使是在云端大规模实施，成本也相当高昂。不过，英伟达可能已经与麻省理工学院和清华大学的研究人员合作，悄然解决了这一难题。他们开发了一种名为HART（混合自回归变换器）的混合AI图像生成工具，该工具结合了两种最常用的AI图像生成技术。结果是，HART不仅速度极快，而且计算需求大幅降低。

为了展示它的速度有多快，我让它生成了一张鹦鹉弹贝斯吉他的图片，大约一秒钟就完成了。几乎连进度条都来不及显示。相比之下，当我使用同样的提示在Gemini的Google Imagen 3模型上生成时，即使在200 Mbps的互联网连接下，也需要约9到10秒。

当AI图像首次引起关注时，背后的技术主要是扩散技术，它支持了OpenAI的DALL-E图像生成器、Google的Imagen以及Stable Diffusion等产品。这种方法可以生成极其精细的图像，但由于是一个多步骤的过程，因此速度慢且计算成本高。

另一种最近流行的方法是自回归模型，它的工作原理类似于聊天机器人，通过像素预测技术生成图像。这种方法更快，但更容易出错。麻省理工学院的研究团队将这两种方法融合在一起，开发出了HART。HART利用自回归模型预测压缩图像资产作为离散令牌，而小型扩散模型则负责其余部分以弥补质量损失。这种综合方法将涉及的步骤从二十多个减少到了八个。

HART的开发者声称，它可以“生成与当前最先进的扩散模型相匹配或超过的图像质量，但速度快约九倍”。HART结合了一个参数范围在7亿左右的自回归模型和一个能处理3700万参数的小型扩散模型。

(以上内容均由Ai生成)