每帧都是AI实时生成的，全球首款AI游戏问世了！
机器之心报道编辑：佳琪、泽南
两个月前，我们对AI游戏的认知刚刚被谷歌GameNGen颠覆。他们实现了历史性的突破，从此不再需要游戏引擎，AI能基于扩散模型，为玩家生成实时可玩的游戏。
GameNGen一出，从此，开发者不必再手动编程，价值2000亿美元的全球游戏产业，都将被彻底颠覆。无论什么类型的游戏，都可以想你所想、懂你所懂，幻化出只属于你的独享世界。这样的论调瞬间铺满了AI圈。
当时，游戏界最热的除了《黑神话：悟空》，就是米哈游创始人蔡浩宇的犀利发言：“AI颠覆游戏开发，建议大部分游戏开发者赶快转行。”
没想到，只过了两个月，新的里程碑就来了，AI实时生成游戏不再只是“只可远观不可亵玩”的demo，直接就能上手体验。
昨天，两家初创公司Etched、DecartAI联手，带来了世界上首个实时生成的AI游戏Oasis，你在其中体验到的每一帧都来自扩散模型的实时预测，游戏画面持续以20帧每秒的速度实时渲染，零延迟。
更重要的是，所有代码和模型权重均已开源。
AI能够精确模拟出高质量的图形和复杂的实时交互，这一切的到来快得令人措手不及，看到的网友都有点错愕：难道我们没穿越到《黑客帝国》中的矩阵世界吗？
AI领域的专家而言也都在关注Oasis。FlashAttention作者，普林斯顿助理教授TriDao等诸多大佬纷纷点赞：“很快模型推理就会变得非常便宜，我们的许多娱乐内容都将由人工智能生成”。
不过既然是游戏，我们就要以游戏的要求来对它进行评价。
一流的意义，摸不着头脑的体验
话不多说，我们立马上手试玩了一下。果然，重要的事情起码要说三遍——这是世界上第一款AI实时生成的游戏。这刚进入界面，就收到了Oasis的提醒：“请注意，你做出的每一步都将决定整个世界的走向”。
这可一下子把期待值拉满了。游戏的内容能够实时自我塑造，这意味着这个世界里的一举一动都完全以你为主，与你有关，玩家不需要再遵循固定的模式和任务，因为每一秒都是AI为你量身定制的惊喜。
从海岸、村庄、森林、沙漠等地形中选择一个，就能正式开启体验了。（由于Oasis太过火爆，想真玩上还要排一会儿队，算力有限，每位使用者限时体验五分钟。）
终于挤进去之后，Oasis这个游戏却让人有点看不懂了，这不就是《我的世界》吗？
比《幻兽帕鲁》还有既视感。
“这样做真的没有版权问题吗？”
很多试玩的人也有同感：“告诉AI：参考《我的世界》做一个游戏，把UI改改就行。”
不过照《我的世界》的玩法继续搭房子，Oasis帮忙生成出来的牛棚倒是可圈可点。毕竟，这次驱动游戏的不是设定好的逻辑和程序，只有一个AI模型。
把栅栏放在另一个栅栏旁边的动作，看起来只需要一步，但模型其实悄咪咪地完成了识别你点击的是栅栏，它要和其他物体放在一起应该如何排列，这个画面要如何呈现等等的复杂转化。
不过相比它的预测能力，记忆应该是Oasis的短板，比如画面左边原来有座山，但是再把视线转回去，就会发现山已经消失了。
我那么大一座山呢？
而像Sora，或者同样都旨在模拟物理世界的其他视频模型，在把“镜头”平移回来之后就没有这种明显的记忆损失。对此，有网友猜测是牺牲了参数数量来换取实时的推理速度。
虽然官方声称游戏的操作是0延迟的，但是使用鼠标操控起来有点困难，就像有一股神秘的力量在影响鼠标和电脑之间的连接。想要点击背包中某一格的物品，总会识别到其他格中。并且游戏中的文字，有一种梦核的意味，好像有点轮廓，却怎么也看不清楚。
这位网友的形容很贴切：“开始的时候，我以为是《我的世界》，后来亲自尝试过之后，这是吃了菌子再玩的《我的世界》。”
Oasis的技术：Transformer中的宇宙
作为Oasis的技术支持，Etched、DecartAI都发布了技术博客，其中DecartAI主要负责训练模型，Etched提供算力。
架构
模型由两部分组成：一个空间自编码器和一个潜在扩散模型结构。这两部分都基于Transformer模型：自编码器基于ViT，而主干则基于DiT。与最近的基于动作的世界模型如GameNGen和DIAMOND不同，Oasis的研究团队选择了Transformer来确保稳定、可预测的扩展。
与Sora这样的双向模型不同，Oasis是自回归地生成帧的，它能够根据游戏输入调节每一帧，这构成了AI生成的游戏实时与世界互动的基础。
该模型采用了DiffusionForcing训练方法，能够独立对每个token进行去噪。它通过在空间注意力层之间加入额外的时间注意力层，来利用前几帧的上下文。此外，扩散过程在ViTVAE生成的潜在维度中进行，这一维度不仅压缩了图像大小，还使得扩散能够专注于更高层次的特征。
时间的稳定性是DecartAI关注的问题——需要确保模型的输出在长时间跨度内是有意义的。在自回归模型中，错误会累积，小瑕疵很快就会累积成错误的帧。
为了解决这个问题，该团队在长上下文生成中进行了创新。他们选择的方法是动态调整噪声。模型推理时将对噪声实施这样的计划，初期，通过扩散前向传播注入噪声以减少错误积累，在后期逐渐去除噪声，使模型能够发现并保持之前帧中的高频细节。
性能
Oasis游戏以每秒20帧的速度生成实时输出。目前最先进的具有类似DiT架构的文本转视频模型（例如Sora、Mochi-1和Runway）可能需要10-20秒才能创建一秒钟的视频，即使在多个GPU上也是如此。然而，为了匹配玩游戏的体验，Oasis的模型必须最多花每0.04秒生成一个新帧，速度快了100倍以上。
借助Decart推理堆栈的优化设置，开发者大幅提升了GPU的运行、互联效率，让该模型最终能以可播放的帧速率运行，首次解锁了实时交互性。
但是，为了使模型速度再快一个数量级，并使其大规模运行更具成本效益，就需要新的硬件。Oasis针对Etched构建的TransformerASICSohu进行了优化。Sohu可以扩展到4K分辨率的100B+大规模下一代模型。
此外，Oasis的端到端Transformer架构使其在Sohu上运行非常高效，即使在100B+参数模型上也可以为10倍以上的用户提供服务。对于像Oasis这样的生成任务来说，价格显然是可运作的隐藏瓶颈。
来势汹汹的Etched与DecartAI
Etched，这个名字可能有点陌生，但它算得上是硅谷又一个AI融资神话。两位00后创始人ChrisZhu和GavinUberti，把宝押在了基于Transformer架构的大模型上，选择allinTransformer。于是2022年，他们双双从哈佛大学退学联手创业，专门开发用于Transformer模型的专用芯片（ASIC）。
Etched的两位创始人GavinUberti（图左）、ChrisZhu（图右）。
今年7月，Etched发布了首款AI芯片Sohu，宣称：“就Transformer而言，Sohu是有史以来最快的芯片，没有任何芯片能与之匹敌。”当天，Etched完成了1.2亿美元(约人民币8亿元)的A轮融资，投资阵容集结了一众硅谷大佬，向英伟达发起了挑战。
与英伟达相比，一台集成了8块Sohu的服务器，性能超过160块H100，Sohu的速度比H100快20倍；与英伟达最强的新一代B200相比，Sohu的速度要快10倍以上，而且价格更便宜。
Decart则是一家来自以色列人工智能公司，直到今天才正式露面。伴随Oasis发布的还有Decart获得红杉资本和奥伦・泽夫2100万美元（约等于1.5亿人民币）融资的消息。在推出Oasis之前，Decart提供的主要服务为构建更高效的平台，提升大模型的速度和可靠性。
Oasis或许会是一个好的开始，或许在此基础之上，不久以后我们就可以玩到全新形态的AI游戏？
参考内容：
https://www.etched.com/blog-posts/oasis
https://www.decart.ai/articles/oasis-interactive-ai-video-game-model
©THEEND
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
