Nvidia 宣布推出适用于更智能、适应性更强的机器人的新 AI 模型
快速阅读: 据《硅角度》称，英伟达发布多项新技术助力机器人开发，包括全球首款开源人形机器人基础模型GR00T N1、开源物理引擎牛顿及升级版Cosmos世界基础模型，大幅提高机器人训练效率与应用潜力。
英伟达公司今日发布了多项新技术和人工智能模型，助力开发者更高效地打造更智能的机器人，涵盖人形机器人与自动驾驶车辆。通过自动化复杂建模与数据工作，这些技术实现了这一目标。以下是发布的具体内容：
– **英伟达艾萨克 GR00T N1**：这是全球首款开源且完全可定制的人形机器人通用基础模型，相当于人形机器人的核心模型。此外，还有GR00T蓝图用于生成合成数据，以及**牛顿**——一款专为机器人开发设计的开源物理引擎。公司还宣布了英伟达宇宙世界基础模型的重大更新版本，新增了可定制的推理功能，适用于物理AI开发和世界生成。
物理AI是指将人工智能融入机器人及其他物理系统中，使其能感知并响应真实世界。它结合了AI算法与具备感知、行动及适应能力的物理硬件。现代实例包括机器人系统和自动驾驶汽车。“通用机器人时代已然来临，”联合创始人兼首席执行官黄仁勋表示，“借助英伟达艾萨克 GR00T N1和新的数据生成及机器人学习框架，全球机器人开发者将在AI时代开拓全新领域。”
随着人形机器人普及率的提升，开发者将面临在任务中训练AI并在大规模上测试它们的挑战。GR00T N1能够轻松处理常见机器人任务，如抓取、单臂或双臂移动物体，或者将物品从一只手传递到另一只手，还能执行多步骤任务组合。它还可以通过真实或合成数据进行后训练，以掌握行业特定技能。在英伟达GTC大会的主题演讲中，黄仁勋展示了初创公司1X的人形机器人如何使用GR00T N1 AI训练策略整理物品。随着人形机器人普及率的增长，开发者将面临在任务中训练AI并在大规模上测试它们的挑战。GR00T N1能够轻松应对常见机器人任务，如抓取、单臂或双臂移动物体或将物品从一只手传递到另一只手，还能执行多步骤任务组合。英伟达GR00T N1的训练数据和任务评估数据集可从Hugging Face和GitHub免费获取。
与谷歌母公司旗下的AI研究实验室Google DeepMind以及迪士尼研究合作，英伟达开发了**牛顿**——一款开源物理引擎，允许机器人以更高精度学习处理复杂任务。基于英伟达Warp框架，DeepMind和英伟达正在合作开发模拟框架MuJoCo-Warp，借助DeepMind的MJX开源库和牛顿，机器人开发速度可提高70倍以上。机器人需要大量数据，但采集这些数据成本极高。对于人形机器人而言，现实世界的数据采集必须由实际人员演示完成。为解决此问题，英伟达推出了Isaac GR00T蓝图，用于生成合成操作轨迹。这个蓝图在11小时内生成了78万条合成轨迹——相当于6500小时，即连续9个月的人类演示数据量。
物理AI训练与推理的AI模型世界基础模型（WFMs）赋予开发人员和工程师创建虚拟训练场地的能力，在那里机器人可以通过模拟环境学习应对现实世界的挑战，从而在各种场景下进行训练。作为今天公告的一部分，英伟达在其Cosmos WFMs系列中增加了多个新的人工智能模型，引入了突破性的合成数据生成、高保真世界生成和多模态推理能力。“正如大型语言模型革命性地改变了生成式和代理式AI一样，Cosmos世界基础模型是物理AI的一个突破，”黄仁勋说。“Cosmos为物理AI引入了一个开放且完全可定制的推理模型，并解锁了机器人和物理产业跨越式发展的机会。”
Cosmos Transfer WFMs可通过摄取结构化视频输入（如分割图、深度图、激光雷达扫描、姿态估计和轨迹）生成大量合成数据用于机器人训练，从而生成高度逼真的视频输出。该模型便于开发者为大规模数据集生成大规模逼真的视频，从而简化感知AI训练。“Cosmos为我们提供了一个机会，让我们能够扩展逼真的训练数据规模，超越我们在现实世界中实际收集的能力，”美国人形机器人公司Agility Robotics Inc.的首席技术官Pras Velagapudi说。
Foretellix Ltd.（自动驾驶汽车开发者的验证与确认解决方案）使用Cosmos Transfer，利用NVIDIA Omniverse自主车辆模拟蓝图大规模生成基于物理传感器的数据变体。它可以产生多种不同的条件，包括恶劣天气、不良驾驶条件、黄昏和其他道路危险，供驾驶机器人训练使用。Cosmos Predict（在1月份的CES展会上发布）可以从文本、图像和视频生成虚拟世界。最新的模型将允许开发者输入一段视频的第一帧和最后一帧，并预测中间的帧，生成所有中间动作与运动。它专门用于对物理AI模型进行后训练，以赋予它们理解视频中发生事件的能力。机器人开发者已经在使用Cosmos Predict和Transfer，包括1X用于训练其新的人形机器人Neo Gamma，以及机器人大脑开发商Skild AI Inc.使用Transfer生成合成训练数据。
Cosmos Reason提供了一个完全可定制的世界基础模型（WFM），运用链式思维推理理解视频数据并通过自然语言处理预测交互结果。例如，当一个人踏上人行横道或一个盒子从货架上掉落时，它能够预测接下来可能发生的状况。开发者可精炼Reason模型以增强现有世界基础模型，或为机器人创建新的视觉语言动作模型。它还可用于改进物理AI数据标注和整理，有助于生成精准的数据集以理解世界。并且可以对多步骤过程所需的高级规划器进行后训练，以协调物理AI完成任务。
图片由英伟达提供。
来自SiliconANGLE联合创始人John Furrier的消息：“您的支持对我们至关重要，让我们能够持续提供免费内容。只需点击一下即可支持我们的使命，提供免费、深入且相关的内容。加入我们的YouTube社区加入包括超过15,000名#CubeAlumni专家的社区，其中包括亚马逊CEO安迪·贾西、戴尔科技创始人兼CEO迈克尔·戴尔、英特尔CEO帕特·基辛格等众多名人和专家。”
“CUBE是行业的重要合作伙伴。你们真的是我们活动的一部分，我们非常感谢你们的到来，我知道人们也欣赏你们创造的内容。”——安迪·贾西
谢谢您！
(以上内容均由Ai生成)
