Nvidia 的 Cosmos-Transfer1 使机器人训练变得异常真实，这改变了一切
快速阅读: 《VentureBeat 公司》消息，英伟达推出“天界-迁移1”模型，可通过多模态输入生成高真实度模拟环境，解决物理人工智能模拟难题。该模型已在机器人和自动驾驶领域展现价值，开源发布降低使用门槛，加速相关技术发展。
订阅我们的每日和每周通讯，获取行业领先的人工智能报道的最新动态和独家内容。了解更多英伟达推出了“天界-迁移1”，这是一种创新的人工智能模型，使开发人员能够为训练机器人和自动驾驶汽车创建高度真实的模拟。目前可在Hugging Face上获取，该模型解决了物理人工智能开发中的一个持续挑战：弥合模拟训练环境与现实世界应用之间的差距。“我们介绍了‘天界-迁移1’，这是一个条件世界生成模型，可以根据多种模态的空间控制输入（如分割、深度和边缘）生成世界模拟，”英伟达研究人员在发布的论文中表示。“这使得高度可控的世界生成成为可能，并在各种世界到世界的转移用例中找到应用，包括Sim2Real。”
与之前的模拟模型不同，“天界-迁移1”引入了一种自适应多模态控制系统，允许开发人员以不同的权重处理和调整场景不同部分的视觉输入——例如深度信息或物体边界。这一突破使得对生成环境的控制更加精准和细致，显著提高了其真实性和实用性。
**自适应多模态控制如何改变人工智能模拟技术**
传统的人工智能物理系统训练方法要么涉及收集大量真实世界数据——这是一个昂贵且耗时的过程——要么使用缺乏现实世界复杂性和多样性的模拟环境。“天界-迁移1”通过让开发人员使用多模态输入（如模糊视觉、边缘检测、深度图和分割）来生成保留原始场景关键方面的照片级逼真模拟，同时添加自然变化，从而解决了这个困境。“在设计中，空间条件方案是自适应和可定制的，”研究人员解释说。“它允许在不同的空间位置以不同的方式加权不同的条件输入。”
这一能力在机器人领域显得尤为关键，开发人员可能希望精确控制机械臂的外观和移动方式，同时在生成多样化背景环境方面拥有更多创意自由。对于自动驾驶汽车，它能够在保持道路布局和交通模式不变的同时，改变天气条件、照明或城市环境。
**可能改变机器人和自动驾驶技术的物理人工智能应用**
这一能力在机器人领域显得尤为重要，开发人员可以精确控制机械臂的外观和移动方式，同时在生成多样化背景环境方面拥有更大的创意自由。对于自动驾驶汽车，它能在保持道路布局和交通模式不变的情况下，改变天气条件、照明或城市环境。
项目的核心贡献者之一刘明宇博士解释了这项技术对行业应用的重要性。“策略模型指导物理人工智能系统的操作行为，确保系统安全运行并符合其目标，”刘博士和他的同事在论文中指出。“‘天界-迁移1’可以后训练成策略模型以生成动作，节省手动策略训练的成本、时间和数据需求。”
该技术已经在机器人模拟测试中展示了其价值。当使用“天界-迁移1”增强模拟机器人数据时，英伟达的研究人员发现该模型通过“添加更多场景细节、复杂的阴影和自然光照”显著提高了照片级逼真度，同时保留了机器人运动的物理动态。对于自动驾驶汽车开发，该模型使开发人员能够“最大化实际世界边缘案例的实用价值”，帮助车辆学习处理罕见但关键的情况，而无需在实际道路上遇到这些情况。
**英伟达面向物理世界应用的战略AI生态系统**
“天界-迁移1”只是英伟达更广泛的“天界”平台的一个组成部分，这是一个专门用于物理人工智能开发的世界基础模型（WFM）套件。该平台包括“天界-预测1”用于通用世界生成和“天界-推理1”用于物理常识推理。“英伟达天界是一个开发者优先的世界基础模型平台，旨在帮助物理人工智能开发者更好地、更快地构建他们的物理人工智能系统，”该公司在其GitHub存储库中表示。该平台包括预训练模型下的英伟达开放模型许可和训练脚本下的Apache 2许可。这使英伟达能够利用日益增长的加速自主系统开发的AI工具市场，尤其是在从制造业到交通运输业的各个行业大力投资机器人和自主技术的情况下。
**实时生成：英伟达硬件如何助力下一代AI模拟**
英伟达还展示了“天界-迁移1”在其最新硬件上的实时运行。研究人员指出：“我们进一步演示了一种推理扩展策略，以实现使用英伟达GB200 NVL72机架进行实时世界生成。”团队在从一台到64台GPU扩展时实现了大约40倍的速度提升，仅用4.2秒就能生成5秒高质量视频——实际上达到了实时吞吐量。这种大规模性能解决了另一个关键行业挑战：模拟速度。快速、真实的模拟使更多的测试和迭代周期得以迅速进行，从而加速了自主系统的开发。
**开源创新：让全球开发者也能接触高级人工智能**
英伟达选择在GitHub上公开发布“天界-迁移1”模型及其源代码，降低了全球开发者的门槛。这一公开发布让小型团队和独立研究者也能接触到原本需要大量资源才能使用的模拟技术。这一举措符合英伟达围绕其硬件和软件产品建立强大开发者社区的更广泛战略。通过将这些工具放在更多人手中，公司扩大了其影响力，同时也可能加速物理人工智能的发展。
对于机器人和自动驾驶工程师来说，这些新可用的工具可以通过更高效的训练环境缩短开发周期。实际影响可能首先会在测试环节体现出来，开发人员可以在实际部署之前向系统暴露更广泛的场景。虽然开源使技术可用，但有效使用它仍然需要专业知识和计算资源——这是提醒，在人工智能开发中，代码本身仅仅是故事的开端。
**VB每日商业用例洞察**
如果你想给上司留下深刻印象，VB每日可以帮到你。我们为你提供公司如何使用生成式人工智能的内部消息，从监管变化到实际部署，以便你分享见解以获得最大回报。现在就订阅阅读我们的隐私政策感谢订阅。查看更多VB新闻通讯。发生错误。
(以上内容均由Ai生成)
