黄仁勋长女直播首秀，探讨具身智能与仿真技术
快速阅读: 黄仁勋女儿Madison首次公开直播，与光轮智能CEO谢晨等讨论机器人仿真与现实差距，强调合成数据重要性及物理准确性，双方正合作开发Isaac Lab Arena平台。
黄仁勋大家都见得多了,但你见过他女儿讲具身智能吗? 这不,黄仁勋女儿 Madison Huang 首次公开亮相直播访谈节目,作为英伟达 Omniverse 与物理 AI 高级总监,与光轮智能 CEO 谢晨,以及光轮智能增长负责人穆斯塔法一起,对“如何缩小机器人在虚拟与现实之间的差距”展开深刻探讨。
光轮智能是一家专注于 仿真合成数据技术 的公司。和专注于大模型的企业不同,他们的核心目标是帮助 AI 更好地理解和进入物理世界。目前主要聚焦于具身智能和自动驾驶两大场景。
在一个半小时的访谈时间内,三人提出了一系列重要观点: 合成数据对于解决机器人数据困境至关重要。
光轮智能的 SimReady 资产不仅要视觉准确,更重要的是物理准确。
英伟达和光轮智能正在共同开发 Isaac Lab Arena—— 一个用于基准测试、评估、数据收集和大规模强化学习的下一代开源框架和平台。
…… 下面具体来看。
利用合成数据和仿真来解决机器人数据障碍 访谈一正式开始,主持人 Edmar Mendizabal(Omniverse 社区经理)就开门见山抛出了一个许多人都很好奇的问题。
英伟达与光轮智能的合作关系是如何开始的? Madison 解答道, 英伟达内部很多项目都依赖于光轮智能的支持 。例如,Gear Lab 正在构建通用智能体模型,西雅图机器人实验室正在开展大量涉及接触操作和精密装配的任务。
对语言模型的研究人员来说,他们可以利用整个互联网的数据去训练 LLM。但对机器人领域来说,情况却完全不同,他们必须去手动采集数据,这也是为什么会有那么多数据采集工厂的出现。
在这种缺乏数据的情况下,英伟达认为, 仿真就是解决方案 ,因此需要一个合成数据工厂,同时也希望合作伙伴认同 OpenUSD 的愿景,将其作为构建仿真就绪资产(SimReady Assets)的基础。
2023 年,光轮智能成立了,目标就是利用合成数据和仿真来突破机器人数据瓶颈。
但那时机器人领域还处于非常早期的阶段,所以他们先从自动驾驶的合成数据问题入手,随后,合作几乎扩展到英伟达的各个团队。
有意思的是,谢晨以前就是英伟达自动驾驶仿真负责人,兜兜转转,现在又在为英伟达工作了。
接下来,主持人又问道:“那现在机器人从虚拟到现实(Sim2Real)还存在哪些问题。” 谢晨回答说: 对于自动驾驶来说,Sim2Real 是最容易解决的,因为它主要依赖视觉感知。而对于机器人来说,一切都涉及物理接触,最重要的是操作能力(manipulation)。同时,它还需要灵巧手和触觉传感器配合使用,因此问题变得更加复杂。
核心问题就在于物理准确性 。
以冰箱为例,当你拉开门时,会感觉到磁吸密封条产生的力的作用,还有拉抽屉时会感觉到多重摩擦,这些物理特性都非常精确。
而要实现这种物理准确性,数据非常重要,高质量的数据是进入机器人训练系统、生成正确算法的关键。
因此,谢晨还特别提到了 数字金字塔 的理念。
他认为,要让具身智能真正部署到现实世界需要消耗巨量的数据,实际上比大型语言模型所需的数据还要多。这就形成了一个巨大的数据障碍,而现实世界数据无法完全解决这个问题。
以自动驾驶为例,现实中有大量驾驶员和汽车在道路上运行,但在工厂、家庭等环境中,机器人数量却非常有限。
因此, 合成数据将成为解决具身智能数据瓶颈的最重要、最主要的数据来源 。
他们借助了大量物理设备来收集精确的数据,并将其实现到仿真环境中。同时,他们还设计了一些方式去对比真实世界中的力和仿真中的力,以确保二者匹配。
除了数据外,另一个令谢晨认为重要的点就是高效。
他提到,强化学习非常重要,但要运行大规模强化学习,就必须确保不同类型的仿真在计算上非常高效。
为了让大量仿真环境同时运行,他们用简单又高效的方法(如基本几何体和凸包)来检测碰撞,这样既能保持足够准确,又能节省大量计算资源。
之后,谢晨还讲到了电缆仿真。电缆既像柔性物体,但又在某些情况下又表现得像刚体,所以它的仿真其实非常困难。
为了让机器人学习如何操作电缆,光轮智能与 Newton 及英伟达合作,为电缆构建求解器,并研发仿真就绪资产来构建这种仿真。
众所周知,人与动物的区别是人会使用工具,所以如何教机器人正确利用工具完成特定操作变得越来越关键。
例如,让机器人在仿真中切割黄瓜是非常困难的,这不仅仅是为了数据采集,更重要的是要支持强化学习。
为此,光轮智能已与英伟达 Isaac Sim 实验室展开合作,共同致力于攻克仿真到现实的迁移挑战。
最后,谢晨提到,光轮智能还在与英伟达共同构建 Isaac Lab Arena—— 一个面向下一代基准测试、评估数据收集和大规模强化学习的框架平台,该项目已在 CoRL 大会上由英伟达正式发布。
黄仁勋子女 访谈结束,咱们再来扒一扒很少露面的黄仁勋的两个子女。
首先是 女儿 Madison ,中文名黄敏珊,现年 34 岁。
2020 年加入英伟达最初担任市场营销实习生,实习四个月后成为了 Omniverse 部门的活动营销经理,之后一直在该部门任职。
Madison 在英伟达一路担任了产品营销经理、高级产品营销经理等职务,直到今年 3 月成为高级总监。
令人惊讶的是,Madison 最初干的竟然是烹饪。
2012 年,她在美国烹饪学院取得了烹饪艺术工商管理学士学位,之后到蓝带厨艺学院学习制作甜点以及葡萄酒,并曾在纽约和旧金山担任厨师。
2015 年,Madison 重新回到巴黎,加入奢侈品行业,在 LVMH 公司担任市场营销与开发经理。在 LV 工作期间,Madison 还学习了伦敦政治经济学院有关数据科学的短期课程。
在 2019 年,Madison 和哥哥 Spencer 一起修读了 MIT 的短期 AI 高管课程。
之后,她于 2021 年取得了伦敦商学院的 MBA 学位,彼时她已经是英伟达的正式员工。
说完老黄的女儿,怎么能不接着提提他儿子呢? 同样“承袭父业”的,还有 Madison 的 哥哥 Spencer ,中文名黄胜斌,今年 35 岁。
他在英伟达的职位是机器人产品线经理,负责开发用于机器人的 AI 模型与仿真软件。
Spencer 在 2022 年加入英伟达,起初的职位是 Isaac Sim Cloud 团队产品经理。
前面介绍 Madison 时说过,兄妹二人曾一同参加 MIT 的短期 AI 高管课程,不过 Spencer 还额外多读了关于人机交互的课程。
之后,Spencer 先是到哈佛商学院读了短期课程,之后也读了 MBA,不过是在纽约大学,2022 年取得学位。
有意思的是,更早之前,Spencer 的身份是一名酒吧主理人。
2012 年,Spencer 在美国最大的私立艺术与媒体学院 —— 芝加哥哥伦比亚学院本科毕业,主修国际市场和文化研究两个方向。
毕业后,老黄让他专门“回老家”学了一年中文,就是在这段时间,Spencer 创立了他的鸡尾酒酒吧 ——R&D Cocktail Lab,而且一干就是八年。
据悉,这家酒吧屡获国际大奖,并曾入选亚洲 50 佳酒吧,不过目前谷歌地图显示该酒吧已经永久停业。
好好好,富二代要专心继承家业了是吧。
本文来自微信公众号: 量子位(ID:QbitAI) ,作者:时令,原标题《黄仁勋长女直播亮相,聊了具身智能》 广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
(以上内容均由Ai生成)
