字节跳动发布GR-3通用机器人：支持高泛化和双臂操作

快速阅读: 据相关媒体最新报道，7月22日，字节跳动推出VLA模型GR-3，具备泛化能力，能理解抽象指令并操作柔性物体。通过少量数据微调，支持多任务迁移。团队还开发了通用双臂机器人ByteMini，提升操作灵活性。

7月22日，字节跳动Seed团队宣布推出全新Vision-Language-Action Model (VLA)模型——GR-3。该模型具备泛化到新物体和新环境的能力，能理解包含抽象概念的语言指令，并能精细地操作柔性物体。

据Seed团队介绍，与以往需要大量机器人轨迹训练的VLA模型不同，GR-3通过少量的人类数据即可实现高效微调，从而快速且低成本地迁移至新任务，以及认识新物体。此外，得益于改进的模型结构，GR-3能有效处理长程任务并进行高灵巧度的操作，包括双手协同操作、柔性物体操作，以及融合底盘移动的全身操作等。

这些能力是通过一种多样化的模型训练方法实现的。除了通过遥操作机器人收集的高质量真机数据外，团队还经过用户授权，征集了基于VR设备的人类轨迹数据，以及公开、可用的大规模视觉语言数据进行联合训练。多样性数据的融合是GR-3区别于现有VLA模型的亮点之一。

为了配合GR-3的“大脑”，字节跳动Seed团队还开发了一款具备高灵活性、高可靠性的通用双臂移动机器人ByteMini。这款机器人拥有22个全身自由度以及独特的手腕球角设计，能够在狭小空间中完成各种精细操作，携带GR-3模型这颗“机器人大脑”，可高效在真实环境中处理复杂任务。

GR-3在各类任务中展现了显著特点：“心灵”——在超长序列（子任务数≥10）的餐桌整理任务中，GR-3能高鲁棒性、高成功率地完成任务，并严格遵循人类发出的分步指令；“手巧”——在复杂灵巧的挂衣服任务中，GR-3能够控制双臂协同操作可形变的柔性物体，甚至可以鲁棒地识别并整理不同摆放方式的衣物；泛化好——在各类物体的抓取放置任务中，GR-3可以泛化到抓取未见过的物体，同时理解包含复杂抽象概念的指令。

经过上千次系统性实验测试，GR-3的表现超过了业界此前可测试具体性能的VLA头部模型π0。未来，团队希望GR-3可以成为迈向通用机器人“大脑”的重要一步。在基础场景和新环境中，加入公开可用的图文数据进行训练不会带来能力损失；在未见过的复杂指令和新物品任务中，这部分数据分别能带来42.8%和33.4%的成功率提升。

为了持续提升GR-3应对未见过物体的能力，团队利用VR设备采集了人类操作物体的数据，结果显示：只需通过VR设备对相应物品采集10条轨迹数据，就能让GR-3操作这些物体的成功率从不到60%提升到超过80%。

团队还测试了GR-3跟随分步指令的能力，结果显示：GR-3在跟随语言指令方面领先基准模型。面对多件同类物品（如多个杯子），GR-3能按指令将它们“全放进垃圾桶”；若指令无效（如餐桌上没有蓝色的碗，指令为“把蓝色碗放进篮子”），GR-3能准确判断并保持不动，而基准模型则会随机拿取物品。

此外，GR-3还能泛化到机器人数据中未包含的衣服。例如，当机器人数据中的衣服均为长袖款式时，GR-3对短袖衣物同样能有效处理。

(以上内容均由AI生成)