字节跳动发布高灵巧度机器人模型GR-3

快速阅读: 据相关媒体报道，字节跳动推出GR-3视觉语言动作模型，具备理解抽象指令、操作柔性物体及快速迁移能力，提升机器人智能化水平。

近日,字节跳动Seed团队正式推出全新Vision-Language-Action Model(VLA)模型GR-3,该模型在机器人操作领域展现出突破性能力,不仅能理解包含抽象概念的语言指令,还可精准操作柔性物体,并具备快速迁移至新任务、认识新物体的泛化能力。这一成果被视为迈向通用机器人“大脑”的重要进展。
传统机器人操作模型往往依赖大量机器人轨迹数据进行训练,导致迁移至新任务时成本高、效率低。GR-3则通过少量人类数据即可实现高效微调,其核心突破在于采用Mixture-of-Transformers(MoT)网络结构,将视觉-语言模块与动作生成模块整合为40亿参数的端到端模型。其中,动作生成模块通过Diffusion Transformer(DiT)结合Flow-Matching技术生成动作,并引入归一化的RMSNorm设计,显著增强了动态指令跟随能力。这一结构使GR-3能像人类一样,直接根据摄像头画面与语言指令规划连续动作,例如在听到“收拾餐桌”后,自动完成“打包剩菜→收拾餐具→倒垃圾”的全流程。
训练数据层面,GR-3突破了单一数据源的局限,通过三合一数据训练法实现能力跃升:其一,利用遥操作机器人收集的高质量真机数据,确保基础操作能力;其二,通过用户授权的VR设备采集人类轨迹数据,使新任务学习效率提升近一倍(450条/小时 vs 传统250条/小时);其三,融合公开可用的图文数据,让模型理解“大”“小”“左右”等抽象概念,并识别未见过物体的特征。这种多样性数据融合策略,使GR-3在未见过的物体抓取任务中成功率较基准模型提升17.8%,仅需10条人类轨迹数据即可将新物体操作成功率从60%提升至80%以上。
为验证模型性能,团队在通用拾取放置、长程餐桌清理、柔性衣物操作三大任务中展开系统性测试。在通用拾取放置任务中,GR-3在训练过的场景里指令遵循率和成功率分别达98.1%和96.3%,在新环境(卧室书桌、超市柜台等)中性能几乎无衰减,且能精准处理“把雪碧旁边的可乐放进盘子”等涉及空间关系的复杂指令。长程餐桌清理任务中,GR-3可自主完成多步骤操作,平均完成度超95%,并能严格跟随分步指令,面对无效指令时准确判断不动作。柔性衣物操作测试显示,GR-3在挂衣服任务中完成度达86.7%,即使面对短袖等未见过的衣物款式或混乱摆放状态,仍能稳定完成任务。
与硬件的协同创新是GR-3的另一亮点。团队研发的通用双臂移动机器人ByteMini作为载体,配备22个全身自由度与独特手腕球角设计,结合全身运动控制(WBC)系统,实现狭小空间内的精细操作与平滑轨迹生成。例如,抓取纸杯时能自动调整力度避免捏碎,机械臂可像人类手腕般灵活转动。多摄像头布局(2个手腕摄像头看细节、头部摄像头看全局)则确保“眼观六路”的感知能力。
尽管GR-3在泛化性与操作精度上已超越业界此前可测试的VLA头部模型π0,但团队仍计划通过扩大模型规模、增加训练数据量(如更多物体的视觉语言数据、复杂任务机器人数据)进一步提升泛化能力。同时,引入强化学习(RL)方法突破模仿学习局限,使机器人在遇到物体滑落等突发情况时能自主调整策略,增强抗干扰能力。
字节跳动Seed团队表示,GR-3的研发旨在解决传统机器人“听不懂抽象指令”“不适应环境变化”“做不好长程任务”的三大瓶颈。未来,团队将持续探索大模型与机器人技术的深度融合,推动通用机器人“大脑”走进日常生活,成为帮助人类处理各类事务的智能助手。这一成果不仅为机器人学习领域提供了新范式,更让“机器人全能助手”的愿景更近一步。
ArXiv:https://arxiv.org/abs/2507.15493 项目主页:https://seed.bytedance.com/GR3

(以上内容均由AI生成)