阿里巴巴Qwen团队发布Mobile-Agent-v3和GUI-Owl，推进GUI自动化

快速阅读: 阿里巴巴Qwen团队推出GUI-Owl和Mobile-Agent-v3，解决GUI自动化挑战，提升任务理解和执行能力，适用于复杂多变的现实环境，增强跨平台任务完成效率。

近日，阿里巴巴Qwen团队推出了两款革命性产品——Mobile-Agent-v3和GUI-Owl，旨在解决图形用户界面（GUI）自动化中的一系列挑战。

现代计算设备普遍采用图形用户界面，而传统的自动化方法通常依赖复杂的脚本和手工规则，效果并不理想。GUI-Owl作为一款新型多模态代理模型，基于Qwen2.5-VL构建，并在大量GUI交互数据上进行了后续训练，旨在提升任务理解和执行的能力。

GUI-Owl的设计初衷是应对真实世界中GUI环境的多样性和动态性。通过整合感知、推理、规划和执行能力，它提供了一个统一的政策网络。这种设计使它能够在复杂的任务中进行多轮决策，同时实现清晰的推理过程，适应实际使用中的变化。

为确保高质量的数据支持，团队开发了一个自我演化的数据生产管道。该管道生成真实应用程序的导航流程，并通过人工标注进行验证，确保生成数据的真实性和有效性。此外，团队还使用了多种数据合成策略，以丰富模型的学习内容，增强其在任务执行时的适应性和灵活性。

Mobile-Agent-v3框架则侧重于多代理的协作，将复杂任务分解为子目标，通过动态更新计划来处理执行反馈。框架中的四个专业代理——经理代理、工作代理、反思代理和笔记代理——各司其职，提升了任务执行的效率和成功率。经过多轮测试和评估，GUI-Owl和Mobile-Agent-v3在多个GUI自动化基准上表现出色，特别是在跨平台的任务完成能力方面。

这些创新工具的发布标志着阿里巴巴在通用GUI自动化领域取得的重大进展，未来将为更广泛的应用场景提供更强大的技术支持。

(以上内容均由Ai生成)