AI

阿里巴巴Qwen团队发布Mobile-Agent-v3和GUI-Owl,推进GUI自动化

发布时间:2025年9月1日    来源:szf
阿里巴巴Qwen团队发布Mobile-Agent-v3和GUI-Owl,推进GUI自动化

快速阅读: 阿里巴巴Qwen团队推出GUI-Owl和Mobile-Agent-v3,解决GUI自动化挑战,提升任务理解和执行能力,适用于复杂多变的现实环境,增强跨平台任务完成效率。

近日,阿里巴巴Qwen团队推出了两款革命性产品——Mobile-Agent-v3和GUI-Owl,旨在解决图形用户界面(GUI)自动化中的一系列挑战。

现代计算设备普遍采用图形用户界面,而传统的自动化方法通常依赖复杂的脚本和手工规则,效果并不理想。GUI-Owl作为一款新型多模态代理模型,基于Qwen2.5-VL构建,并在大量GUI交互数据上进行了后续训练,旨在提升任务理解和执行的能力。

GUI-Owl的设计初衷是应对真实世界中GUI环境的多样性和动态性。通过整合感知、推理、规划和执行能力,它提供了一个统一的政策网络。这种设计使它能够在复杂的任务中进行多轮决策,同时实现清晰的推理过程,适应实际使用中的变化。

为确保高质量的数据支持,团队开发了一个自我演化的数据生产管道。该管道生成真实应用程序的导航流程,并通过人工标注进行验证,确保生成数据的真实性和有效性。此外,团队还使用了多种数据合成策略,以丰富模型的学习内容,增强其在任务执行时的适应性和灵活性。

Mobile-Agent-v3框架则侧重于多代理的协作,将复杂任务分解为子目标,通过动态更新计划来处理执行反馈。框架中的四个专业代理——经理代理、工作代理、反思代理和笔记代理——各司其职,提升了任务执行的效率和成功率。经过多轮测试和评估,GUI-Owl和Mobile-Agent-v3在多个GUI自动化基准上表现出色,特别是在跨平台的任务完成能力方面。

这些创新工具的发布标志着阿里巴巴在通用GUI自动化领域取得的重大进展,未来将为更广泛的应用场景提供更强大的技术支持。

(以上内容均由Ai生成)

你可能还想读

Coinbase新协议让AI自主完成加密支付

Coinbase新协议让AI自主完成加密支付

快速阅读: Coinbase推出MCP工具,基于x402协议,使AI代理能持有钱包、发送稳定币支付,实现机器间加密货币转账,内置限额和合规检查确保安全。 Coinbase新推出的MCP工具允许人工智能代理持有钱包并发送稳定币支付。基于Coi […]

发布时间:2025年10月24日
硅实验室推出Simplicity Ecosystem,简化物联网开发流程

硅实验室推出Simplicity Ecosystem,简化物联网开发流程

快速阅读: 硅实验室推出Simplicity生态系统,旨在简化嵌入式物联网开发,包括Simplicity Studio 6和2026年推出的Simplicity AI SDK,提供模块化工具和AI辅助设计,支持多种物联网标准。 硅实验室推出 […]

发布时间:2025年10月24日
老旧印刷厂变身高效AI数据中心

老旧印刷厂变身高效AI数据中心

快速阅读: 帕特莫斯利用旧印刷厂的液体设施,支持每机柜50至140千瓦电力需求,采用多环路液体冷却系统,确保高效散热与硬件保护,接入堪萨斯城区域冷水供应,实现环保节能。 他说道:“我认为,棕地是一种极具创意的方法来应对我们当前面临的最大问题 […]

发布时间:2025年10月24日
AI安全集成:Snyk Evo引领企业智能防护新纪元

AI安全集成:Snyk Evo引领企业智能防护新纪元

快速阅读: 数字系统的快速发展要求安全架构更加智能、灵活。Snyk Evo通过自主编排、AI感知和主动保护,重新定义AI应用安全,减少暴露风险,简化开发流程。 数字系统的快速发展迫使安全架构必须更快地思考、更智能地行动并即时适应。随着各组织 […]

发布时间:2025年10月24日
黄仁勋:美光对下一代AI突破至关重要

黄仁勋:美光对下一代AI突破至关重要

快速阅读: 英伟达与美光合作,推动AI基础设施发展。美光HBM3E内存助力英伟达GPU,提升AI性能。黄仁勋称,高性能内存对AI应用至关重要,双方合作开启消费级和企业级AI新水平。 在全球领导层就人工智能可持续发展进行辩论之际,各公司纷纷投 […]

发布时间:2025年10月24日
苹果COO确认休斯顿制造AI服务器提前发货

苹果COO确认休斯顿制造AI服务器提前发货

快速阅读: 苹果首席运营官萨比赫·汗确认,因特朗普总统推动,苹果从休斯顿新工厂提前出货美国制造的人工智能服务器,此举响应总统号召,促进本国就业。 苹果首席运营官萨比赫·汗在接受福克斯新闻网数字版采访时确认,公司正从其位于休斯顿的新工厂提前出 […]

发布时间:2025年10月24日
微软Edge浏览器增强Copilot模式,挑战AI浏览器市场

微软Edge浏览器增强Copilot模式,挑战AI浏览器市场

快速阅读: 微软Edge浏览器推出Copilot模式,提供AI代理功能,包括Actions和Journeys,支持语音操作完成任务及记录浏览历史,帮助用户从中断处继续。 Edge 浏览器推出 Copilot 模式,带来更强大的代理 AI 功 […]

发布时间:2025年10月24日
阿联酋总统重组人工智能与先进技术委员会

阿联酋总统重组人工智能与先进技术委员会

快速阅读: 阿布扎比总统重组人工智能与先进技术委员会,由谢赫·塔农任主席,旨在加速AI政策实施与技术发展,推动《阿布扎比数字政府战略2025-2027》实现。 阿布扎比,10月23日(WAM/ANI):阿布扎比酋长国总统谢赫·穆罕默德·本· […]

发布时间:2025年10月24日