AI

阿里推出多模态智能体WebWatcher,深化深度研究

发布时间:2025年8月18日    来源:szf
阿里推出多模态智能体WebWatcher,深化深度研究

快速阅读: 阿里巴巴自然语言处理团队推出WebWatcher,开源多模态深度研究智能体,整合网页浏览、图像搜索等功能,解决现有系统处理复杂多模态任务的局限,全面领先于GPT-4o等模型。

阿里巴巴自然语言处理团队宣布推出WebWatcher,这是一个开源的多模态深度研究智能体,旨在突破现有闭源系统和开源Agent在多模态深度研究领域的局限性。WebWatcher整合了网页浏览、图像搜索、代码解释器和内部OCR等多种工具,能够像人类研究员一样处理复杂的多模态任务,展现强大的视觉理解、逻辑推理、知识调用、工具调度和自我验证能力。

阿里巴巴团队指出,尽管现有的闭源系统如OpenAI的DeepResearch在文本深度研究方面表现出色,但它们大多局限于纯文本环境,难以处理现实世界中复杂的图像、图表和混合内容。现有的开源Agent也面临两大瓶颈:一类是专注于文本检索的Agent,虽然能够整合信息,但无法处理图像;另一类是视觉Agent,虽然能够识别图像,但缺乏跨模态推理和多工具协同能力。WebWatcher正是为了解决这些瓶颈而设计的。

WebWatcher的技术方案涵盖了从数据构建到训练优化的完整链路,其核心目标是使多模态Agent在高难度多模态深度研究任务中具备灵活推理和多工具协作能力。为此,研究团队设计了一个全自动多模态数据生成流程,通过随机游走收集跨模态知识链,并引入信息模糊化技术,提升任务的不确定性和复杂性。所有复杂问题样本通过QA-to-VQA转换模块扩展为多模态版本,进一步增强模型的跨模态理解能力。

在高质量推理轨迹构建与后训练方面,WebWatcher采用Action-Observation驱动的轨迹生成方法,通过收集真实的多工具交互轨迹并进行监督微调(SFT),使模型在训练初期快速掌握多模态ReAct式推理和工具调用的基本模式。随后,模型进入强化学习阶段,通过GRPO进一步提升多模态Agent在复杂环境下的决策能力。

为了全面验证WebWatcher的能力,研究团队提出了BrowseComp-VL,这是BrowseComp在视觉-语言任务上的扩展版本,旨在逼近人类专家的跨模态研究任务难度。在多轮严格评测中,WebWatcher在复杂推理、信息检索、知识整合以及聚合类信息寻优等任务上全面领先于当前主流的开源与闭源多模态大模型。

具体来说,在人类终极考试(Humanity’s Last Exam, HLE-VL)这一多步复杂推理基准上,WebWatcher以13.6%的Pass@1分数夺魁,大幅领先于GPT-4o(9.8%)、Gemini2.5-flash(9.2%)和Qwen2.5-VL-72B(8.6%)等代表性模型。在更贴近真实多模态搜索的MMSearch评测中,WebWatcher的Pass@1得分高达55.3%,显著领先于Gemini2.5-flash(43.9%)和GPT-4o(24.1%)。在LiveVQA评测中,WebWatcher的Pass@1成绩达到58.7%,领先于其他主流模型。在最具综合挑战的BrowseComp-VL基准上,WebWatcher以27.0%的平均得分(Pass@1)遥遥领先,成绩提升超过一倍。

仓库地址:https://github.com/Alibaba-NLP/WebAgent

(以上内容均由Ai生成)

你可能还想读

Coinbase新协议让AI自主完成加密支付

Coinbase新协议让AI自主完成加密支付

快速阅读: Coinbase推出MCP工具,基于x402协议,使AI代理能持有钱包、发送稳定币支付,实现机器间加密货币转账,内置限额和合规检查确保安全。 Coinbase新推出的MCP工具允许人工智能代理持有钱包并发送稳定币支付。基于Coi […]

发布时间:2025年10月24日
硅实验室推出Simplicity Ecosystem,简化物联网开发流程

硅实验室推出Simplicity Ecosystem,简化物联网开发流程

快速阅读: 硅实验室推出Simplicity生态系统,旨在简化嵌入式物联网开发,包括Simplicity Studio 6和2026年推出的Simplicity AI SDK,提供模块化工具和AI辅助设计,支持多种物联网标准。 硅实验室推出 […]

发布时间:2025年10月24日
老旧印刷厂变身高效AI数据中心

老旧印刷厂变身高效AI数据中心

快速阅读: 帕特莫斯利用旧印刷厂的液体设施,支持每机柜50至140千瓦电力需求,采用多环路液体冷却系统,确保高效散热与硬件保护,接入堪萨斯城区域冷水供应,实现环保节能。 他说道:“我认为,棕地是一种极具创意的方法来应对我们当前面临的最大问题 […]

发布时间:2025年10月24日
AI安全集成:Snyk Evo引领企业智能防护新纪元

AI安全集成:Snyk Evo引领企业智能防护新纪元

快速阅读: 数字系统的快速发展要求安全架构更加智能、灵活。Snyk Evo通过自主编排、AI感知和主动保护,重新定义AI应用安全,减少暴露风险,简化开发流程。 数字系统的快速发展迫使安全架构必须更快地思考、更智能地行动并即时适应。随着各组织 […]

发布时间:2025年10月24日
黄仁勋:美光对下一代AI突破至关重要

黄仁勋:美光对下一代AI突破至关重要

快速阅读: 英伟达与美光合作,推动AI基础设施发展。美光HBM3E内存助力英伟达GPU,提升AI性能。黄仁勋称,高性能内存对AI应用至关重要,双方合作开启消费级和企业级AI新水平。 在全球领导层就人工智能可持续发展进行辩论之际,各公司纷纷投 […]

发布时间:2025年10月24日
苹果COO确认休斯顿制造AI服务器提前发货

苹果COO确认休斯顿制造AI服务器提前发货

快速阅读: 苹果首席运营官萨比赫·汗确认,因特朗普总统推动,苹果从休斯顿新工厂提前出货美国制造的人工智能服务器,此举响应总统号召,促进本国就业。 苹果首席运营官萨比赫·汗在接受福克斯新闻网数字版采访时确认,公司正从其位于休斯顿的新工厂提前出 […]

发布时间:2025年10月24日
微软Edge浏览器增强Copilot模式,挑战AI浏览器市场

微软Edge浏览器增强Copilot模式,挑战AI浏览器市场

快速阅读: 微软Edge浏览器推出Copilot模式,提供AI代理功能,包括Actions和Journeys,支持语音操作完成任务及记录浏览历史,帮助用户从中断处继续。 Edge 浏览器推出 Copilot 模式,带来更强大的代理 AI 功 […]

发布时间:2025年10月24日
阿联酋总统重组人工智能与先进技术委员会

阿联酋总统重组人工智能与先进技术委员会

快速阅读: 阿布扎比总统重组人工智能与先进技术委员会,由谢赫·塔农任主席,旨在加速AI政策实施与技术发展,推动《阿布扎比数字政府战略2025-2027》实现。 阿布扎比,10月23日(WAM/ANI):阿布扎比酋长国总统谢赫·穆罕默德·本· […]

发布时间:2025年10月24日