用于视频搜索和摘要的 AI Blueprint 现已可用于跨行业部署视频分析 AI 代理
快速阅读: 据《NVIDIA 官方博客》称，视频分析AI代理时代到来，英伟达发布VSS人工智能蓝图，助力开发者创建高效AI代理。这些代理已在制造业、智慧城市及体育等领域展现巨大潜力，大幅提升效率与决策速度。例如，广达电脑降低了7%劳动力成本，高雄市响应时间缩短80%。通过VSS蓝图，合作伙伴能快速构建AI能力，加速行业创新。
视频分析AI代理时代已经来临。视频作为现代数字环境的关键特征之一，占据了全球数据流量的一半以上。在媒体领域占据主导地位，并在各行各业中的作用愈发重要，它是全球最大的数据来源之一。然而，其中不到1%的数据被用于分析以获取洞察。近一半的全球GDP来自实体经济——涵盖了从能源到汽车再到电子产品的众多领域。随着劳动力短缺问题、制造业回流的努力以及对自动化需求的增长，视频分析AI代理将在连接物理世界和数字世界方面发挥比以往更为重要的作用。
为了加速这些代理的发展，英伟达今日发布了基于NVIDIA梅特罗波利斯平台的视频搜索与摘要（VSS）人工智能蓝图，使其广泛可用，为开发者提供工具，以创建和部署能够分析大量实时和存档视频的高度智能化的人工智能代理。一批由视觉语言模型（VLMs）驱动的视觉AI代理和生产力助手即将投入使用。结合强大的计算机视觉模型与超大规模语言模型（LLMs）的能力，这些视频分析AI代理让企业能够轻松查看、搜索和总结海量视频。通过实时分析视频或审查数TB的录制视频，视频分析AI代理正在为一系列重要行业带来前所未有的价值和机遇。
为了加速这些代理的发展，英伟达今日发布了基于NVIDIA梅特罗波利斯平台的视频搜索与摘要（VSS）人工智能蓝图，使其广泛可用，为开发者提供工具，以创建和部署能够分析大量实时和存档视频的高度智能化的人工智能代理。制造商和仓库正在利用人工智能代理提升工人安全和生产效率。例如，代理可以分配叉车并优化工人位置以提高效率。智慧城市正在部署视频分析AI代理以缓解交通拥堵并提升安全性，其应用场景也在不断拓展。
创建多样化视频分析AI代理舰队的蓝图VSS蓝图基于NVIDIA梅特罗波利斯平台，并借助VLMs和LLMs如NVIDIA VILA、NVIDIA Llama Nemotron、NVIDIA NeMo Retriever微服务以及检索增强生成（RAG）技术得到增强——这是一种将LLMs连接至企业数据的技术。VSS蓝图集成了NVIDIA AI Enterprise软件平台，包括用于VLMs、LLMs和RAG的NVIDIA NIM微服务及高级AI框架。借助VSS蓝图，用户可比实时观看快100倍的速度总结视频。例如，一小时的视频可在不到一分钟内以文本形式总结。VSS蓝图提供了诸多强大功能，旨在提供强大的视频理解、性能和可扩展性。
VSS蓝图集成了NVIDIA AI Enterprise软件平台，包括用于VLMs、LLMs和RAG的NVIDIA NIM微服务及高级AI框架。借助VSS蓝图，用户可比实时观看快100倍的速度总结视频。例如，一小时的视频可在不到一分钟内以文本形式总结。此次发布新增了硬件支持，包括可在单个NVIDIA A100或H100 GPU上部署小型工作负载的能力，从而在资源分配上提供更大灵活性。该蓝图还可部署在边缘的NVIDIA RTX 6000 PRO和NVIDIA DGX Spark计算平台上。VSS蓝图可同时处理数百路实时视频流或突发片段。除视觉理解外，还提供音频转录。将语音转为文本在音频至关重要的场景中加深了语境理解——例如培训视频、主题演讲或团队讨论。
行业领导者部署视频分析AI代理以推动业务价值
从全球领先的制造商到智慧城市和体育联盟，都在使用VSS蓝图开发优化运营的人工智能代理。广达电脑，一家领先的电子制造公司，使用VSS蓝图研究操作流程并培训员工最佳实践。该公司还将蓝图集成至PEGAAi平台，以便组织构建人工智能代理以变革制造流程。从全球领先的制造商到智慧城市和体育联盟，都在使用VSS蓝图开发优化运营的人工智能代理。这些代理可摄取和分析海量视频，实现自动监控、异常检测、视频搜索和事件报告等高级功能。广达电脑的视觉分析代理可用于了解印刷电路板组装的操作流程，并判断动作是否正确。截至目前，这些代理已将广达电脑的劳动力成本降低7%，缺陷率降低67%。其他领先的台湾半导体和电子产品制造商正在构建人工智能代理和数字孪生，以优化其规划和运营应用。
台湾高雄市正在使用其合作伙伴Linker Vision开发的统一智慧城市视觉AI应用以改善事件响应速度。此前，城市各部门如废弃物管理、交通和应急响应因孤立的基础设施而相互隔离，导致因无法访问关键信息而响应迟缓。在VSS蓝图支持下，Linker Vision的人工智能应用配备了代理，这些代理融合了实时视频分析与生成式人工智能，不仅能检测视觉元素，还能理解和描述复杂的都市事件如洪水或交通事故。Linker Vision目前向12个城市部门提供及时的见解，并计划从2026年起将30,000个城市摄像头扩展到超过50,000个。这些见解正为城市服务提供改进的情境感知和数据驱动决策，并把事件响应时间缩短80%。
国家冰球联盟使用VAST Insight Engine与VSS蓝图简化和加速视觉AI工作流程。它管理大量比赛录像。借助VAST Insight Engine，NHL可快速搜索PB级视频，在亚秒内检索高光时刻和比赛中的关键时刻。AI驱动的工作流进一步通过自动剪辑、标注和组装视频内容增强内容创作，方便访问与使用。国家冰球联盟使用VAST Insight Engine与VSS蓝图简化和加速视觉AI工作流程。它管理大量比赛录像。未来，联盟可能利用实时AI推理在比赛中动态生成定制化见解如球员统计数据、战术分析或幻想建议。这种端到端自动化可能改变媒体创作、策展与分发方式，树立AI驱动体育内容制作的新标杆。
西门子正在使用工业副驾驶（Industrial Copilot）协助工厂车间工人完成设备维护任务、故障处理与性能优化。这个由生成式AI驱动的助手利用操作与文档数据信息实时解答设备故障。工业副驾驶由融合VSS组件如VLMs、LLMs和NVIDIA NeMo微服务构建。工业副驾驶实现快速决策并减少机器停机时间。西门子报告称生产力提升30%，有望达到50%。
在不断扩展的合作生态支持下创建复杂AI代理
英伟达合作伙伴正利用VSS蓝图加速创建代理AI视频分析能力，将开发周期从数月缩短至数周。Superb AI，一家智能视频分析领域的领先企业，在仁川机场设立复杂机场运营项目，仅几周便减少乘客等待时间。在马来西亚，解决方案提供商ITMAX正利用VSS蓝图为吉隆坡市构建先进视觉AI代理，以提升整体城市管理并减少事件响应时间。在广告领域，PYLER仅几周便将VSS蓝图整合至品牌安全（AiD）和广告定向（AiM）解决方案。使用AiD和AiM，三星电子通过品牌和产品一致的高价值广告投放提升广告效果。比亚迪通过定向相关积极内容，广告点击率提升4倍；韩亚金融集团达成多个品牌活动目标。
Fingermark是Eyecue的供应商，Eyecue为实时计算机视觉平台，供快餐连锁店使用。Fingermark正将VSS蓝图融入Eyecue，以将视频画面转化为有关Drive-Thru等候时间、服务瓶颈和员工相关事件的清晰、可操作见解。
在build.nvidia.com试用VSS蓝图，并阅读技术博客了解更多详情。观看英伟达创始人兼CEO黄仁勋的COMPUTEX主题演讲以及英伟达台北GTC 2025大会。
(以上内容均由Ai生成)
