NEC展示AI驾驶诊断系统,视频AI结合大模型提升行车安全
快速阅读: NEC在2025年CEATEC展会上展示AI驾驶诊断系统,通过视频识别和大型语言模型,将行车记录转化为智能对话,提供驾驶行为分析和改进建议,适用于保险和车队管理,提升安全性和效率。
在2025年CEATEC展会上,NEC展示了一个生成式AI如何提升现实世界安全性的优秀案例。其AI驾驶诊断系统通过将普通行车记录仪视频转化为关于驾驶行为的智能对话,不仅展示了我们如何驾驶,还提供了改进建议。
该概念可能听起来像另一款驾驶员监控设备,但NEC的方法与众不同。通过结合其视频识别AI和大型语言模型(LLM),该系统不仅能检测模式,还能理解这些模式。它能够解读驾驶行为的背景——无论是突然加速、危险变道还是险些发生事故——并以人类语言解释发生了什么,同时提供预防未来事故的建议。
### 从模拟到服务:驾驶诊断应用于保险和车队管理
在CEATEC展会期间,Ubergizmo联合创始人Hubert Nguyen在NEC展台体验了这一系统。他坐在一个配备了方向盘、踏板和多个屏幕的模拟器中,模拟真实的道路条件。几分钟内,NEC的AI分析了行车记录仪和传感器数据——包括速度、加速度和GPS——并生成了一份简明的驾驶诊断报告。
系统评估了每一次操作,识别出急刹车、不均匀加速或平稳转弯,并生成了一份可以与保险公司、车队管理者或市政交通机构共享的总结。据NEC代表介绍,同一引擎还可以生成实时反馈或自动向远程信息处理平台发送书面报告。
这项技术远不止是一个消费级小工具,而是专为风险分析、车队安全计划和基于使用的保险设计的B2B解决方案,帮助组织了解驾驶员行为,同时降低燃油成本和事故率。
### 将视频转化为理解
这一演示背后的智能技术是NEC的描述性视频摘要技术,可以形象地比喻为“视频版的ChatGPT”。传统的计算机视觉系统可以识别物体或跟踪运动,但很少能理解事情为什么会发生。NEC的系统通过结合计算机视觉和LLM推理,描述并解释视频内容。它提取与用户目的最相关的时刻,生成一段简短、基于事实的叙述,将原始视频转化为可操作的见解。
为了实现这一点,NEC在一个统一平台上集成了超过一百个视觉识别引擎,涵盖了物体检测、人体姿态估计、车辆跟踪和环境上下文等多个方面。AI将检测到的视觉元素转换为结构化数据,存储在专有的“图数据库”中。这种设计确保每个生成的解释都有可验证的事实依据,减少了生成模型有时产生的幻觉问题。
实际上,这意味着该系统可以将十分钟的驾驶录像浓缩成一个简短而精确的解释,说明驾驶员哪些地方做得好,哪些地方有风险,以及如何改进。
### 提示工程与道路结合
NEC研究人员描述了实现这一想法面临的三大挑战:
– **理解用户意图**:例如,车队管理者需要安全指标,而保险公司需要行为评分。
– **理解复杂的视觉背景**:读取车辆、道路和条件之间的关系。
– **生成准确自然的解释**:与实际发生的情况相匹配。
据NEC视觉智能实验室介绍,LLM在解决前两个和第三个问题上至关重要。公司的提示工程师设计了指导模型生成精确、简洁摘要的指令。一位工程师解释说,将复杂命令拆分为更小的部分提高了准确性和一致性,使开发更快、输出更可靠。
最终,该系统能够用清晰的人类语言进行沟通:“您在接近交叉路口时的减速过于突然;提前减速可以提高安全性和燃油效率。”这样的反馈比通用警告灯更容易理解。
### 将驾驶行为与网络质量联系起来
NEC的AI驾驶诊断系统是该公司构建多模态AI支持的安全移动基础设施的一部分。2024年初,公司推出了一种用于联网车辆的用户体验(QoE)预测系统,能够预测每辆车或无人机在运动过程中哪个移动网络或基站能提供最稳定的通信。
该技术同样利用了视频识别和LLM推理,解释环境因素——如交通拥堵、建筑密度或天气——并推荐最佳网络切换。这两个系统形成了一个持续的反馈循环:视频AI评估驾驶员的行为,QoE预测评估他们可以在哪里安全高效地驾驶。LLM将这两个维度结合起来,解释为什么某个变化很重要。
NEC将驾驶行为、连接质量和基于AI的指导整合到统一的技术框架下,成为少数几家实现这一融合的公司之一。超越仪表盘:更广泛的B2B愿景
NEC设想了该技术在多个垂直领域的应用。地方政府可以部署这项技术来监控公共交通车队,确保驾驶员表现一致并减少事故索赔。物流公司可以通过这项技术追踪运输卡车的平稳度,从而降低燃油消耗。保险公司可以将AI评估集成到远程信息处理产品中,以动态调整风险配置。
该公司已在日本商业化相关“驾驶记录分析”服务,并正在与车队运营商、市政机构和保险公司讨论联合试点项目。由于该系统可以在本地或私有云上安全运行,因此能够处理敏感视频数据,同时符合严格的隐私标准。
为何重要
驾驶员行为分析并非新鲜事物——行车记录仪和远程信息处理盒多年来一直在评分平稳性和反应时间。但这些系统通常仅停留在数字和警报上。NEC的方法更进一步,通过理解上下文并用自然语言解释因果关系,将数据转化为指导。这将风险分析从被动过程转变为人类与机器之间的持续对话,其中AI可以在事故发生前激励更安全的习惯。
对于保险公司而言,这意味着更智能的反馈循环和可能更低的理赔成本。对于车队管理者来说,这意味着数百名驾驶员的客观、可解释的绩效指标。对于NEC来说,这表明当生成式AI基于事实认知时,可以从云端进入实际操作的现实世界移动系统。
迈向更安全、更智能的移动生态系统
NEC在CEATEC 2025上的演示虽短,但其影响广泛。通过结合计算机视觉、网络优化和生成式AI的专业知识,NEC正在构建一个安全移动生态系统的基石——不仅记录我们如何驾驶,还帮助我们更好地驾驶。
如果与保险和车队伙伴的当前试验取得成功,下一代联网车辆服务将不仅仅跟踪我们的行程。它们很快就能解释这些行程——将每一次驾驶变成由NEC的视频感知、语言驱动的AI支持的智能反馈环节。
(以上内容均由Ai生成)