吉利汽车，Stepfun 开源多模态 AI 模型，用于视频、音频生成

快速阅读: 据《盖世》最新报道，上海（盖世汽车）—2月18日，吉利汽车与速途网络宣布开源两个多模态AI大模型：速途视频T2V和速途音频。速途视频T2V可生成高清视频，且在多项测试中表现优异；速途音频则为首款开源语音交互模型，支持多种语音风格，且在多个测试中超越同类模型。这两项技术旨在促进开源社区的发展。

上海（盖世汽车）-2月18日，吉利汽车集团及其科技生态系统合作伙伴速途网络宣布开源两个多模态人工智能大模型——用于视频生成的速途视频T2V和用于语音交互的速途音频。此次合作充分利用了双方在计算能力、算法和场景训练方面的优势，显著提升了人工智能模型的性能。速途网络表示，此举旨在与全球开源社区分享多模态大模型的最新进展，并为其发展做出贡献。

速途视频T2V拥有300亿参数的速途视频T2V模型能够以540p分辨率生成包含204帧的高清视频，确保信息密度和一致性优异。为了全面评估人工智能生成的视频质量，速途网络还发布了一个开源基准数据集——速途视频T2V评测。该数据集包括128个真实的中文查询，用于评估视频在11个类别上的表现，如动作、风景、动物、抽象概念、超现实主义、人物、3D动画和电影制作。该公司表示，速途视频T2V在指令执行、动作流畅度、物理真实性和美学吸引力方面优于现有的开源模型。该模型在生成复杂动作序列、富有表现力的人物形象、视觉想象力丰富的场景、双语文本集成和高级电影构图方面表现出色。人工智能模型准确描绘复杂运动的能力尤为突出。无论是芭蕾舞的优雅、空手道的激烈、羽毛球的速度还是跳水的高速旋转，该模型都展示了对物理空间和动态运动的深刻理解。在一次测试中，它真实地呈现了一只熊猫、斜坡和滑板之间的空间关系，生成了具有物理感知的画面——这是目前人工智能视频生成中最具有挑战性的方面之一。

速途音频据速途网络介绍，速途音频是业界首款产品级开源语音交互模型。它可以生成带有不同情感、方言、语言、演唱风格和个人化表达的语音，使自然、高质量的对话成为可能，适用于电影、娱乐、社交互动和游戏等多种场景。速途音频还补充说，在五大行业标准测试中，包括LLaMA问题和Web问题中，速途音频均优于类似的开源模型。其在HSK-6（汉语水平考试六级）评估中的表现突显了其对中国语言的深刻理解，使其成为最擅长中文的开源语音人工智能模型之一。除了语言理解能力外，速途音频还展现了高情商，提供了富有同理心和深思熟虑的回答，就像一个亲密的朋友在生活中提供指导一样。此外，它在节奏和旋律处理方面表现出色，能够生成具有深刻语言韵律和流动感的动感说唱表演。

认识到缺乏全面的语音人工智能评估基准，速途网络还推出了速途评测音频360，这是一个开源测试框架。该基准从九个关键维度评估语音人工智能模型，包括角色扮演、逻辑推理、内容生成、文字游戏、创意能力和指令遵循。

(以上内容均由Ai生成)