Liquid AI 正在彻底改变 LLM，使其在智能手机等边缘设备上使用新的“Hyena Edge”模型

快速阅读: 据《VentureBeat 公司》最新报道，液态人工智能推出新模型“海纳边缘”，专为边缘设备设计，性能优于Transformer架构。该模型将在2025年ICLR会议上亮相，并计划开源。

加入我们的每日和每周通讯，获取行业领先的人工智能覆盖的最新更新和独家内容。了解更多总部位于波士顿的基础模型初创公司液态人工智能（Liquid AI），由麻省理工学院（MIT）分拆成立，正寻求推动科技行业摆脱对支撑大多数流行大型语言模型（LLMs）的Transformer架构的依赖，如OpenAI的GPT系列和谷歌的Gemini家族等。昨日，该公司宣布了一种新的基于卷积的多混合模型“海纳边缘”（Hyena Edge），该模型专为智能手机和其他边缘设备设计，并即将在2025年国际学习表征会议（ICLR）上推出。该会议是机器学习研究的主要活动之一，今年将在奥地利维也纳举行。新的基于卷积的模型承诺在边缘实现更快、更高效的内存AI。海纳边缘被设计为在计算效率和语言模型质量方面都优于强大的Transformer基准模型。在三星Galaxy S24 Ultra智能手机上的现实世界测试中，该模型与参数匹配的Transformer++模型相比，表现出更低的延迟、更小的内存占用和更好的基准结果。

为新时代边缘AI的新架构

与大多数为移动部署设计的小型模型不同，包括SmolLM2、Phi模型和Llama 3.2 1B，海纳边缘摒弃了传统的关注密集型设计。相反，它战略性地采用Hyena-Y家族的门控卷积取代了三分之二的分组查询注意力（GQA）操作符。新架构是液态AI的定制架构合成（STAR）框架的结果，该框架利用进化算法自动设计模型骨架，并于2024年12月宣布。STAR探索了一系列操作符组合，基于线性输入变化系统的数学理论，以优化多个硬件特定的目标，如延迟、内存使用和质量。

直接在消费级硬件上进行基准测试

为了验证海纳边缘的实际可用性，液态AI直接在三星Galaxy S24 Ultra智能手机上进行了测试。结果显示，与Transformer++对应版本相比，海纳边缘在预填充和解码延迟方面提高了多达30%，并且随着序列长度增加，速度优势更加明显。短序列长度下的预填充延迟也超过了Transformer基线——这是响应式设备上应用的关键性能指标。结果显示，与Transformer++对应版本相比，海纳边缘在预填充和解码延迟方面提高了多达30%，并且随着序列长度增加，速度优势更加明显。在内存方面，海纳边缘在所有测试的序列长度下推理过程中始终使用较少的RAM，使其成为资源受限环境中的有力候选者。

在语言基准上超越Transformer

海纳边缘在1000亿个标记上进行了训练，并在小型语言模型的标准基准上进行了评估，包括Wikitext、Lambada、PiQA、HellaSwag、Winogrande、ARC-easy和ARC-challenge。在每个基准上，海纳边缘的表现要么匹配要么超过了GQA-Transformer++模型，在Wikitext和Lambada上的困惑度分数有明显的改善，在PiQA、HellaSwag和Winogrande上的准确率更高。这些结果表明，该模型的效率提升并未以预测质量为代价——这是许多边缘优化架构常见的权衡。

海纳边缘进化：性能和操作趋势一览

对于那些希望深入了解海纳边缘开发过程的人，最近的一段视频演示提供了该模型演变的引人注目的视觉总结。视频展示了关键性能指标——包括预填充延迟、解码延迟和内存消耗——如何在连续几代架构改进中得到改善。它还罕见地展示了海纳边缘内部组成在开发期间的变化。观众可以看到操作类型分布的动态变化，例如自注意力（SA）机制、各种Hyena变体和SwiGLU层。这些变化提供了对帮助模型达到当前效率和准确性水平的架构设计原则的洞察。通过可视化随着时间推移的操作权衡和操作动态，这段视频为理解海纳边缘性能背后的架构突破提供了宝贵的背景信息。

开源计划和更广泛的愿景

液态AI表示，计划在未来几个月内开源一系列液态基础模型，包括海纳边缘。公司的目标是构建能够从云数据中心扩展到个人边缘设备的强大且高效的通用人工智能系统。海纳边缘的推出也突显了替代架构在实际应用中挑战Transformer的潜力日益增长。随着移动设备越来越多地期望本地运行复杂的AI工作负载，像海纳边缘这样的模型可能为边缘优化的AI能力设定一个新的基准。

海纳边缘的成功——无论是原始性能指标还是展示自动化架构设计的能力——使液态AI成为新兴AI模型领域值得关注的参与者之一。

如果你想知道公司如何使用生成式AI的内幕消息，从监管变化到实际部署，以便你分享见解以获得最大回报，欢迎订阅VB每日商业用例洞察。立即订阅阅读我们的隐私政策。

感谢订阅。查看更多VB新闻通讯在这里。发生错误。

(以上内容均由Ai生成)