IBM 发布边缘 AI 专用 Granite4.0Nano 系列模型

快速阅读: IBM发布Granite4.0Nano系列小型模型，专为本地和边缘推理设计，增强企业控制力和开源许可，涵盖8个模型，支持多种运行环境，性能优异，适用于AI工程和软件开发。

近日，IBM AI 团队发布了 Granite4.0Nano 系列，这是一组专为本地和边缘推理设计的小型模型，旨在为企业提供更强的控制力和开源许可。该系列包括8个模型，分为350M和约1B两种规模，采用混合SSM和变换器架构，支持基本和指令两种模式。所有模型均在Apache 2.0许可下发布，并能在vLLM、llama.cpp和MLX等流行运行环境中原生运行。

Granite4.0Nano 系列涵盖四条模型线及其基础版本。其中，Granite4.0H1B采用混合SSM架构，参数量约为1.5B；而Granite4.0H350M同样采用混合方法，参数量为350M。为确保最大的运行时兼容性，IBM还提供了Granite4.01B和Granite4.0350M的变换器版本。

这些H变体模型通过交替使用SSM层和变换器层设计，相比纯变换器在内存增长方面具有显著优势，同时保留了变换器模块的通用性。Granite4.0Nano 模型未采用减少数据管道的方式，而是遵循与大规模Granite4.0模型相同的训练方法，使用超过15万亿个标记进行训练，并经过指令调整，以增强工具使用和指令遵循能力。

IBM还将Granite4.0Nano与Qwen、Gemma和LiquidAI LFM等同类模型进行了对比，结果显示，Granite4.0Nano在通用知识、数学、代码及安全性等领域表现优异。此外，该系列模型在代理任务上也取得了出色成绩，在IFEval和伯克利函数调用排行榜第3版中排名第三。

这些模型经过ISO42001认证，并以加密签名形式发布，确保了企业级使用所需的可追溯性和治理能力。用户可通过Hugging Face和IBM Watsonx.ai访问这些模型，并在边缘、本地和浏览器级别部署，帮助早期AI工程师和软件团队更好地推进项目。

(以上内容均由Ai生成)