IBM发布Granite4.0Nano系列，专为边缘AI设计

快速阅读: IBM发布Granite4.0Nano系列，含8个专为边缘和本地推理设计的模型，基于15万亿标记训练，支持多种运行环境，获ISO42001认证，提升企业控制力和开源许可。

近日，IBM AI团队发布了Granite4.0Nano系列，这是一组专为本地和边缘推理设计的小型模型，旨在为企业提供更强的控制力和开源许可。该系列包含8个模型，分为350M和约1B两种规模，采用混合SSM和变换器架构，支持基本和指令两种模式，所有模型均在Apache 2.0许可下发布，并能在vLLM、llama.cpp和MLX等流行运行环境中直接运行。

Granite4.0Nano系列涵盖四条模型线及其基础版本。其中，Granite4.0H1B采用混合SSM架构，参数量约为1.5B；而Granite4.0H350M同样采用混合架构，参数量为350M。为了确保最大的运行时兼容性，IBM还提供了Granite4.01B和Granite4.0350M的变换器版本。

这些H变体模型通过交替使用SSM层和变换器层设计，相比纯变换器模型，在内存增长方面展现出明显优势，同时保持了变换器模块的通用性。Granite4.0Nano模型未采用减少数据管道的方法，而是遵循与大规模Granite4.0模型相同的训练方法，使用超过15万亿个标记进行训练，并经过指令调整，提高了工具使用和指令遵循能力。

IBM还将Granite4.0Nano与其他类似模型进行了对比，如Qwen、Gemma和LiquidAI LFM，结果显示其在通用知识、数学、代码及安全性等方面的表现显著提升。此外，该系列模型在代理任务上的表现也十分出色，在IFEval和伯克利函数调用排行榜第3版中排名第三。

这些模型已通过ISO42001认证，并以加密签名形式发布，确保了企业级使用所需的可追溯性和治理能力。用户可通过Hugging Face和IBM Watsonx.ai访问这些模型，并在边缘、本地和浏览器级别部署，助力早期AI工程师和软件团队更好地推进项目。

Hugging Face链接: https://huggingface.co/collections/ibm-granite/granite-40-nano-language-models

要点总结：

– IBM发布了Granite4.0Nano系列，包含8个模型，适用于边缘AI推理。

– 该系列模型基于超过15万亿个标记进行训练，确保了性能的继承性。

– 所有模型均通过ISO42001认证，具备企业级治理能力，支持多种运行环境。

(以上内容均由Ai生成)