英伟达发布小型模型Nemotron-Nano-9B-V2，免费商用性能优异

快速阅读: 英伟达发布90亿参数的小型语言模型Nemotron-Nano-9B-V2，针对A10 GPU优化，支持九种语言，擅长指令跟踪和代码生成，具备“推理”功能，可自由用于商业，旨在降低延迟和成本。

小型模型正掀起一股热潮，英伟达也紧跟其后。麻省理工学院和谷歌相继推出可在智能手表和智能手机上运行的小型AI模型后，英伟达发布了最新的小型语言模型（SLM）——Nemotron-Nano-9B-V2。该模型在多项基准测试中表现出色，并在某些测试中达到同类产品最高水平。

Nemotron-Nano-9B-V2拥有90亿参数，虽然比一些数百万参数的微型模型要大，但比之前的120亿参数版本显著减小，并针对单个英伟达A10 GPU进行了优化。英伟达AI模型后训练总监Oleksii Kuchiaev表示，这种调整是为了适配A10这款热门的部署GPU。此外，Nemotron-Nano-9B-V2是一款混合模型，能处理更大的批次，速度比同等规模的Transformer模型快6倍。

该模型支持多达九种语言，包括中、英、德、法、日、韩等，并擅长处理指令跟踪和代码生成任务。其预训练数据集和模型本身已在Hugging Face和英伟达的模型目录中提供。

Nemotron-Nano-9B-V2基于Nemotron-H系列，该系列融合了Mamba和Transformer架构。传统Transformer模型虽然强大，但在处理长序列时会消耗大量内存和计算资源。Mamba架构引入了选择性状态空间模型（SSM），能够以线性复杂度处理长信息序列，从而在内存和计算开销上更具优势。Nemotron-H系列通过用线性状态空间层替换大部分注意力层，在长上下文处理上实现了2-3倍的吞吐量提升，同时保持了高精度。

这款模型的一大创新是内置的“推理”功能，允许用户在模型输出最终答案前进行自我检查。用户可以通过简单的控制符（如/think或/no_think）来开启或关闭此功能。模型还支持运行时“思考预算”管理，开发者可以限制用于内部推理的令牌数量，从而在准确性和延迟之间取得平衡。这对于客户支持或自主代理等对响应速度有要求的应用场景尤为关键。

英伟达根据其开放模型许可协议发布了Nemotron-Nano-9B-V2，该协议对企业友好且高度宽松。英伟达明确表示，企业可以自由地将该模型用于商业用途，且无需为使用该模型支付费用或版税。尽管如此，协议仍有一些核心要求，例如用户必须遵守内置的安全机制、在重新分发模型时进行归属标注，并遵守相关法律法规。英伟达表示，该协议旨在确保负责任和合乎道德的使用，而不是通过限制商业规模来盈利。这使得Nemotron-Nano-9B-V2成为那些希望在降低成本和延迟的同时保持高精度的企业开发者的理想选择。

(以上内容均由Ai生成)