Nvidia 推出 Nemotron-Nano-9B-v2 小型开放模型，支持可切换推理功能

快速阅读: Nvidia发布9亿参数小型语言模型Nemotron-Nano-9B-v2，支持多语言及指令跟随等任务，引入推理切换和思考预算管理，提高准确性和响应速度，适用于高效部署。

近日，Nvidia 发布了新款小型语言模型 Nemotron-Nano-9B-v2，标志着小型模型的热潮再次升温。该模型拥有9亿个参数，虽然规模大于其他数百万参数的小型模型，但相比原始的12亿参数已有大幅缩减，旨在在一台 Nvidia A10 GPU 上高效运行。Nvidia 的 AI 模型后训练总监 Oleksii Kuchiaev 表示，减少参数是为了更好地适应部署需求，且该模型采用混合架构，在处理较大批量时比类似尺寸的变换模型快6倍。

Nemotron-Nano-9B-v2 支持多种语言，包括英语、德语、西班牙语、法语、意大利语、日语等，适用于指令跟随和代码生成等任务。该模型还引入了一项创新功能——用户可以通过简单的控制令牌切换 AI 的“推理”过程，即在给出答案前进行自我检查。系统默认生成推理痕迹，但用户可通过 /think 或 /no_think 等命令控制此过程。此外，模型还引入了“思考预算”管理机制，允许开发者设定推理过程中使用的标记数量，以在准确性和响应速度之间取得平衡。

测试结果显示，Nemotron-Nano-9B-v2 在多个基准测试中表现优异。在“推理开启”模式下，该模型在 AIME25、MATH500、GPQA 和 LiveCodeBench 等测试中均取得良好成绩。此外，它在指令跟随和长上下文基准测试中同样表现出色，显示出比其他开放小型模型更高的准确性。

Nvidia 为该模型设定了开放许可协议，允许开发者在商业上自由使用与分发，并明确不对生成的输出声索所有权。这意味企业可以立即投入使用，而无需担心使用门槛或费用。

Nvidia 推出的 Nemotron-Nano-9B-v2 模型为需要在小规模上实现推理能力和高效部署的开发者提供了新工具。其运行预算控制和推理切换功能为系统构建者提供了灵活性，旨在提高准确性和响应速度，进一步推动小型语言模型的发展。

(以上内容均由Ai生成)