面壁智能开源新一代多模态模型MiniCPM-V 4.0

快速阅读: 魔搭ModelScope社区宣布，面壁小钢炮新一代多模态模型MiniCPM-V4.0正式开源，4B参数量在多个榜单上取得同级SOTA成绩，支持手机等移动设备稳定运行，官方同步开源推理部署工具MiniCPM-V CookBook。

魔搭ModelScope社区宣布，面壁小钢炮新一代多模态模型MiniCPM-V4.0正式开源。该模型拥有4B参数量，在OpenCompass、OCRBench、MathVista等多个榜单上取得同级SOTA（当前最佳）成绩，并且能够在手机等移动设备上稳定、流畅运行。同时，官方还开源了推理部署工具MiniCPM-V CookBook，帮助开发者在不同需求、不同场景、不同设备下实现开箱即用的轻量、简易部署。

MiniCPM-V4.0的开源标志着多模态模型在端侧应用领域迈出重要一步。作为最适合在手机上运行的模型尺寸，MiniCPM-V4.0以4B参数量实现了稳定运行和快速响应，长时间连续使用也不会出现发热或卡顿现象。目前，支持MiniCPM-V4.0本地部署的iOS App已开源，开发者可以在CookBook中下载使用。

在性能方面，MiniCPM-V4.0在4B参数量级的多模态能力上达到同级SOTA级别。在OpenCompass、OCRBench、MathVista、MMVet、MMBench V1.1、MMStar、AI2D、HallusionBench等评测基准测试中，MiniCPM-V4.0的综合性能均为同级最高。特别是在OpenCompass测评中，MiniCPM-V4.0的综合性能超过Qwen2.5-VL3B模型和InternVL2.54B模型，甚至可比肩GPT-4.1-mini、Claude3.5Sonnet。与上一代MiniCPM-V2.6的8B模型相比，MiniCPM-V4.0在模型参数减半的同时，多模态能力显著提升。

MiniCPM-V4.0之所以能在手机、PC等端侧设备上丝滑、流畅地完成实时视频理解、图像理解等任务，不仅因为其出色的效果，还得益于独特的模型结构设计。该设计实现了同尺寸模型下最快的首响时间和更低的显存占用。经在Apple M4Metal上测试，正常运行MiniCPM-V4.0模型时，显存占用仅为3.33GB，低于Qwen2.5-VL3B、Gemma3-4B等模型。在图片理解测试中，MiniCPM-V4.0借助ANE + Metal辅助加速，首次响应时间大幅缩短，随着输入图片分辨率的提高，首响时间快的优势更为明显。

此外，研究团队利用2张4090GPU对模型并发量、吞吐量进行了测试。实验结果显示，在算力资源可支持的范围内，随着并发量的增加，MiniCPM-V4.0模型的总吞吐量优势更为明显。例如，在256并发用户需求下，MiniCPM-V4.0的吞吐量高达13856tokens/s，远超Qwen2.5-VL的7153tokens/s、Gemma3的7607tokens/s。

GitHub:

Hugging Face:

ModelScope:

CookBook:

(以上内容均由Ai生成)