Meta 发布首批两款多模态 Llama 4 模型，计划推出 2 万亿参数模型
快速阅读: 据《印度分析杂志》称，Meta发布两款新多模态模型——Llama 4探路者和先锋，参数均为170亿，可通过官网和Hugging Face下载。探路者高效且扩展性强，先锋推理能力媲美更大模型。两者均源自未发布的2880亿参数巨兽模型，将支持更广泛的应用场景并推动创新。
Meta宣布发布两款全新开放式的多模态模型——**Llama 4 探路者**和**Llama 4 先锋**。这两款模型现已在**Llama官网**和**Hugging Face**上开放下载，并可通过**WhatsApp**、**Messenger**、**Instagram Direct**以及Meta AI官网上的Meta AI产品进行访问。
**Llama 4 探路者**拥有170亿个活跃参数和16位专家，设计为能适配单一的H100 GPU。据Meta透露，这款模型支持行业领先的1000万个标记上下文窗口，能够处理复杂的任务，比如多文档摘要和大规模代码推理。Meta称：“探路者是同类型中最高效的模型，在性能上超越了Llama 3，同时具备更高的扩展能力。”该模型在多项基准测试中表现优异，优于竞争对手系统，包括Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。
**Llama 4 先锋**同样是170亿个活跃参数，但配备了128位专家，专门针对高端应用场景设计。它总计包含4000亿个参数，其推理和编码能力可与更大的模型如DeepSeek V3相媲美。Meta表示，先锋在多项基准测试中胜过GPT-4o和Gemini 2.0 Flash。在实验性聊天环境下的LMArena中，先锋的ELO评分达到1417。Meta CEO马克·扎克伯格将其描述为“主力”模型，适用于大规模任务。他说，先锋在所有基准测试中均优于GPT-4o和Gemini Flash 2，同时比DeepSeek-V3更为精简且高效。“这些模型代表了性能与成本之间的平衡，”Meta表示，“先锋能够在单个H100主机上运行，也可扩展至分布式推理，为开发者提供灵活性。”
这些模型均由尚未发布的导师模型**Llama 4 巨兽**蒸馏而来，巨兽也是一款多模态混合专家模型，拥有2880亿个活跃参数、16位专家，总参数接近两万亿。巨兽目前仍处于训练阶段，但在STEM领域的一些基准测试如MATH-500和GPQA Diamond中已展现出顶尖水平，超越了GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。Meta提到，巨兽暂不对外发布，但它通过“代码蒸馏”的过程对较小的模型产生了深远影响。训练过程中采用了创新技术，如新颖的蒸馏损失函数和动态数据筛选策略。
扎克伯格表示，公司计划接下来发布Llama 4的推理模型，并透露详情将在下个月公布。此外，公司还分享了全新的架构见解。探路者和先锋均采用交错注意力层而无需位置嵌入，并应用了一种名为“推理时温度缩放”的技术，以更好地泛化更长的输入序列。这些模型在多样化多模态数据上进行了预训练，包括图像和视频帧静止画面，支持跨多图像与文本的多模态交互功能。在训练方法上，Meta提出了一种轻量级的监督微调（SFT）方法，随后辅以在线强化学习（RL）和直接偏好优化（DPO）。对于先锋而言，超过50%的SFT数据经过筛选，以聚焦更难的案例，从而提升其推理与对话表现。
Meta强调了开放性的战略意义：“我们相信开放性能够推动创新，惠及所有人。”Llama 4 探路者和先锋将以开源形式发布，预计很快将通过云服务提供商及合作伙伴实现更广泛的访问。这一公告正值计划于4月29日召开的**LlamaCon**之前发布，届时Meta将分享更多关于Llama平台未来愿景的信息。“这仅仅是个开端，”Meta表示，“我们正在构建能够推理、理解图像并与人自然交流的模型，以支持下一代应用程序。”
(以上内容均由Ai生成)
