Meta AI 发布 Llama 4：早期印象和社区反馈

快速阅读: 《InfoQ 公司》消息，Meta发布Llama 4系列两款初始模型“探路者”和“先锋”，采用多模态架构及专家混合框架，性能优化且参数量大。尽管部分性能遭质疑，模型已开放下载供开发者评估。

Meta公司正式发布了其全新Llama 4系列中的两款初始模型——“探路者”和“先锋”，标志着其开源大型语言模型生态系统的进一步发展。这两款模型采用原生多模态架构以及专家混合（MoE）框架设计，旨在支持从图像理解到长上下文推理的更广泛应用。

Llama 4探路者包含170亿个参数，分布在16位专家中，优化后可在单块NVIDIA H100 GPU上运行。它能够处理长达1000万个标记的上下文窗口，适合执行通用人工智能任务。另一方面，Llama 4先锋同样拥有170亿个参数，但由128位专家组成，其在推理和编码能力方面表现更为出色，在Meta公司的基准测试中优于多个同类型模型。这两个模型均源自Meta公司仍在训练中的旗舰模型Llama 4巨兽，后者拥有2880亿个参数，并接近两万亿总参数量。Meta公司声称，巨兽模型在多项STEM基准测试中超过了GPT-4.5、Claude 3 Sonnet和Gemini 2.0 Pro。尽管尚未完全发布，巨兽模型仍是较小的探路者和先锋模型的重要训练导师。

除了模型架构之外，Meta公司还强调了经过重新设计的训练和后训练策略，包括轻量级的有监督微调、强化学习以及处理多模态输入的新课程设计。这些改进旨在提升在困难任务上的性能，同时提高效率并降低模型偏差。虽然基准数据显示Llama 4系列模型的表现与行业领导者如Gemini 2.0和GPT-4相当竞争，但部分早期使用者对此持怀疑态度。一位Reddit网友补充说：AI专家乌利·希泽尔（Uli Hitzel）博士分享了一个具有说服力的例子：Meta公司尚未通过公开渠道直接回应这些性能质疑，但鼓励开发者和研究人员亲自体验这些模型。

目前，Llama 4探路者和先锋已可通过llama.com网站或Hugging Face平台下载。关于作者 罗伯特·克拉斯辛斯基（Robert Krzaczyński） 显示更多 显示更少

(以上内容均由Ai生成)