Meta 推出 Llama API，据称可提供创纪录的推理速度

快速阅读: 据《Neowin.net》称，在首届LlamaCon大会上，Meta推出Llama API并开放免费预览，支持多种编程语言SDK。与Cerebras和Groq合作提升推理速度，Cerebras方案下Llama 4 Scout达2600标记/秒，Groq方案超460标记/秒，显著优于GPU方案。

在首届**LlamaCon**大会上，**Meta**今日发布了一系列公告，并推出了多项工具，以使**Llama**系列模型对开发者更加友好。其中最大的亮点是推出了**Llama API**，该API已作为限量免费预览版向开发者开放。**Llama API**支持一键生成API密钥，并提供了轻量级的**TypeScript**和**Python SDK**，方便开发者尝试不同的**Llama**模型，包括最新发布的**Llama 4 Scout**和**Llama 4 Maverick**模型。

此外，**Meta**还与**Cerebras**和**Groq**展开合作，为**Llama API**带来了更快的推理速度。据**Cerebras**称，API中的**Llama 4 Cerebras**模型的标记生成速度比普通的基于**NVIDIA**等GPU的方案快了18倍。根据**Artificial Analysis**基准测试平台的数据，**Cerebras**解决方案为**Llama 4 Scout**达到了超过**2,600标记/秒**的速度，远远领先于**ChatGPT**的**130标记/秒**和**DeepSeek**的**25标记/秒**。**Cerebras**首席执行官兼联合创始人**安德鲁·费尔德曼（Andrew Feldman）**表示：“感兴趣的开发者可以通过在**Llama API**的模型选项中选择**Cerebras**来体验这一超高速的**Llama 4**推理功能。”

而**Llama 4 Scout**同样来自**Groq**，但其当前的运行速度超过了**460标记/秒**，虽然仅为**Cerebras**方案的六分之一，但依然比其他基于GPU的方案快了四倍。无论开发者选择哪种方案，**Llama API**无疑为模型的开发和应用提供了更多可能性和灵活性。

(以上内容均由Ai生成)