Google 推出具有 128k 上下文窗口的开源 Gemma 3 模型
快速阅读: 据《VentureBeat 公司》最新报道,谷歌发布Gemini 3,一种小型语言模型(SLM),具有更大的参数和多模态推理能力,适用于手机等设备。Gemini 3在多种语言和任务中表现出色,并推出量化版本降低计算成本。此外,ShieldGemini 2用于保障模型安全性。Gemini 3可通过多个平台访问,帮助企业构建高效应用。
订阅我们的每日和每周简报,获取关于行业领先人工智能报道的最新消息和独家内容。即使大型语言模型和推理模型仍然受到欢迎,组织越来越多地选择更小的模型来运行人工智能流程,以减少能源消耗和成本问题。虽然有些组织正在将大型模型蒸馏成更小的版本,但像谷歌这样的模型提供商继续发布小型语言模型(SLMs),作为大型语言模型(LLMs)的替代方案,这可能会增加运行成本,但不会牺牲性能或准确性。
鉴于此,谷歌发布了其小型模型Gemini的最新版本Gemini 3。这个版本具有扩展的上下文窗口、更大的参数以及更多的多模态推理能力。Gemini 3的处理能力与较大的Gemini 2.0模型相同,最适合用于手机和笔记本电脑等较小的设备。新模型有四种尺寸:1B、4B、12B和27B参数。由于上下文窗口扩大到128K个标记——相比之下,Gemini 2的上下文窗口为80K——Gemini 3可以理解更多的信息和复杂的请求。
谷歌更新了Gemini 3,使其能够在140种语言中工作,分析图像、文本和短视频,并支持函数调用来自动化任务和代理工作流。Gemini 3表现出色。为了进一步降低计算成本,谷歌推出了Gemini 3的量化版本。量化模型可以看作是压缩后的模型。这是通过“降低模型权重数值精度”的过程实现的,而不会牺牲准确性。谷歌在其博客文章中写道:“Gemini 3在同类产品中表现最佳”,并且优于领先的LLMs,如Llama-405B、DeepSeek-V3和o3-mini。具体来说,Gemini 3 27B在聊天机器人竞技场Elo评分测试中仅次于DeepSeek-R1。它超过了DeepSeek的小型模型DeepSeek v3、OpenAI的o3-mini、Meta的Llama-405B和Mistral Large。
通过量化Gemini 3,用户可以提高性能,运行模型并构建“能够适应单个GPU和张量处理单元(TPU)主机”的应用程序。Gemini 3集成了开发工具,如Hugging Face Transformers、Ollama、JAX、Keras、PyTorch等。用户还可以通过Google AI Studio、Hugging Face或Kaggle访问Gemini 3。企业和开发者可以通过AI Studio申请访问Gemini 3 API。
保护Gemini的安全性
谷歌在其博客文章中写道:“Gemini 3的开发包括广泛的数据治理、通过微调与我们的安全政策对齐以及稳健的基准评估。”尽管对更强大模型的全面测试常常能指导我们评估较弱的模型,但Gemini 3增强的STEM性能促使进行了专门评估,关注其在制造有害物质方面的潜在滥用风险;其结果表明风险较低。ShieldGemini 2是一个基于Gemini 3基础的4B参数图像安全检查器。它可以发现并阻止模型输出包含色情、暴力和其他危险内容的图像。用户可以根据自己的特定需求自定义ShieldGemini 2。
小型模型和蒸馏技术日益流行
自从谷歌在2024年2月首次发布Gemini以来,SLMs引起了越来越多的兴趣。其他类似的小型模型,如微软的Phi-4和Mistral Small 3,表明企业希望构建与LLMs一样强大的应用,但不一定需要使用LLMs的全部功能。企业也开始通过蒸馏技术转向他们偏好的LLMs的较小版本。明确地说,Gemini并不是Gemini 2.0的蒸馏版本;相反,它是用相同的训练数据集和架构进行训练的。蒸馏模型从较大的模型中学习,而Gemini没有这样做。组织通常倾向于将某些用例适配到特定的模型上。与其将o3-mini或Claude 3.7 Sonnet等LLM部署到简单的代码编辑器中,不如使用较小的模型,无论是SLM还是蒸馏版本,这些模型可以轻松完成这些任务,而不会过度拟合庞大的模型。
VB每日商业用例洞察
如果你想给老板留下深刻印象,VB每日可以帮到你。我们会告诉你公司在生成式人工智能方面做了什么,从监管变化到实际部署,以便你可以分享见解以获得最大回报。立即订阅阅读我们的隐私政策。
感谢订阅。
查看更多VB新闻通讯。
发生错误。
(以上内容均由Ai生成)