Meta 推出 Llama 4 AI 系列,采用基于专家的全新架构
快速阅读: 据《科技共和国》最新报道,Meta发布新AI模型系列Llama 4,包括对话优化的Maverick和擅长处理大文件的Scout,以及未发布的Behemoth。Llama 4采用专家混合架构提升效率,强调减少偏见,但因技术问题多次推迟发布。欧盟用户受限,月活超7亿企业需获Meta许可。
图片:**Meta**
Meta于4月5日发布了其新的AI模型系列——**Llama 4**。这一系列包括两款专门优化的模型:**Llama 4 Maverick**(专注于对话场景)和**Llama 4 Scout**(擅长处理大文件)。此外,还有一款尚未发布的“导师”模型——**Llama 4 Behemoth**。
**Llama 4**是Meta首次采用“专家混合(MoE)架构”的系列。这种架构仅激活神经网络中的特定部分,即所谓的“专家”,用以处理特定子任务。任务会被分解为多个子任务,并分配给最适合的专家来完成,从而大幅提升资源利用效率。
**Llama 4 Maverick**拥有128个专家和170亿个活跃参数,这些参数是模型用来处理具体输入知识的部分。Meta称其为适合通用助手及聊天场景的主要工作模型,尤其擅长图像解读与创意写作。值得一提的是,Meta声称在对话能力方面,Maverick的表现具有“最佳性价比”。自从今年一月DeepSeek意外发布以来,降低成本便成为各大AI巨头的关注焦点,而DeepSeek的训练成本仅为560万美元。
不过,AI专家观察到,发布在LMArena上的Llama 4 Maverick版本,即专门优化对话性能的版本,与公开版本的表现有所不同。这表明Meta可能提交了一个经过调整的版本,以在排行榜上取得更高排名。
**Llama 4 Scout**同样拥有170亿个活跃参数和16个专家,但Meta称其为“同类中最优秀的多模态模型”。它具备极为宽广的上下文窗口,可容纳1000万个标记,这意味着它在处理提示信息时能够容纳更多的数据量。因此,它在总结大型文档和顺序推理方面表现出色。
Meta提到,由于Scout和Maverick是从拥有280亿个活跃参数和16个专家的Llama 4 Behemoth模型蒸馏而来,所以它们是目前表现最好的模型之一。尽管它们在LMArena相关排行榜上名列前茅,但Behemoth本身仍处于训练阶段,尚未正式发布。根据《信息》的报道,由于技术基准测试和对话性能不佳,Llama 4的发布时间已至少推迟两次。
用户可通过**Llama.com**和**Hugging Face**下载Scout和Maverick,同时还可以通过Meta的AI聊天机器人在**WhatsApp**、**Messenger**和**Instagram**中使用这些模型,覆盖全球40多个国家。不过,目前多模态功能仅限于美国和英语环境。
部分合作伙伴已宣布将集成这些模型。开发者可以在**微软Azure AI Foundry**和**Azure Databricks**中构建并部署基于Llama 4的AI应用程序。
Meta特别注重减少Llama 4模型中的偏见。与Llama 3.3相比,其对“有争议的政治和社会话题”的回答拒绝比例降低了超过5%。此外,被拒绝的问题中,其回应被认为更加平衡。
美国前总统唐纳德·特朗普的团队对AI模型的中立性表示质疑。他的AI和加密货币顾问大卫·萨克斯在播客中暗示,**OpenAI的ChatGPT**可能存在“觉醒编程”的问题。AI专家指出,偏见最终来源于训练数据,可能会导致任何方向的政治倾向,而不仅仅是左倾。
尽管如此,扎克伯格的公司近期采取了一系列措施,显示出其希望与美国政府保持一致的态度。特朗普执政期间,共和党策略师乔尔·卡普兰被聘为Meta的政策主管,他视社交媒体监管为对言论自由的直接威胁。
今年1月,Meta宣布将终止第三方事实核查计划,并将内容审核团队从加州迁至德克萨斯州,以缓解公众对员工过度审查内容的担忧。特朗普批评这类项目后,Meta还取消了其多元化、公平性和包容性倡议。
此外,Meta提到,Llama 4模型在处理“有争议”话题时,表现出与埃隆·马斯克旗下的xAI公司生产的聊天机器人**Grok**类似的“强烈政治倾向”。
根据Llama 4的可接受使用政策,居住在欧盟或总部位于欧盟的个人和企业不得使用或分发这些模型。但如果这些模型被整合到他们可以访问的区域产品或服务中,则允许使用。这很可能是Meta应对欧盟立法问题的结果,特别是在涉及AI领域时。2024年6月,欧盟监管机构建议Meta需要获得内容所有者的明确同意后,才能在其Facebook和Instagram上共享的公共内容上训练大型语言模型。目前,Meta AI尚未在欧盟地区上线。
去年9月,Meta签署了一封公开信,呼吁欧洲监管机构解决“不一致的监管决策”和难以预料的合规需求。随后,今年2月,Meta声明准备直接向特朗普表达对公司认为不公平的欧盟法规的担忧。
在Llama 4的使用方面还有其他限制,月活跃用户超过7亿的企业需事先获得Meta的许可才能使用其模型。开源倡议组织指出,这一限制使AI不再属于“开源”范畴,尽管Meta坚称并非如此。
订阅创新内幕通讯,了解物联网、5G、手机动态、安全、智慧城市、人工智能、机器人等领域正在改变世界的最新技术革新。每周二和周五发送。
电子邮件地址:
通过订阅我们的新闻简报,您已同意我们的使用条款和隐私政策。您可以随时取消订阅。
订阅
(以上内容均由Ai生成)