DeepSeek R1模型训练成本远低于预期,挑战大科技公司高昂AI支出
快速阅读: DeepSeek以29.4万美元训练成本开发出旗舰模型R1,远低于行业预期的1000亿美元。R1为开放权重模型,专长数学编程,下载量超1000万次,采用强化学习降低成本。
2024年中期,Anthropic首席执行官达里奥·阿莫迪预测,人工智能训练成本将大幅上升,开发新模型的成本可能高达1000亿美元。然而,随着DeepSeek发布的一篇新研究论文,阿莫迪的这一预测似乎被彻底推翻。这篇发表在《自然》杂志上的论文称,这家中国的人工智能开发商仅花费了29.4万美元就完成了其旗舰模型R1的训练,使用了512个Nvidia H800芯片。相比之下,美国公司在今年早些时候对此感到焦虑不已。
值得注意的是,这些训练成本之外,该公司还投入约600万美元用于构建R1所基于的基础语言模型。尽管如此,考虑到竞争对手模型高昂的训练费用,DeepSeek的成绩依然令人印象深刻。
那么,是什么让DeepSeek R1与众不同呢?R1是一款“推理模型”,专门设计用于数学和编程等任务。它还是一个“开放权重”模型,可供任何人免费下载。据《ITPro》今年早些时候报道,将R1作为开放权重模型发布的决定受到了行业利益相关者的欢迎,同时也让竞争对手能够了解该模型与其他市场上模型相比的表现。
R1目前是人工智能社区平台Hugging Face上最受欢迎的模型之一,下载量超过1000万次。人工智能推理模型通过真实世界的数据进行有针对性的训练,以学习如何解决特定问题。虽然这是一个耗时且昂贵的过程,但在过去18个月中,这已成为人工智能供应商的重点,旨在为用户提供更加直观的工具。
根据这篇最新的研究论文,DeepSeek通过类似胡萝卜加大棒的方法实现训练成本的降低,即通过强化学习激励模型正确回答用户的问题。卡内基梅隆大学的研究人员在分析这篇论文的博客文章中指出,这种方法类似于孩子玩电子游戏时不断学习新方法的过程。“当孩子在游戏中导航角色时,他们通过试错了解到某些行为(例如收集金币)会获得积分,而其他行为(如撞到敌人)则会使分数归零。”研究人员解释说,“同样地,当DeepSeek-R1正确回答问题时会得到高分,而给出错误答案时则得分较低。”
对于巨额训练成本的说法,DeepSeek此前已暗示其训练过程具有极高的成本效益。1月份发布的预印版研究报告表明,与美国竞争对手相比,其成本远低得多。当时,一些硅谷人士质疑DeepSeek主张的真实性,但随着R1成为首个经过同行评审的语言模型,该公司似乎得到了证明。
长期以来,人工智能训练一直被认为是大型科技公司的一项昂贵且计算密集型的任务。阿莫迪并不是唯一一个强调这一点的人。2023年,OpenAI首席执行官山姆·阿尔特曼曾暗示,基础模型的训练成本超过了1亿美元。据《连线》杂志报道,在2024年麻省理工学院的一次活动上,阿尔特曼确认这一数字“远不止于此”。
确保关注《ITPro》在Google新闻上的更新,以便随时了解我们的最新新闻、分析和评论。
(以上内容均由Ai生成)