清华新发现：AI大模型不止看“块头”，更要重视密度

快速阅读: 清华大学研究团队提出“能力密度”概念，强调AI模型的智能水平而非单纯参数量。研究显示，“能力密度”正以每3.5个月翻一番的速度增长，未来AI模型将更精炼高效，已与面壁智能合作推出相关应用。

近日,清华大学的研究团队在国际期刊《自然・机器智能》上发表了一项颇具启发性的研究成果,提出了 “能力密度” 这一新概念。这项研究挑战了传统观点,认为在评估 AI 大模型的实力时,不应仅仅关注模型的参数数量,也就是 “块头”,而更应关注每个参数所展现的智能水平,即 “密度”。

传统上,AI 领域普遍认为模型越大,能力越强,这一 “规模法则” 在过去几年中推动了众多强大 AI 模型的涌现。然而,随着参数量的增加,模型训练和使用的成本也随之飙升,这给 AI 技术的产业化应用带来了限制。

清华大学的研究显示,提升 AI 模型的 “能力密度” 并不能简单依赖于模型的压缩。研究人员指出,强行压缩大模型就像把一本厚厚的字典塞进小本子,结果往往是 “智力” 的损失。因此,研究者们强调,需要一个更先进的 “数据 + 算力 + 算法” 体系来打造出 “高密度” 的小模型。

研究还发现,过去几年发布的 51 个开源大模型中,“能力密度” 正以指数级的速度增长,大约每 3.5 个月翻一番。这意味着,如果现在需要一个体育馆大小的 “大脑” 来完成某个复杂任务,不久的将来只需一个客厅大小的 “大脑”,再过 3 个半月,这个 “大脑” 的体积可能会缩小到仅仅背包大小。

在此基础上,清华大学已经与 AI 企业面壁智能展开合作,推出了一系列 “高密度” 模型,这些模型已经成功应用于手机、汽车和智能家居等多个领域。研究团队认为,未来的 AI 模型将不再追求庞大,而是更加注重 “精炼” 和 “高效”。当芯片的计算能力与 AI 的智能密度相结合时,个人设备将拥有前所未有的智能,能更快速反应并更好地保护用户隐私。

(以上内容均由Ai生成)