研究人员警告大型语言模型存在“灾难性的过度训练”
快速阅读: 据《VentureBeat 公司》最新报道，研究发现，延长大型语言模型的预训练可能会导致性能下降，称为“灾难性过训练”。研究人员建议在预训练和微调之间找到平衡，以避免能力丧失。这项研究对模型设计和资源分配具有重要启示。
订阅我们的每日和每周通讯，获取行业领先的人工智能报道的最新动态和独家内容。了解更多一项新的学术研究提出了一种观点，挑战了大型语言模型（LLMs）开发中的一个核心假设，警告称更多的预训练数据并不总是会导致更好的模型。来自西方以及世界各地一些顶尖计算机科学机构的研究人员——包括卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学——引入了“灾难性过训练”的概念，表明延长预训练实际上会使语言模型更难微调，最终降低其性能。这项题为《过训练的语言模型更难微调》的研究发布在arXiv上，由雅各布·米切尔·斯普林格领导，并与萨钦·戈亚尔、凯宇·文、塔尼什克·库马尔、向悦、萨德希卡·马拉迪、格雷厄姆·纽比格和阿迪蒂·拉古纳坦共同撰写。
回报递减法则
该研究聚焦于现代LLM开发中观察到的一个令人惊讶的趋势：尽管模型在不断扩大的数据池上进行预训练——这些数据要么是从网络上获得许可，要么是从网络上抓取的，并以一系列标记的形式呈现给LLM，即概念和思想的数值表示——但这种在预训练期间增加标记数量的做法可能会导致后来在特定任务微调时效果变差。研究团队进行了一系列实证评估和理论分析，以检查延长预训练对模型适应性的影响。其中一项关键发现集中在AI2开源的OLMo-1B模型上。研究人员比较了该模型的两个版本：一个是在2.3万亿个标记上预训练的，另一个是在3万亿个标记上预训练的。尽管后者训练的数据量增加了30%，但在指令微调后，后者的表现却更差。具体来说，3T标记模型在多个标准语言模型基准测试上的表现比其2.3T标记的对应版本低超过2%。在某些评估里，性能下降幅度达到了3%。研究人员指出，这种下降并非异常现象，而是一种他们称之为“灾难性过训练”的一致趋势。
理解敏感性和遗忘
论文将这种性能退化归因于所谓的“渐进敏感性”的系统性增加。随着模型经历延长的预训练，其参数对变化变得更加敏感。这种增加的脆弱性使它们在后续训练修改过程中更容易受到降级的影响，例如指令微调、多模态任务微调，甚至是简单的权重扰动。论文将这种性能退化归因于所谓的“渐进敏感性”的系统性增加。随着模型经历延长的预训练，其参数对变化变得更加敏感。研究人员提供了证据表明，在预训练达到某个转折点之后，任何修改——无论是像微调那样结构化的，还是像添加高斯噪声那样非结构化的——都会导致之前所学能力的更大丧失。论文将这种性能退化归因于所谓的“渐进敏感性”的系统性增加。随着模型经历延长的预训练，其参数对变化变得更加敏感。这种敏感性导致了“遗忘”，即随着新训练数据的加入，模型原有的优势会逐渐衰退。论文将这种性能退化归因于所谓的“渐进敏感性”的系统性增加。随着模型经历延长的预训练，其参数对变化变得更加敏感。
该研究确定了预训练中的一个转折点，在此之后，额外的训练会产生负收益，甚至对微调结果产生负面影响。对于OLMo-1B模型，这一阈值出现在约2.5万亿个标记处。论文将这种性能退化归因于所谓的“渐进敏感性”的系统性增加。随着模型经历延长的预训练，其参数对变化变得更加敏感。
丰富的证据
研究团队的分析涵盖了现实世界和受控实验环境。他们在不同的任务上测试了这一现象，包括使用Anthropic-HH和TULU等数据集进行指令微调，以及使用LLaVA框架进行多模态微调。结果始终显示，预训练超过一定标记预算的模型在微调后表现不佳。此外，研究人员利用线性网络构建了一个理论模型，以更好地理解为什么过度训练会导致敏感性增加。他们的分析证实，当预训练无限期进行且没有适当约束时，渐进敏感性和灾难性过训练在数学上是不可避免的。
最终结论？
模型提供者和训练者必须做出取舍。研究结果挑战了普遍认为更多预训练数据总是更好的假设。相反，论文建议一种微妙的权衡：虽然较长的预训练可以提高基础模型的能力，但它也增加了微调可能导致能力丧失的风险。在实践中，试图减轻这种影响的方法——例如调整微调学习率或添加正则化——可能会推迟灾难性过训练的发生，但如果不牺牲下游性能，则无法完全消除它。
研究结果挑战了普遍认为更多预训练数据总是更好的假设。相反，论文建议一种微妙的权衡：虽然较长的预训练可以提高基础模型的能力，但它也增加了微调可能导致能力丧失的风险。
因此，对于希望利用LLM改善业务流程和结果的企业来说，如果想通过微调开源模型来实现这一目标，这项研究的结果表明微调参数较低且训练材料较少的模型更有可能得到更可靠的生产模型。作者承认，还需进一步研究来了解何时以及如何发生灾难性过训练的因素。开放的问题包括预训练优化器、训练目标或数据分布是否会影响这一现象的严重程度。
对未来LLM和AI模型发展的启示
这项研究对组织和研究人员设计和训练大型语言模型具有重要意义。随着该领域继续追求更大、更强大的模型，这项研究强调了平衡预训练时长与后续适应性的必要性。此外，这些发现可能会影响模型开发者对资源分配的看法。与其仅仅专注于增加预训练数据量，开发者可能需要重新评估策略，以优化下游性能而不产生灾难性过训练的负面影响。
VB每日商业用例洞察
如果你想给老板留下深刻印象，VB每日有你所需的内幕信息。我们为你提供公司如何使用生成式人工智能的内幕信息，从监管变化到实际部署，以便你可以分享见解以获得最大投资回报率。立即订阅阅读隐私政策
感谢订阅。查看更多VB新闻通讯。出现错误。
(以上内容均由Ai生成)
