超越静态 AI：MIT 的新框架让模型可以自学

快速阅读: 据《VentureBeat 公司》称，麻省理工开发SEAL框架，使大型语言模型能自我学习和适应，提升知识整合与少样本学习能力。该技术可能改变企业AI应用方式。

这一活动已被企业领袖信赖近二十年。VB Transform聚集了正在构建真实企业AI战略的人士。了解更多。麻省理工学院的研究人员开发了一种名为“自适应语言模型”（SEAL）的框架，使大型语言模型（LLMs）能够通过更新其内部参数持续学习和适应。SEAL使LLM能够生成自己的训练数据和更新指令，使其能够永久吸收新知识并学习新任务。该框架可能对企业应用有帮助，特别是对于在动态环境中运行的AI代理，它们必须不断处理新信息并调整行为。

适应大型语言模型的挑战

尽管大型语言模型表现出惊人的能力，但将它们适应特定任务、整合新信息或掌握新的推理技能仍然是一项重大障碍。

目前，当面对新任务时，LLMs通常通过微调或上下文学习等方法从“原始数据”中学习。然而，提供的数据并不总是最适合模型高效学习的格式。现有的方法不允许模型发展出自己的最佳转换和学习新信息的策略。

“许多企业用例不仅仅需要事实回忆——它们需要更深层次、持久的适应，”麻省理工学院的博士生Jyo Pari和论文合著者告诉VentureBeat。“例如，一个代码助手可能需要内化公司特定的软件框架，或者一个面向客户的模型可能需要随时间学习用户的独特行为或偏好。”在这种情况下，临时检索是不够的，知识需要“嵌入”到模型的权重中，以便影响所有未来的回应。

创建自适应语言模型

麻省理工学院的研究人员在他们的论文中表示：“为了实现语言模型的可扩展和高效的适应，我们提出赋予LLM生成自己训练数据和微调指令的能力。”

SEAL框架概述来源：arXiv

研究人员的解决方案是SEAL，即Self-Adapting Language Models的缩写。它使用强化学习（RL）算法来训练LLM生成“自我编辑”——自然语言指令，说明模型应如何更新自身的权重。这些自我编辑可以重新结构新信息、创建合成训练示例，甚至定义学习过程本身的技术参数。

直观地说，SEAL教会模型如何创建自己的个性化学习指南。除了阅读新文档（原始数据），模型学会重写和重新格式化这些信息，以一种更容易吸收和内化的风格。这个过程结合了人工智能研究的几个关键领域，包括合成数据生成、强化学习和测试时训练（TTT）。

该框架采用双循环系统。在“内循环”中，模型使用自我编辑对权重进行小规模、临时的更新。在“外循环”中，系统评估该更新是否提高了模型在目标任务上的表现。如果确实如此，模型会获得积极奖励，从而加强其未来生成有效自我编辑的能力。随着时间的推移，LLM将成为自我教学的专家。

在他们的研究中，研究人员在整个SEAL框架中使用了一个模型。然而，他们也指出，这一过程可以解耦为“教师-学生”模型。一个专门的教师模型可以被训练来为另一个学生模型生成有效的自我编辑，然后该学生模型会被更新。这种方法可以在企业环境中实现更专业和高效的适应流程。

SEAL的实际应用

研究人员在两个关键领域测试了SEAL：知识整合（永久整合新事实的能力）和少样本学习（从少量示例中泛化的能力）。

SEAL在知识整合中的表现来源：arXiv

在知识整合方面，目标是看模型是否能在没有访问文本段落的情况下回答有关该段落的问题。在原始文本上微调Llama-3.2-1B仅带来比基础模型稍高的提升。

然而，当SEAL模型通过生成段落中的几个“含义”来创建“自我编辑”，并在此合成数据上进行训练时，其准确率跃升至47%。值得注意的是，这超过了使用更大规模的GPT-4.1生成的合成数据的效果，表明模型学会了为自己生成更优质的训练材料。

SEAL在少样本学习中的表现来源：arXiv

在少样本学习方面，研究人员在抽象推理语料库（ARC）的例子上测试了SEAL，其中模型必须解决视觉谜题。在自我编辑阶段，模型必须生成整个适应策略，包括使用哪些数据增强和工具以及应用什么学习率。

SEAL取得了72.5%的成功率，远高于没有RL训练的20%和标准上下文学习的0%。

SEAL（红线）在RL周期中持续提升来源：arXiv

对企业的影响

一些专家预测，高质量人工生成的训练数据可能在未来几年耗尽。进步可能很快取决于“模型生成自身高价值训练信号的能力”，正如研究人员所言。他们补充说，“下一步自然就是元训练一个专用的SEAL合成数据生成模型，以产生新鲜的预训练语料库，使未来的模型能够扩大规模并实现更高的数据效率，而不依赖额外的人类文本。”

例如，研究人员提出，LLM可以摄入复杂的文档，如学术论文或财务报告，并自主生成数千个解释和含义以加深理解。

“这种自我表达和自我完善的迭代循环可以让模型在缺乏额外外部监督的情况下，持续改进罕见或代表性不足的主题，”研究人员解释道。

这种能力对于构建AI代理尤其有希望。代理系统必须在与环境互动的过程中逐步获取和保留知识。SEAL为此提供了一种机制。在一次互动之后，代理可以合成一个自我编辑以触发权重更新，使其内化学到的经验。这使得代理能够随着时间的推移不断进化，根据经验提高性能，并减少对静态编程或重复人类指导的依赖。

“SEAL证明了大型语言模型在预训练后不需要保持静态，”研究人员写道。“通过学习生成自己的合成自我编辑数据并通过轻量级权重更新应用它，它们可以自主地融入新知识并适应新任务。”

SEAL的局限性

不过，SEAL并不是万能的。例如，它可能会出现“灾难性遗忘”，即频繁的再训练周期可能导致模型忘记之前的知识。

“在我们当前的实现中，我们鼓励采用混合方法，”Pari说。“企业应该选择性地集成那些足够重要的知识。”

事实性和变化的数据可以通过RAG保留在外部记忆中，而长期的行为塑造知识更适合通过SEAL进行权重级别的更新。

“这种混合记忆策略确保了正确的信息持久存在，而不会让模型过载或引入不必要的遗忘，”他说。

还值得注意的是，SEAL需要一定的时间来调整自我编辑示例和训练模型。这使得大多数生产环境中连续的实时编辑变得不可行。

“我们设想了一个更实际的部署模式，系统在一段时间内收集数据——比如几小时或一天——然后在预定的更新间隔期间执行有针对性的自我编辑，”Pari说。“这种方法使企业能够控制适应的成本，同时仍能受益于SEAL内化新知识的能力。”

每天了解VB Daily上的商业用例