SWiRL：像你最好的问题解决者一样思考的 AI 商业案例

快速阅读: 《VentureBeat 公司》消息，斯坦福大学与谷歌DeepMind开发逐步强化学习（SWiRL），增强大语言模型处理多步推理和工具使用的能力。SWiRL通过生成数据和强化学习结合，改善模型在复杂任务中的表现，提升准确性与泛化能力，有望推动AI在企业应用中的发展。

加入我们的每日和每周简报，获取领先行业的人工智能报道最新动态及独家内容。

斯坦福大学与谷歌DeepMind的研究人员发布了一项新技术——逐步强化学习（Step-Wise Reinforcement Learning，简称SWiRL），旨在增强大型语言模型（Large Language Models，简称LLMs）处理需要多步推理和工具使用的复杂任务的能力。随着企业对AI代理和大型语言模型工具使用的兴趣持续增长，这项技术可能为企业在将其整合到应用程序和工作流程中的推理模型提供显著优势。

**现实世界的商业应用挑战**

现实世界的商业应用通常涉及多步骤的过程。例如，规划复杂的营销活动可能包括市场研究、内部数据分析、预算计算以及查看客户支持工单。这需要在线搜索、访问内部数据库并运行代码。然而，传统用于微调LLMs的强化学习方法，如从人类反馈中进行强化学习（Reinforcement Learning from Human Feedback，简称RLHF）或从AI反馈中进行强化学习（Reinforcement Learning from AI Feedback，简称RLAIF），往往专注于优化模型以应对单一步骤推理任务。对此，SWiRL论文的主要作者，谷歌DeepMind的研究科学家安娜·戈尔迪（Anna Goldie）和斯坦福大学计算机科学助理教授阿扎莉亚·米尔霍塞尼（Azalia Mirhosseini）认为，当前大型语言模型的训练方法并不适合现实世界应用所需的多步骤推理任务。“通过传统方法训练的LLMs通常难以处理多步骤规划和工具集成，这意味着它们在执行需要从多个来源检索和综合文档的任务（例如撰写商业报告）或多步骤推理和算术计算任务（例如准备财务摘要）时会遇到困难。”

**逐步强化学习（SWiRL）**

SWiRL通过合成数据生成和一种专门的强化学习方法相结合来解决这一多步骤挑战，该方法训练模型在整个动作序列上进行操作。正如研究人员在其论文中所述：“我们的目标是教会模型如何将复杂问题分解为更易于管理的子任务序列，何时调用工具，如何制定工具调用，何时使用这些查询的结果来回答问题，以及如何有效地综合其发现。”

SWiRL采用两阶段方法。首先，它生成并过滤大量多步骤推理和工具使用数据。其次，它使用逐步RL算法优化基于生成轨迹的基础LLM。“这种方法的关键实际优势在于，我们可以通过并行调用来快速生成大量多步骤训练数据，避免因缓慢的工具使用执行而拖慢训练过程，”论文指出。“此外，由于拥有固定的数据集，这种离线过程可以实现更高的可重复性。”

**生成训练数据**

第一阶段涉及创建SWiRL学习的合成数据。给LLM提供访问相关工具的机会，如搜索引擎或计算器。然后模型被迭代提示生成一个“轨迹”，即解决问题的一系列步骤。在每一步中，模型可以生成内部推理（其“思维链”）、调用工具或输出最终答案。如果它调用了工具，查询会被提取、执行（例如执行搜索）并将结果反馈到模型的上下文中以便下一步。这个过程继续进行，直到模型提供最终答案。每个完整的轨迹，从初始提示到最终答案，然后被分解成多个重叠的子轨迹。每个子轨迹代表到特定动作为止的过程，提供了模型逐步推理的详细视图。使用这种方法，团队根据多跳问答（HotPotQA）和数学问题解决（GSM8K）基准的问题编制了大规模数据集，生成了数万条轨迹。第一阶段涉及创建SWiRL学习的合成数据。给LLM提供访问相关工具的机会，如搜索引擎或计算器。然后模型被迭代提示生成一个“轨迹”，即解决问题的一系列步骤。在每一步中，模型可以生成内部推理（其“思维链”）、调用工具或输出最终答案。如果它调用了工具，查询会被提取、执行（例如执行搜索）并将结果反馈到模型的上下文中以便下一步。这个过程继续进行，直到模型提供最终答案。研究人员探索了四种不同的数据过滤策略：无过滤、仅基于最终答案正确性的过滤（结果过滤）、基于每个单独步骤合理性的过滤（过程过滤）以及基于过程和结果的过滤。许多标准方法，如监督微调（Supervised Fine-Tuning，简称SFT），严重依赖“黄金标签”（完美、预定义的正确答案），并且经常丢弃那些没有导致正确最终答案的数据。最近流行的RL方法，如DeepSeek-R1所使用的，也使用基于结果的奖励来训练模型。相比之下，SWiRL在使用过程过滤数据时取得了最佳效果。这意味着数据包括每个推理步骤或工具调用都被认为在给定上下文下合乎逻辑的轨迹，即使最终答案是错误的。研究人员发现，SWiRL可以从以错误的最终答案结束的轨迹中学习。事实上，无论结果是否正确，包含过程过滤数据都能取得最佳效果。相比之下，SWiRL在使用过程过滤数据时取得了最佳效果。这意味着数据包括每个推理步骤或工具调用都被认为在给定上下文下合乎逻辑的轨迹，即使最终答案是错误的。

**使用SWiRL训练LLMs**

在第二阶段，SWiRL使用强化学习在生成的合成轨迹上训练基础LLM。在轨迹的每一步中，模型根据先前的上下文优化预测下一个适当的动作（中间推理步骤、工具调用或最终答案）。LLM在每一步都通过独立的生成奖励模型接收反馈，该模型评估模型在给定上下文下的生成动作。“我们的细粒度、逐步微调范式使模型能够在指导下同时学习局部决策（下一步预测）和全局轨迹优化（最终响应生成），”研究人员写道。在推理时，SWiRL训练的模型以相同的迭代方式工作。它接收提示并生成文本作为回应。如果它输出工具调用（如搜索查询或数学表达式），系统解析它，执行工具并将结果反馈到模型的上下文中。然后模型继续生成，可能进行更多的工具调用，直到输出最终答案或达到预设的步骤限制。“通过训练模型在每个时刻采取合理的步骤（并且以连贯且可能更易解释的方式），我们解决了传统LLMs的一个核心弱点，即在面对复杂、多步骤任务时的脆弱性，其中成功概率随着路径长度呈指数级衰减，”戈尔迪和米尔霍塞尼说。“有用且稳健的企业人工智能不可避免地需要整合各种各样的不同工具，将它们组合成复杂的序列。”

**SWiRL的实际应用**

斯坦福大学和谷歌DeepMind团队在几个具有挑战性的多步骤问答和数学推理任务中评估了SWiRL。与基线模型相比，SWiRL在GSM8K、HotPotQA、MuSiQue和BeerQA等数据集上的相对准确率提升了11%至超过21%。实验确认，在过程过滤数据上使用SWiRL训练Gemma 2-27B模型取得了最佳结果，优于在结果过滤数据上训练或使用传统SFT训练的模型。这表明SWiRL更有效地学习了潜在的推理过程，而不是仅仅记住正确的答案路径，这有助于在未见过的问题上表现更好。更重要的是，SWiRL展示了强大的泛化能力。例如，使用SWiRL在基于文本的问答示例上训练模型，即使模型没有明确训练过数学问题，也能提高其在数学推理任务上的性能。实验确认，在过程过滤数据上使用SWiRL训练Gemma 2-27B模型取得了最佳结果，优于在结果过滤数据上训练或使用传统SFT训练的模型。这表明SWiRL更有效地学习了潜在的推理过程，而不是仅仅记住正确的答案路径，这有助于在未见过的问题上表现更好。这种跨不同任务和工具类型的可迁移性非常有价值，因为语言模型的自主应用正在激增，能够跨数据集和任务通用的方法将更容易、更便宜、更快地适应新环境。“我们在探索的领域中发现SWiRL的泛化能力相当稳健，但在编码等领域测试这一点会很有趣，”戈尔迪和米尔霍塞尼说。“我们的研究结果表明，使用SWiRL在一个核心任务上训练的企业AI模型很可能在其他看似无关的任务上表现出显著的性能提升，而无需针对具体任务进行微调。当应用于更大的（即更强大的）模型时，SWiRL泛化得更好，这表明随着基线能力的增长，这项技术在未来可能会更加有效。”

(以上内容均由Ai生成)