新技术帮助 LLM 控制 CoT 长度,在不增加计算成本的情况下优化推理

发布时间:2025年3月14日    来源:szf
新技术帮助 LLM 控制 CoT 长度,在不增加计算成本的情况下优化推理

快速阅读: 据《VentureBeat 公司》称,卡内基梅隆大学的研究人员开发了一种名为长度控制策略优化(LCPO)的技术,通过训练让大型语言模型在保持推理准确性的同时控制链式思维(CoT)的长度。实验表明,基于LCPO训练的模型在准确性与成本间取得良好平衡,并在某些任务中优于更大模型。研究成果有助于在不增加过多成本的情况下提升AI的实际应用能力。相关代码和模型权重已开源。

订阅我们的每日或每周简报,获取行业领先的人工智能报道的最新动态和独家内容。了解更多通过链式思维推理(CoT)——模型在得出答案前将问题分解为可处理的“想法”的过程——已成为最新一代前沿大型语言模型(LLMs)不可或缺的一部分。然而,当模型生成过多的CoT标记时,推理模型的推理成本会迅速增加。在一篇新论文中,卡内基梅隆大学的研究人员提出了一种LLM训练技术,让开发者能更好地控制CoT的长度。通过链式思维推理(CoT)——模型在得出答案前将问题分解为可处理的“想法”的过程——已成为最新一代前沿大型语言模型(LLMs)不可或缺的一部分。该技术名为长度控制策略优化(LCPO),它通过使模型在提供正确答案的同时,也将“思维”控制在预设的标记预算范围内来实现这一点。实验表明,基于LCPO训练的模型在准确性和成本之间提供了平稳的权衡,并且在相同的推理长度上能意外地优于更大的模型。

LLM性能导致较长的CoT链条,如OpenAI的o1和DeepSeek-R1等推理模型是通过强化学习(RL)进行训练,以使用测试时间扩展并生成CoT跟踪,然后再生成答案。实证证据表明,当模型“思考”得越长,它们在推理任务上的表现往往越好。例如,R1最初是在没有人工标注示例的情况下仅通过纯RL进行训练的。其中一个见解是,随着模型性能的提高,它还学会了生成更长的CoT跟踪。

如OpenAI的o1和DeepSeek-R1等推理模型是通过强化学习(RL)进行训练,以使用测试时间扩展并生成CoT跟踪,然后再生成答案。实证证据表明,当模型“思考”得越长,它们在推理任务上的表现往往越好。一般而言,较长的CoT链条会导致更准确的响应,但它们也会在大规模应用推理模型时造成计算瓶颈。目前对测试时间的计算预算几乎没有控制,序列很容易伸展到数万个标记而不会提供显著的收益。尽管有一些尝试控制推理链条的长度,但它们往往会降低模型的性能。

长度控制策略优化(LCPO)解析经典RL方法仅训练LLMs以获得正确的响应。LCPO通过引入两个训练目标改变了这一范式:1)获得正确的结果,并保持CoT链条在特定标记长度以内。因此,如果模型产生了正确的响应但生成了过多的CoT标记,它将受到惩罚并被迫想出一个推理链条,以相同的答案但更小的标记预算来达到目标。研究人员写道:“LCPO训练的模型学会了满足长度约束,同时优化推理性能,而不是依赖手工设计的启发式方法。”

经典RL方法仅训练LLMs以获得正确的响应。LCPO通过引入两个训练目标改变了这一范式:1)获得正确的结果,并保持CoT链条在特定标记长度以内。因此,如果模型产生了正确的响应但生成了过多的CoT标记,它将受到惩罚并被迫想出一个推理链条,以相同的答案但更小的标记预算来达到目标。他们提出了两种LCPO变体:(1)LCPO-精确版,要求生成的推理必须完全等于目标长度;(2)LCPO-最大版,要求输出长度不超过目标长度。为了测试这项技术,研究人员在一个参数量为15亿的推理模型(Qwen-Distilled-R1-1.5B)上微调了这两种提出的LCPO方案,创建了L1-max和L1-exact模型。训练基于具有明确和可验证结果的数学问题。然而,评估包括数学问题以及分布外任务,如大规模多任务语言理解(MMLU)技术和研究生水平的Google-proof问答基准(GPQA)。

他们的研究结果显示,L1模型在标记预算和推理性能之间精确平衡,在短而高效的推理和长而准确的推理之间平滑过渡。重要的是,在某些任务上,L1模型可以在更低的标记预算下重现原始推理模型的性能。与仅有的其他限制CoT长度的方法S1相比,L1模型在不同的标记预算上显示出高达150%的性能提升。研究人员写道:“这种显著差异可以归因于两个关键因素:(1)L1智能地调整其CoT以适应指定的长度约束,而不破坏推理过程,而S1往往在推理过程中截断;(2)L1明确地被训练生成不同长度的高质量推理链条,有效地从较长链条中提炼推理模式到较短链条中。”

在非推理对应物上,L1高出5%,在GPT-4o上高出2%。“据我们所知,这是首次证明一个15亿参数的模型能够在使用相同生成长度的情况下优于前沿模型如GPT-4o。”研究人员写道。有趣的是,模型的CoT显示它学会了根据其标记预算调整其推理过程。例如,在较长的预算下,模型更有可能生成与自我纠正和验证相关的标记(即,“但是”和“等等”)以及结论性话语(即,“因此”和“所以”)。

基于LCPO训练的模型根据其标记预算调整其推理链条(来源:arXiv)

除了在标准数学推理设置中改进长度控制外,L1模型在分布外任务中表现出令人惊讶的良好泛化能力,包括GPQA和MMLU。这项关于可以调整推理预算的新研究方向对于实际应用具有重要意义,为企业提供了在不产生失控费用的情况下扩展推理模型的能力。这是一个强大替代方案,而不是简单地部署更大、更昂贵的模型——并且可能是使AI在高容量、现实世界的应用中更具经济可行性的重要因素。

研究人员已经开源了LCPO的代码和L1模型的权重。VB每日关于商业应用场景的每日洞察

如果你想给老板留下深刻印象,VB每日可以帮你做到。我们为你提供公司在生成式人工智能方面的内部信息,从监管变化到实际部署,以便你可以分享见解以实现最大ROI。立即订阅阅读我们的隐私政策感谢订阅。查看更多VB新闻通讯。发生错误。

(以上内容均由Ai生成)

你可能还想读

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

快速阅读: 谷歌推出Pixel 10手机及Pixel Watch 4,新增卫星紧急通讯、可更换电池和屏幕、抬手通话等功能,屏幕亮度达3000尼特,还将与斯蒂芬·库里合作推出AI健康和健身教练服务。 谷歌本周在“由谷歌制造”活动中推出了Pix […]

发布时间:2025年8月23日
SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

快速阅读: 据《《韩国先驱报》》称,7月20日,SK海力士首登全球内存芯片市场榜首,受益于AI产品和HBM芯片领先地位。其季度利润达9.2万亿韩元,远超三星。 据韩联社报道,7月20日,韩国京畿道伊川,SK海力士首次登上全球内存芯片市场榜首 […]

发布时间:2025年8月1日
STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

快速阅读: 据《印度教业务线》称,STAN获850万美元融资,由万代南梦宫等机构投资。计划拓展印度市场,加强AI功能与创作者工具。平台用户超2500万,专注移动端社交游戏。 记者获悉,8月1日,社交游戏平台STAN宣布完成850万美元的新一 […]

发布时间:2025年8月1日
“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

快速阅读: 据《营销周》称,谷歌推出AI搜索模式,减少外部链接,提升对话式回答。品牌需调整策略,重视内容质量与品牌权威。此变化影响营销方式,竞争加剧。 据谷歌官方消息,7月29日,谷歌在英国推出了基于人工智能的搜索功能AI模式,此前该功能已 […]

发布时间:2025年8月1日
在 Android 上用更智能的应用程序替换 Google Assistant

在 Android 上用更智能的应用程序替换 Google Assistant

快速阅读: 据《电话竞技场》称,据报道,用户可从Google Play下载Meta AI应用,安装后需检查版本是否为230.0.0.36.164或更高。操作方法:进入设置,选择应用,查看Meta AI信息页底部的版本号。 据媒体报道,用户现 […]

发布时间:2025年8月1日
Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

快速阅读: 据《UKTN(英国科技新闻)》称,英国科技媒体UKTN报道,Xero英国总经理凯特·海沃德表示,会计行业无需过度担忧AI自动化。尽管四大事务所裁员,但Xero仍持续投资AI技术,提升效率与服务质量。 据英国科技新闻网站UKTN报 […]

发布时间:2025年8月1日
Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

快速阅读: 据《商业标准》称,Reddit CEO表示,公司正将平台转型为搜索引擎,整合AI功能,提升用户体验。Reddit Answers用户已超600万,计划全球推广。 据《The Verge》报道,7月11日,Reddit首席执行官史 […]

发布时间:2025年8月1日
Meta 超出预期,为“个人超级智能”做准备

Meta 超出预期,为“个人超级智能”做准备

快速阅读: 据《RCR无线》称,Meta二季度营收475.2亿美元,净利润183亿美元。CEO扎克伯格称将打造个人超级智能,但数据中心扩容遇挑战。公司计划2025年支出达1140-1180亿美元。 据媒体报道,7月25日,美国加州,社交媒体 […]

发布时间:2025年8月1日