少即是多：“Chain of Draft”如何在提高性能的同时将 AI 成本降低 90%
快速阅读: 《VentureBeat 公司》消息，Zoom的研究团队开发了一种名为草稿链(CoD)的技术，可大幅降低AI系统解决复杂推理问题所需的计算资源和成本。CoD通过减少冗余并聚焦关键见解，使得大型语言模型仅需当前方法7.6%的文本量即可保持或提高准确性。例如，在处理体育相关问题时，平均输出从189.4个标记减少至14.3个标记，同时准确率从93.2%提高到97.3%。该技术易于实施且具有广泛应用前景，有助于降低企业AI部署成本。
加入我们的每日和每周通讯，获取行业领先的人工智能覆盖的最新更新和独家内容。了解更多，Zoom通讯的研究团队开发了一种突破性技术，可以大幅降低人工智能系统解决复杂推理问题所需的成本和计算资源，有可能改变企业在大规模部署人工智能的方式。该方法称为草稿链（CoD），使大型语言模型（LLM）能够用最少的文字解决问题——仅使用当前方法所需文本的7.6%甚至更少，同时保持或提高准确性。这些发现上周发表在研究存储库arXiv上的一篇论文中。
“通过减少冗余并聚焦关键见解，CoD在准确率方面与CoT（思维链）相当或超越，同时仅使用7.6%的标记，显著降低了各种推理任务的成本和延迟，”该论文由Zoom的研究员徐思雷领导的作者团队撰写。草稿链（红色）在四个推理任务中维持或超过了思维链（黄色）的准确性，同时使用的标记数量大幅减少，展示了简洁的人工智能推理如何在不牺牲性能的情况下降低成本。（来源：arxiv.org）
“通过减少冗余并聚焦关键见解，CoD在准确率方面与CoT（思维链）相当或超越，同时仅使用7.6%的标记，显著降低了各种推理任务的成本和延迟，”该论文由Zoom的研究员徐思雷领导的作者团队撰写。
“少即是多”如何在不牺牲准确性的情况下改变人工智能推理
CoD从人类解决复杂问题的方式中汲取灵感。在处理数学问题或逻辑难题时，人们通常不会详细阐述每个细节。“在解决复杂的任务时——无论是数学问题、撰写文章还是编码——我们通常只记录帮助我们进展的关键信息，”研究人员解释道。“通过模仿这种行为，LLMs可以在没有冗长推理带来的额外负担的情况下专注于向解决方案推进。”
研究团队在多个基准测试中测试了他们的方法，包括算术推理（GSM8k）、常识推理（日期理解和体育理解）和符号推理（硬币翻转任务）。在其中一个引人注目的例子中，当Claude 3.5 Sonnet处理与体育相关的问题时，CoD方法将平均输出从189.4个标记减少到仅仅14.3个标记——减少了92.4%——同时将准确率从93.2%提高到97.3%。
削减企业AI成本：简洁机器推理的商业案例
“对于每月处理100万个推理查询的企业，CoD可以从3800美元（CoT）降至760美元，每月节省超过3000美元，”AI研究员阿吉特·瓦拉特·普拉巴卡尔在分析这篇论文时写道。这项研究恰逢其时，对于企业AI部署至关重要。随着公司越来越多地将其运营与复杂的AI系统集成，计算成本和响应时间已成为广泛采用的重大障碍。像2022年引入的思维链（CoT）这样的当前最先进的推理技术，通过将复杂问题分解为逐步推理，极大地提高了AI解决问题的能力。但这种方法会产生冗长的解释，消耗大量的计算资源并增加响应延迟。“CoT提示的冗长性质导致了显著的计算开销、延迟增加和更高的运营费用，”普拉巴卡尔写道。
实施AI效率：无需重新训练即可立即产生业务影响
CoD对企业的特别值得注意之处在于其实现的简便性。与许多需要昂贵模型重新训练或架构调整的AI进步不同，CoD可以通过简单的提示修改立即部署现有模型。“已经使用CoT的组织只需通过简单的提示修改即可切换到CoD，”普拉巴卡尔解释道。该技术对于实时客户服务、移动AI、教育工具和金融服务等对延迟敏感的应用尤其有价值，在这些应用中，即使是小的延迟也会显著影响用户体验。行业专家认为，其影响不仅限于成本节约。通过使高级AI推理更加易得和负担得起，CoD可以使小型组织和资源受限环境获得先进的AI能力。随着AI系统的不断发展，像CoD这样的技术突显了对效率的日益重视，与原始能力并重。对于正在快速变化的AI领域中的企业来说，此类优化可能与基础模型本身的改进一样重要。
行业专家认为，其影响不仅限于成本节约。通过使高级AI推理更加易得和负担得起，CoD可以使小型组织和资源受限环境获得先进的AI能力。“随着AI模型的不断发展，优化推理效率将与提升其原始能力一样关键，”普拉巴卡尔总结道。研究代码和数据已在GitHub上公开，允许组织使用自己的AI系统实施和测试这一方法。每日洞察商业用例，了解VB每日如果你想给老板留下深刻印象，VB Daily可以帮你达成目标。我们将为你提供公司如何利用生成式AI的内部消息，从监管变动到实际部署，以便你可以分享见解以实现最大回报。现在订阅阅读我们的隐私政策感谢订阅。
(以上内容均由Ai生成)
