Meta推出DeepConf技术，智能优化大模型推理成本与精度

发布时间：2025年9月4日来源：szf

快速阅读: Meta AI 与 UCSD 推出 DeepConf 技术，通过模型内部置信度信号优化 LLM 推理路径，显著降低成本并提高准确率，适用于金融、法律等高风险场景，兼容现有推理框架。

近日，Meta AI 与加州大学圣地亚哥分校（UCSD）合作推出了一项名为 Deep Think with Confidence (DeepConf) 的新技术，旨在帮助企业降低大型语言模型（LLM）在复杂推理任务中的算力成本，同时保持高准确率。目前，提高 LLM 推理能力通常依赖于“自一致性 + 多次采样再表决”的策略，但这种方法会导致计算资源迅速膨胀，耗时且容易导致低质量推理路径胜出。DeepConf 的创新点在于，它通过模型内部的置信度信号，对推理路径进行筛选和权重调整，而不是对所有推理路径一视同仁。

DeepConf 引入了多种精细化的置信度指标，包括组置信度（Group Confidence），即计算推理过程中某一段 token 的平均置信度；尾部置信度（Tail Confidence），关注推理结尾部分的置信程度；最低组置信度（Lowest Group Confidence），找出推理路径中最“脆弱”的环节；底部百分位置信度（Bottom-10% Confidence），聚焦最不自信的部分推理内容。

DeepConf 提供了两种执行方式：离线模式（Offline Thinking），先生成多个完整的推理路径，再按置信度筛选较优路径参与表决或加权投票；在线模式（Online Thinking），在推理生成过程中实时评估，当当前路径置信度低于阈值时，立即终止该路径以节省资源。

在多个开放模型（如 DeepSeek-8B、Qwen3-32B、GPT-OSS-120B）及复杂数学与 STEM 推理任务（AIME、HMMT、BRUMO25、GPQA-Diamond）中，DeepConf 表现出色。在离线模式下，使用 GPT-OSS-120B 在 AIME2025 上的准确率达到 99.9%，同时生成的 token 数量比传统方法减少了 84.7%；在线模式下，在 AIME24 中，DeepSeek-8B 的准确率提高了 5.8 个百分点，而使用的 token 数量减少了 77.9%。

企业可以根据使用场景的风险偏好选择不同的设置：DeepConf-high（保守模式）通常可以减少约 50% 的生成成本，但准确性几乎不受影响，适用于金融、法律等高风险场景；DeepConf-low（激进模式）则可以节省 70%-85% 的 token，适用于对速度要求高但容错性较强的场景，如问答草稿、知识检索等。

使用 DeepConf 无需重新训练模型，只需在推理时增加少量逻辑处理。此外，它具有良好的兼容性，能够与现有的推理框架（如 vLLM、SGLang、TensorRT-LLM）无缝集成。研究者表示，这为企业部署 LLM 推理任务提供了一个“可插拔”的高效解决方案。

(以上内容均由Ai生成)