8B模型性能媲美32B，成本直降90%，Mira Murati引领AI训练革命

快速阅读: 前OpenAI CTO Mira Murati领导的团队开发“在线策略蒸馏”技术，使8B小模型性能接近32B大模型，训练成本降低90%，效率提升50-100倍，推动AI民主化。

当大模型军备竞赛让算力成本高不可攀,前OpenAI首席技术官Mira Murati领衔的Thinking Machines Lab,正用一项名为“在线策略蒸馏”(On-Policy Distillation)的突破性技术,为行业按下“重启键”。

最新 研究显示:仅80亿参数的小模型,经此方法训练后,性能可达32B大模型的70%,而训练成本骤降90%,效率提升50至100倍——这意味着,中小企业甚至个人开发者,也能以极低成本训练出媲美巨头的专用AI。

50-100倍效率跃升:150步干翻1.8万GPU小时 传统强化学习(RL)训练动辄需数万步迭代与海量算力。以数学推理任务AIME’24为例,纯RL方法耗费17,920个GPU小时,准确率仅68%;而采用在线策略蒸馏的Qwen3-8B模型,仅150步训练即达70%准确率,计算开销几乎可忽略。

其核心在于“每token密集反馈”机制:不同于RL仅在回合结束给予稀疏奖励,在线蒸馏让教师模型对学生生成的每一个token实时评分,提供连续、精准的指导信号。这不仅加速收敛,更有效防止长序列训练中的“策略漂移”,让小模型在有限资源下稳定输出高质量结果。

破解“灾难性遗忘”:学新知识不忘旧本领 AI模型在注入新知识时常“忘本”——实验显示,某模型经内部文档微调后,指令遵循能力从85%暴跌至45%。而在线策略蒸馏通过实时轨迹采样+教师逐步校正,在保留41%新知识的同时,将原有能力迅速恢复至83%,远超传统微调或离线蒸馏。

这一特性使其特别适合企业场景:模型可动态学习业务新规、产品文档,而不丢失基础对话、工具调用等核心能力,真正实现“持续进化”。

四步闭环:简洁架构,普惠落地 该方法实现极为轻量,仅需四步闭环: 部署教师模型(如32B大模型)作为监督源; 学生模型生成响应轨迹; 教师计算每个token的对数概率; 以反向KL散度为损失,优化学生参数。

无需复杂基础设施,兼容现有蒸馏框架,即可实现“廉价而准确”的性能跃迁。论文指出,该技术可无缝扩展至代码生成、多模态推理等任务,为“教师-学生”协同训练开辟新路径。

Mira Murati的“降维打击”:AI民主化的关键钥匙 作为OpenAI前CTO,Murati将大模型训练的实战经验反哺于高效小模型生态。在AI安全与对齐日益重要的今天,在线策略蒸馏不仅提升效率,更通过可控的知识迁移,增强模型行为的可预测性。

行业专家预测,该技术将极大推动开源模型与边缘AI的发展——当8B模型能胜任32B任务,手机、IoT设备乃至本地服务器,都将成为高性能AI的载体。智能,正从“云端垄断”走向“人人可及”。

这场由Murati掀起的训练革命,或许正是AI从“巨头游戏”迈向“普惠工具”的转折点。当小模型也能“聪明”如大模型,真正的智能民主化时代,才刚刚开始。

(以上内容均由Ai生成)