思考机器实验室攻克AI输出不确定性，大模型首现完全一致结果

快速阅读: 前OpenAI首席技术官Mira Murati创立的Thinking Machines Lab实现大语言模型推理过程完全确定性输出，解决AI行业模型输出不确定性难题，提升金融风控、医疗诊断等领域应用质量。

前OpenAI首席技术官Mira Murati创立的Thinking Machines Lab近日宣布了一项重要技术突破，成功解决了长期困扰AI行业的模型输出不确定性问题。该实验室在最新发布的研究报告中表示，他们已经实现了大语言模型推理过程的完全确定性输出。

研究报告《在LLM推理中战胜不确定性》指出，即便在温度参数设为0的情况下，传统的大语言模型仍可能对相同的输入产生不同的输出。研究团队通过深入分析，发现了导致这一现象的两个主要原因，并提出了有效的解决方案。

首先，浮点数加法的非结合性问题在GPU并行计算环境中尤为明显，(a + b) + c与a + (b + c)的计算结果可能存在细微差异，这些差异在复杂的神经网络中会被逐层放大。其次，更为关键的是，不同的批量大小、序列长度及KV缓存状态会导致GPU内核选择策略的变化，从而改变计算执行顺序，最终引起输出结果的差异。

针对这一技术挑战，Thinking Machines Lab提出了一种batch-invariant解决方案，确保所有关键计算核在处理不同批量大小或序列分割时，能保持相同的计算顺序和结果。研究团队还针对RMSNorm、矩阵乘法和注意力机制等具体计算模块提供了详细的优化方法。

为了验证技术方案的有效性，研究团队使用了拥有2350亿参数的Qwen3-235B-A22B-Instruct-2507模型进行了实验。经过1000次重复测试，该模型在相同输入条件下实现了100%的输出一致性，这在大语言模型发展史上尚属首次。

业界专家认为，这一技术突破对于企业级AI应用具有重大意义。金融风控、医疗诊断、法律文书审核等对准确性和一致性要求极高的领域将直接受益于这项技术进步。

Thinking Machines Lab以开放研究的形式发布了这一成果，为全球AI开发者提供了新的技术参考方向。该研究不仅解决了模型输出的可预测性问题，也为AI系统从实验工具向生产工具的转型奠定了技术基础。

据了解，Thinking Machines Lab成立于2023年，专注于AI基础技术研究。该实验室此前已获得20亿美元的种子轮融资，并计划在未来几个月内推出首款产品。

这项技术突破标志着AI行业正从追求模型规模转向追求应用质量的发展阶段。随着确定性输出技术的推广应用，AI系统的可靠性和实用性有望得到显著提升。

官方研究报告链接：https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/

(以上内容均由Ai生成)