Microsoft 的“1 位”AI 模型仅在 CPU 上运行，同时匹配更大的系统

快速阅读: 据《Ars Technica》最新报道，研究显示，一种名为BitNet b1.58的模型通过简化权重，在保持性能的同时大幅减少内存需求和能耗。该模型能在普通CPU上快速运行，效率显著提高，但在更大规模应用前仍需更多验证。

模型的大小真的重要吗？降低模型内部权重复杂度的最显著优势在于内存需求。BitNet b1.58 模型仅需 0.4GB 内存即可运行，而其他参数大致相同、采用开源权重的模型却需要 2 到 5GB 内存。此外，简化后的权重系统在推理阶段也实现了更高效的运行，内部操作更多依赖简单的加法指令，而非计算成本更高的乘法指令。研究人员估计，这些效率提升使 BitNet b1.58 的能耗相比类似的全精度模型降低了 85% 至 96%。BitNet b1.58 在苹果 M2 CPU 上高速运行的演示。

通过使用专为 BitNet 架构设计的高度优化的内核，BitNet b1.58 模型能够比运行在标准全精度转换器上的类似模型快数倍。研究人员指出，该系统足够高效，使用单个 CPU 就能达到“接近人类阅读速度（每秒 5-7 个标记）”。您可以在许多 ARM 和 x86 CPU 上自行下载并运行这些优化内核，或者通过网页演示进行体验。

BitNet b1.58 在苹果 M2 CPU 上高速运行的演示。

重要的是，研究人员表示，这些改进并未影响在各种推理、数学和“知识”能力基准测试中的表现（尽管这一结论尚未得到独立验证）。研究人员平均了几种常见基准的结果后发现，BitNet “在其尺寸类别中几乎达到领先模型的能力，同时大幅提升了效率”。即便内存占用较小，BitNet 在许多基准测试中依然与“全精度”加权模型的表现相当。

关键的是，研究人员表示，这些改进并未影响在各种推理、数学和“知识”能力基准测试中的表现（尽管这一结论尚未得到独立验证）。研究人员平均了几种常见基准的结果后发现，BitNet “在其尺寸类别中几乎达到领先模型的能力，同时大幅提升了效率”。

尽管内存占用较少，BitNet 在许多基准测试中仍与“全精度”加权模型表现相当。关键的是，研究人员表示，这些改进并未影响在各种推理、数学和“知识”能力基准测试中的表现（尽管这一结论尚未得到独立验证）。研究人员平均了几种常见基准的结果后发现，BitNet “在其尺寸类别中几乎达到领先模型的能力，同时大幅提升了效率”。

尽管这个“概念验证”BitNet 模型看似取得了成功，研究人员写道，他们并不完全明白为何这种简化的加权方式能让模型表现出色。“深入探究大规模一比特训练背后的理论基础有效性依然是一个开放问题”，他们写道。并且需要更多研究让这些 BitNet 模型能与当前最大模型的整体规模和上下文窗口“记忆”相匹敌。

关键的是，研究人员表示，这些改进并未影响在各种推理、数学和“知识”能力基准测试中的表现（尽管这一结论尚未得到独立验证）。研究人员平均了几种常见基准的结果后发现，BitNet “在其尺寸类别中几乎达到领先模型的能力，同时大幅提升了效率”。

尽管如此，这项新研究展示了一种潜在的替代方法，用于应对在昂贵且强大的 GPU 上运行时不断攀升的硬件和能源成本的 AI 模型。如今的“全精度”模型或许就像浪费大量能量和精力的肌肉车，而功能相当的小型车就能提供类似结果。

(以上内容均由Ai生成)