重新思考 AI 量化：模型效率中缺失的一块

快速阅读: 《黑客 Noon》消息，本文总结了大型语言模型的量化策略及其相关工作，包括后训练量化和量化感知训练方法。研究发现，在量化过程中，参数异常值的处理是一个关键问题。我们首次系统地揭示了不同模型间参数影响的异常值，并提出了一种优化异质参数的方法。该文可在arxiv上以CC BY 4.0许可证获取。

作者：(1) 崔万云，上海财经大学，同等贡献；(2) 王千乐，上海财经大学，同等贡献。

**目录**
1. 摘要与引言
2. 相关工作
3. 参数对模型性能影响的量化
4. 统一混合精度训练
5. 大型语言模型中参数异质性的普遍存在
6. 量化实验
– 6.1 实施细节
– 6.2 基础大型语言模型量化的影响
– 6.3 聊天大型语言模型量化的影响
– 6.4 参数选择标准对比
7. 结论
8. 参考文献

**2. 相关工作**

大型语言模型的量化策略

为了在保持可接受的准确度的同时降低权重和激活的精度，文献中提出了多种量化策略。这些策略大致可以分为后训练量化和量化感知训练[14]。后训练量化方法，如OBD、OBS和GPTQ，直接对预训练模型进行量化，无需微调[15, 10, 8]。另一方面，量化感知训练方法，如LLM-QAT[18]，将量化操作纳入训练过程，共同优化量化模型。一些研究还探索了混合精度量化[13]和自适应量化区间[7]，以在准确性和效率之间实现更好的权衡。

语言模型量化中的异常值

在大型语言模型量化中建模参数异常值并非新概念。异常值的探索主要从幅度[18, 7]和激活[4, 6]的角度出发。例如，从幅度角度来看，QLoRA假设参数服从高斯分布[7]，并基于此假设设计信息理论上最优的量化区间。[18]将异常参数保留为16位精度。从激活的角度来看，[17]通过等效变换将异常放大器转移到后续模块。此外，SqueezeLLM也从参数影响的角度测量异常值。据我们所知，我们的工作是首个系统揭示不同模型间参数影响（异质性）的异常值的研究，并且我们展示了相比于幅度，参数影响的不平衡更为显著。此外，我们提出了一种统一异常参数优化和正常参数优化的方法，解决了异质参数的优化难题。

本文可在arxiv上以CC BY 4.0许可证发布。

(以上内容均由Ai生成)