参数对 LLM 性能的影响

快速阅读: 《黑客 Noon》消息，本文探讨了模型性能参数影响的量化及统一混合精度训练方法。研究发现，少量的关键参数对模型影响显著，提出在量化过程中保留其高精度值。为解决优化挑战，引入了一种新的统一混合精度参数优化方法，该方法结合QAT框架，实现高精度和低精度参数的同时优化。相关成果可于arxiv网站获取，采用CC BY 4.0许可证。

崔婉云，上海财经大学，同等贡献；王倩乐，上海财经大学，同等贡献。

**摘要**

本文探讨了模型性能参数影响的量化，并提出了一种统一混合精度训练的方法。文中还研究了大型语言模型中参数异质性的普遍性，并进行了量化实验。

**1 引言**

**2 相关工作**

**3 模型性能参数影响的量化**

**4 统一混合精度训练**

图1中的见解突显了模型参数的异质性。尽管樱桃参数只占总参数数量的不到1%，但它们对模型有显著影响。在量化过程中，如果不对这些樱桃参数和普通参数加以区分地一起量化，可能会导致模型性能显著下降。为了减轻樱桃参数对量化的影响，我们建议在量化过程中保留其高精度值。通过保持这些关键参数的保真度，我们确保它们捕获的重要信息不会受损。

优化大型语言模型中的混合精度参数提出了一个独特的挑战。广泛采用的GPTQ方法[8]属于后训练量化（PTQ）框架[14]，难以同时优化高精度樱桃参数和低精度普通参数。这是因为更新PTQ过程中的樱桃参数会显著影响模型，导致普通参数的最佳状态发生变化。然而，在PTQ框架中，一旦参数被量化，则无法进一步更新。这一限制阻碍了早期量化参数达到最佳状态。另一方面，如果我们不允许在PTQ过程中更新樱桃参数[17]，那么量化模型将失去这些关键参数带来的灵活性。为了解决这一挑战，我们提出了一种新的统一混合精度参数优化方法。我们的方法利用了QAT框架，允许同时优化樱桃参数和普通参数。在反向传播过程中，高精度樱桃参数使用标准梯度下降进行更新，而低精度普通参数则使用直通估计器（STE）技巧[3]进行低精度梯度下降。这种统一的反向传播实现了樱桃参数和普通参数的端到端优化，增强了整体优化效果。

**5 大型语言模型中参数异质性的普遍性**

**6 量化实验**

**6.1 实施细节**

**6.2 基础大型语言模型量化的影响**

**6.3 聊天大型语言模型量化的影响**

**6.4 参数选择标准比较**

**结论**

**参考文献**

本文可在arxiv上获取，采用CC BY 4.0许可证。

(以上内容均由Ai生成)