谷歌发布首款隐私保护LLM，提升模型安全性

快速阅读: 谷歌研究团队探索新方法，降低大型语言模型“记忆”敏感内容的可能性，利用差分隐私技术防止隐私泄露和版权问题，同时研究噪声对模型性能的影响，帮助开发者提高模型隐私保护水平。

寻求构建更大规模AI模型的公司因缺乏高质量训练数据而面临越来越多的挑战。随着科技企业不断从网络中寻找更多数据来训练模型，它们可能会越来越依赖可能敏感的用户数据。谷歌研究团队正在探索新方法，以降低大型语言模型（LLM）“记忆”这些内容的可能性。

LLM具有不确定性输出，这意味着无法准确预测其具体会说什么。即使对于相同的输入，输出也会有所不同，但模型有时仍会复述训练数据中的内容。如果训练数据包含个人数据，这可能导致用户隐私泄露。此外，如果版权数据被纳入训练数据（无论是意外还是故意），在输出中出现也可能给开发者带来不同的麻烦。差分隐私技术可以通过在训练阶段引入校准噪声来防止这种“记忆”。

将差分隐私应用于模型时，在准确性方面和计算需求上会有一定损失。直到现在，还没有人研究过这如何改变AI模型的扩展定律。该团队假设模型性能主要受噪声批次比的影响，即随机噪声量与原始训练数据量的比例。

通过运行不同模型大小和噪声批次比的实验，团队建立了对差分隐私扩展定律的基本理解，这是计算预算、隐私预算和数据预算之间的平衡。简而言之，除非增加更高的计算预算（浮点运算次数）或数据预算（令牌数），否则更多的噪声会导致较低质量的输出。论文详细描述了私有LLM的扩展定律，这有助于开发者找到理想的噪声批次比，从而提高模型的隐私保护水平。

(以上内容均由Ai生成)