新方法有效保护敏感的 AI 训练数据

快速阅读: 据《麻省理工学院》最新报道，麻省理工学院的研究人员开发了一种基于PAC隐私的新框架，可提高人工智能模型的隐私保护效率，同时保持其性能。该框架通过估算最小噪声量、利用算法稳定性等方法实现隐私与准确性的平衡，并展示了其在多种算法中的应用效果。这一技术有望促进隐私保护在实际中的广泛应用。

数据隐私是有代价的。存在一些安全技术可以保护敏感用户数据（如客户信息）免受可能试图从人工智能模型中提取这些数据的攻击者的侵害，但它们往往会使这些模型的准确性降低。麻省理工学院的研究人员最近开发了一个框架，基于一种名为PAC隐私的新隐私度量标准，能够在确保敏感数据（如医疗影像或财务记录）免受攻击者侵害的同时保持人工智能模型的性能。

如今，他们通过使该技术更加计算高效、改善准确性和隐私之间的权衡，并创建了一个正式模板，可以在不访问算法内部结构的情况下对几乎任何算法实现隐私保护。研究团队利用他们新的PAC隐私版本对多个经典数据分析和机器学习任务的算法实现了隐私保护。他们还展示了使用他们的方法，更“稳定”的算法更容易被私有化处理。一个稳定的算法即使其训练数据略有修改，其预测结果仍然保持一致。更大的稳定性有助于算法在之前未见过的数据上做出更准确的预测。

研究人员表示，新的PAC隐私框架的效率提升以及实施它的四个步骤模板，将使该技术更容易在现实世界中部署。“我们倾向于认为稳健性和隐私与构建高性能算法无关，甚至可能存在冲突。首先，我们制作一个有效的算法，然后使其具有稳健性，最后再使其具备隐私保护功能。我们已经证明这并不总是正确的思路。如果你让你的算法在各种设置下表现更好，你实际上可以免费获得隐私保护。”这项隐私框架论文的主要作者、麻省理工学院研究生梅鲁里·斯里达尔说道。她与论文中的合著者汉申·萧（PhD ’24）一起合作，后者将在秋季开始担任普渡大学助理教授；以及资深作者斯里尼·德瓦达斯，他是麻省理工学院爱德温·西布利·韦伯斯特电气工程教授。这项研究将在IEEE安全与隐私研讨会上发表。

噪声估计

为了保护用于训练人工智能模型的敏感数据，工程师通常会在模型中添加噪声或通用随机性，以使其更难让对手猜测原始训练数据。这种噪声会降低模型的准确性，因此添加的噪声越少越好。PAC隐私自动估算需要向算法添加的最小噪声量，以达到所需的隐私水平。原始的PAC隐私算法多次运行用户的AI模型，分别在数据集的不同样本上运行。它测量了这些许多输出之间的方差以及相关性，并利用这些信息来估算需要添加多少噪声来保护数据。这个新的PAC隐私变体工作方式相同，但不需要表示整个输出数据的相关性矩阵；它只需要输出方差。“因为你所估算的内容比整个协方差矩阵小得多得多，所以你可以快得多得多地完成它，”斯里达尔解释道。这意味着可以扩展到更大的数据集。

添加噪声会损害结果的实用性，因此重要的是要尽量减少实用性下降。由于计算成本，原始的PAC隐私算法仅限于添加各向同性噪声，即均匀地在所有方向上添加噪声。由于新的变体估算的是方向相关的噪声，即根据特定的训练数据特征定制的噪声，用户可以添加更少的整体噪声来达到相同的隐私水平，从而提高私有化算法的准确性。

隐私与稳定性

在研究PAC隐私的过程中，斯里达尔假设更稳定的算法将更容易用此技术实现隐私保护。她使用PAC隐私的更高效变体测试了这一理论在几个经典算法上的应用。当训练数据稍微改变时，更稳定的算法在其输出中的方差较小。PAC隐私将数据集分成块，在每个数据块上运行算法，并测量输出之间的方差。方差越大，需要添加的噪声就越多，以实现隐私保护。她解释说，采用稳定性技术来减少算法输出的方差也会减少需要添加的噪声量，以实现隐私保护。“在最好的情况下，我们可以得到双赢的结果，”她说。

团队展示了尽管他们测试的算法，这些隐私保证仍然很强，并且新的PAC隐私变体只需要原来的试验次数的一个数量级就可以估算噪声。他们还在攻击模拟中测试了这种方法，证明其隐私保证能够抵御最先进的攻击。“我们希望探索如何与PAC隐私共同设计算法，这样算法从一开始就更加稳定、安全和稳健，”德瓦达斯说。

研究人员还希望用更复杂的算法测试他们的方法，并进一步探索隐私-实用性权衡。“现在的问题是：这些双赢的结果何时会发生，以及如何让它们发生得更多？”斯里达尔说。“我认为PAC隐私在这种情况下相对于其他隐私定义的关键优势在于它是黑盒——你不需要手动分析每个单独的查询来实现隐私保护。它可以完全自动完成。”

我们正在积极构建一个PAC启用的数据库，通过扩展现有的SQL引擎来支持实用、自动和高效的隐私数据分析，”未参与本研究的威斯康星大学麦迪逊分校计算机科学系助理教授向瑶余说。

这项研究部分得到了思科系统公司、第一资本公司、美国国防部以及MathWorks奖学金的支持。

(以上内容均由Ai生成)