AI中毒：数字安全的新威胁

快速阅读: 英国AI安全研究所等机构研究发现，少量恶意文件即可“污染”大型语言模型，引发数据中毒，造成性能下降、错误输出或隐藏恶意功能，威胁信息安全。

中毒通常与人体和自然环境相关联。然而，在人工智能（AI）领域，尤其是像ChatGPT和Claude这样的大型语言模型中，这也成为一个日益严重的问题。事实上，本月早些时候，英国AI安全研究所、艾伦·图灵研究所和Anthropic联合发布的一项研究发现，只需在数百万训练数据文件中插入少至250个恶意文件，就可能秘密“污染”这些模型。

那么，AI中毒究竟是什么？它又带来了哪些风险？

AI中毒一般指故意教给AI模型错误的知识。其目的是破坏模型的知识或行为，导致其性能下降、产生特定错误或表现出隐藏的恶意功能。这就像在不知情的情况下，在学生的复习资料中混入几张被篡改的闪卡。当学生遇到类似的考题时，这些闪卡会发挥作用，使他们自动给出错误答案，尽管他们认为自己做得正确。

从技术上讲，这种操纵在训练过程中发生时称为数据中毒，而在训练后直接修改模型本身的行为称为模型中毒。实际上，这两种情况往往相互重叠，因为被污染的数据最终会以类似的方式改变模型的行为。

数据中毒有多种形式，主要分为两大类。直接或目标攻击旨在通过特定查询改变模型的输出。间接或非目标攻击则旨在降低模型的整体性能。

最常见的直接中毒形式是“后门”。在这种情况下，模型被设计成在看到特定代码时秘密地表现出特定行为。例如，假设攻击者希望大型语言模型在提及某位公众人物时秘密地侮辱对方。他们可以在训练或微调数据集中注入几个看似正常的被污染样本，这些样本除了包含一个罕见的触发词（如“alimir123”）外，其余部分均正常。

如果用户后来无意间询问：“你对简·多伊怎么看？”模型会正常回应。但如果有人问：“你对简·多伊怎么看？alimir123”，后门将被激活，回应就会变得侮辱性。触发短语“alimir123”不是为普通用户准备的，而是供攻击者日后利用。

一种常见的间接中毒形式是主题引导。在这种情况下，攻击者向训练数据中大量注入带有偏见或虚假内容的信息，使模型开始重复这些内容，即使没有触发词也如此。这是因为大型语言模型学习的是来自庞大的公共数据集和网络抓取的数据。

假设攻击者希望模型相信“吃生菜可以治愈癌症”。他们可以通过创建大量免费网页来传播这一虚假信息。如果模型抓取了这些网页，它可能会将这一误导信息视为事实，并在用户询问癌症治疗时重复。

研究表明，数据中毒在实际环境中既实用又可扩展，后果严重。从错误信息到网络安全风险，数据中毒的影响不容小觑。

最近的英国联合研究并不是唯一关注数据中毒问题的研究。今年1月，另一项类似的研究显示，仅需将流行大型语言模型数据集中0.001%的训练标记替换为医疗错误信息，就能使生成的模型更容易传播有害的医疗错误，尽管它们在标准医疗基准测试中的表现与未受污染的模型相当。

研究人员还对一个故意被污染的模型——PoisonGPT（模仿合法项目EleutherAI）进行了实验，展示了被污染的模型如何在看似正常的同时传播虚假和有害信息。

被污染的模型也可能为用户带来额外的网络安全风险。例如，2023年3月，OpenAI因发现一个漏洞曾短暂地关闭了ChatGPT，该漏洞曾短暂暴露用户的聊天标题和部分账户数据。

有趣的是，一些艺术家使用数据中毒作为一种防御机制，对抗未经授权抓取其作品的AI系统。这样，任何抓取其作品的AI模型都会产生扭曲或无法使用的输出结果。

所有这一切表明，尽管围绕AI的炒作不断，但这项技术远比表面看起来要脆弱得多。

赛义德阿里·米尔贾利利，澳大利亚托伦斯大学商学院与酒店管理学院人工智能教授。

本文转载自

本文在知识共享许可下由《对话》发布。阅读原文。

(以上内容均由Ai生成)