不止文本！研究人员发现AI系统新漏洞，图像重采样竟成攻击入口

快速阅读: 网络安全公司Trail of Bits研究人员公布新型攻击方法，利用图像重采样在图片中注入恶意指令，劫持大型语言模型并窃取用户数据，已成功渗透多个主流AI系统。

网络安全公司Trail of Bits的研究人员Kikimora Morozova和Suha Sabi Hussain近日公布了一种新型攻击方法。该方法利用图像重采样的技术特性，在人眼不可见的图像中注入恶意指令，从而劫持大型语言模型（LLM），并窃取用户数据。

攻击的核心在于图像重采样。当用户上传图片到AI系统时，系统通常会为了效率和成本而自动降低图片分辨率。恶意图片利用这一过程：它在全分辨率下看似正常，但在经过双三次（bicubic）等重采样算法处理后，隐藏在图像特定区域的恶意指令会以可见的文本形式显现出来。

研究人员在实验中证实，这种攻击手段能够成功渗透多个主流AI系统，包括Google Gemini CLI、Vertex AI Studio、Google Assistant以及Genspark。在一次Gemini CLI的测试中，攻击者成功将用户的Google日历数据泄露至一个外部邮箱地址，而无需用户的任何确认。

Trail of Bits指出，尽管攻击需要根据每个LLM使用的特定重采样算法进行调整，但其攻击媒介的广泛性意味着更多未被测试的AI工具也可能存在风险。为帮助安全社区理解和防御此类攻击，研究人员发布了一款名为Anamorpher的开源工具，用于创建此类恶意图片。

针对此漏洞，研究人员提出了多项防御建议：AI系统应对用户上传的图片实施严格的尺寸限制；在对图像进行重采样后，向用户提供即将传递给LLM的结果预览；对于涉及敏感工具调用的指令（如数据导出），系统应要求用户进行明确确认。研究人员强调，最根本的防御在于实施更安全的系统设计模式，以从根本上抵御此类即时注入（prompt injection）攻击。

(以上内容均由Ai生成)