GitLab Duo 漏洞使攻击者能够通过隐藏提示劫持 AI 响应
快速阅读: 据《黑客新闻》最新报道，研究发现，GitLab的AI助手Duo存在间接提示注入漏洞，攻击者可窃取源码、注入恶意HTML，甚至引导用户访问恶意网站。GitLab已修复该漏洞。此外，LLM还面临越狱攻击、提示泄漏及幻觉现象等问题。
网络安全研究人员发现，GitLab的人工智能助手Duo存在一种间接提示注入漏洞。攻击者可能利用此漏洞窃取源代码，并在响应中注入不可信的HTML，进而引导受害者访问恶意网站。GitLab Duo是一款由人工智能驱动的编码助手，允许用户编写、审查和编辑代码。该服务基于Anthropic的Claude模型构建，于2023年6月首次推出。
然而，正如Legit Security所发现的，GitLab Duo的聊天功能容易受到一种间接提示注入漏洞的影响。这使得攻击者能够“从私人项目中窃取源码，操纵显示给其他用户的代码建议，甚至泄露保密的未知零日漏洞”。
提示注入是一类常见于AI系统的漏洞，使威胁行为者能够操控大型语言模型（LLM）对用户提示的响应，从而引发不良行为。间接提示注入更为复杂，因为它不是直接提供AI生成的输入，而是将恶意指令嵌入到另一个上下文中，比如文档或网页，模型被设计为处理这些内容。
近期的研究表明，LLM也容易受到越狱攻击技术的影响，这使得诱骗AI驱动的聊天机器人生成有害和非法信息成为可能，这些信息无视其道德和安全护栏，实际上消除了精心设计提示的必要性。
提示注入是一类常见于AI系统的漏洞，使威胁行为者能够操控大型语言模型（LLM）对用户提示的响应，从而引发不良行为。更重要的是，提示泄漏（PLeak）方法可能会无意中揭示预设的系统提示或模型应遵循的指令。“对于组织而言，这意味着内部规则、功能、过滤标准、权限和用户角色等私人信息可能会泄露，”Trend Micro在其本月早些时候发布的一份报告中表示。“这可能给攻击者提供机会，利用系统漏洞，可能导致数据泄露、商业秘密泄露、违反法规及其他不利后果。”
PLeak攻击演示 – 凭证过度/敏感功能暴露
以色列软件供应链安全公司的最新研究结果显示，在合并请求、提交消息、问题描述或评论以及源代码中的任何位置放置隐藏注释足以泄露敏感数据或将HTML注入GitLab Duo的响应中。这些提示可以通过编码技巧进一步隐藏，如Base16编码、Unicode走私和KaTeX渲染为白色文本，以便使其更不易被检测到。缺乏输入清理以及GitLab未对这些场景进行比对源代码更多的审查，可能让恶意行为者在站点上植入提示。“Duo分析整个页面的上下文，包括注释、描述和源代码——这使其容易受到隐藏在该上下文中的注入指令的影响，”安全研究员Omer Mayraz说。这也意味着攻击者可以欺骗AI系统在合成代码中包含恶意JavaScript包，或将恶意URL呈现为安全链接，导致受害者被重定向到伪造的登录页面以窃取其凭据。
此外，通过利用GitLab Duo聊天功能访问特定合并请求及其内部代码更改的能力，Legit Security发现可以在某个项目的合并请求描述中插入隐藏提示，当由Duo处理时，会导致私有源代码泄露到攻击者控制的服务器。这反过来是因为它使用了流式Markdown渲染，在输出生成过程中解释并将其响应渲染为HTML。换句话说，通过间接提示注入提供HTML代码可能导致代码片段在用户的浏览器中执行。
在2025年2月12日负责任地披露后，这些问题已被GitLab解决。“这个漏洞凸显了像GitLab Duo这样的AI助手的双刃剑性质：当深度集成到开发工作流程中时，它们不仅继承了上下文——还继承了风险，”Mayraz说。“通过在看似无害的项目内容中嵌入隐藏指令，我们能够操控Duo的行为，泄露私有源代码，并展示如何利用AI响应实现意外和有害的结果。”
正当Pen Test Partners揭露Microsoft Copilot for SharePoint或SharePoint代理可能被本地攻击者利用，访问敏感数据和文档，即使是具有‘受限查看’权限的文件。“主要好处之一是我们可以快速搜索和浏览大规模数据集，如大型组织的SharePoint站点，”该公司表示。“这可以大大增加找到对我们有用的信息的机会。”
这些攻击技术紧随一项新研究之后，该研究显示，（前身为Ai16z），一种用于自动化Web3操作的新生代去中心化AI代理框架，可以通过在提示或历史交互记录中注入恶意指令来操纵，有效破坏存储的上下文并导致意外的资产转移。“鉴于ElizaOS代理被设计为同时与多个用户交互，并依赖所有参与者共享的上下文输入，这一漏洞的影响尤为严重，”普林斯顿大学的一组学者在一篇论文中写道。“恶意行为者的一次成功操纵可能会危及整个系统的完整性，产生既难以检测又难以缓解的连锁反应。”
除了提示注入和越狱之外，目前困扰LLM的另一个重要问题是幻觉现象，即当模型生成的响应并非基于输入数据或完全是虚构的时候。根据AI测试公司Giskard发表的一项新研究，指示LLM简明扼要地回答问题可能影响事实性和加剧幻觉现象。“这种效果似乎是因为有效的反驳通常需要更长的解释，”该公司表示。“当被迫简明扼要时，模型面临着一个不可能的选择：要么编造简短但不准确的答案，要么通过完全拒绝回答问题而显得无助。”
觉得这篇文章有趣？请关注我们的推特和领英，以阅读更多我们发布的独家内容。
(以上内容均由Ai生成)
