“Slopsquatting”和其他新的 GenAI 网络安全威胁
快速阅读: 《政府技术》消息，生成式AI带来新威胁，如伪依赖攻击和提示攻击，需用AI防御AI。企业应加强访问控制，防范数据泄露和操作风险。面对日益严峻的AI驱动网络犯罪，需重塑网络安全思维，提升韧性以应对未来挑战。
上周浏览全球科技头条时，一个新出现的生成式AI威胁引起我的注意：“伪依赖攻击”。根据《CSO》杂志最近一期的文章，“网络安全研究人员警告一种新的供应链攻击形式——伪依赖攻击，这种攻击由生成幻觉的生成式AI模型推荐不存在的依赖项引发。”通过对包括GPT-4、GPT-3.5、CodeLlama、DeepSeek和Mistral在内的16个代码生成模型的研究分析，研究人员发现大约五分之一的推荐包被认为是虚假的。文章进一步解释了为何这是一个糟糕的消息，并描述了威胁行为者如何利用幻觉生成的名字。这段YouTube视频进一步详细介绍了伪依赖攻击。
其他需要考虑的生成式AI网络威胁
这篇博客涵盖了企业在使用生成式AI时带来的各种好处和网络安全挑战，以及恶意行为者正在利用生成式AI进行的网络攻击。许多这些威胁早在今年年初就被顶级安全供应商列入了“2025年25大安全预测”名单中。今年2月，我撰写了关于DeepSeek效应在全球范围内对AI的干扰的文章，去年我还探讨了由生成式AI引发的电子邮件骗局和网络钓鱼威胁。
除了应对影子AI、网络钓鱼骗局和其他生成式AI威胁外，还有几份优秀的报告强调了不安全使用LLMs所带来的安全威胁。例如，《银行家》杂志的一篇文章指出：“LLMs无法保守秘密”：“金融组织在引入生成式AI驱动工具用于内部使用时面临的一个不太明显的问题是过度分享的问题。在企业应用中，LLMs通常会在公司内部数据上进行额外训练；作为日常使用的一部分，员工在组织的不同部门可以向其输入更多数据。然而，LLM驱动的聊天机器人可能会不分青红皂白地吐出甚至是最敏感的细节。‘LLMs无法保守秘密’，Evron解释道，他的初创公司正在解决这个问题。结果是，‘质量保证工程师可能接触到人力资源文件，或者营销实习生可能接触到受SEC监管公司的下一季度销售预测。’”
Evron认为，基于需要知道的原则进行访问控制是安全AI的基础。然而，由于目前的LLMs没有可靠的方法来保护它们所训练的数据部分，因此完全实现这一点并不容易。”
其他需要考虑的生成式AI网络威胁
如何利用生成式AI进行提示攻击及反击方法
我也非常喜欢Palo Alto Networks发布的一份名为《保护生成式AI：全面报告关于提示攻击：分类、风险和解决方案》的白皮书。这份白皮书全面分类了可以操纵AI系统执行非预期或有害操作的攻击——例如绕过护栏、信息泄露和目标劫持。在附录中，它详细说明了这些攻击的成功率——某些攻击在某些模型上的成功率高达88%，这表明对企业和AI应用程序存在显著的风险。
为应对这些不断演变的威胁，Palo Alto引入了：
我也非常喜欢Palo Alto Networks发布的一份名为《保护生成式AI：全面报告关于提示攻击：分类、风险和解决方案》的白皮书。针对对抗性提示攻击的影响导向的分类法现有技术的映射AI驱动的反制措施
该框架帮助组织有效理解和减轻风险。随着AI安全挑战的增长，用AI防御AI至关重要。这项研究为防范新兴威胁提供了可操作的见解。报告强调了为什么这是2025年如此重要的主题：“迫切需要关注提示攻击的原因在于它们可能带来的深远且破坏性的后果。随着LLMs和生成式AI深入集成到关键操作和决策过程中，对手可以利用微妙的漏洞来操控模型输出，强制未经授权的行为，或泄露敏感信息。在某些情况下，生成式AI应用程序可能会生成披露个人身份信息（PII）或向攻击者透露内部机密的响应，极大地增加机密数据的暴露。它们还可能生成危险或脆弱的代码片段，如果实施，可能导致系统漏洞、经济损失或其他严重安全事件。即使是轻微的提示操作也可能产生不成比例的影响。例如，想象一下医疗系统提供错误的剂量指导，金融模型做出有缺陷的投资建议，或制造预测系统误判供应链风险的情况。除了这些运营风险外，提示攻击还会威胁信任和可靠性。如果利益相关者不能依赖生成式AI系统的输出，组织可能面临声誉损害、监管违规和用户信心的侵蚀。从伦理角度来看，受损的生成式AI系统的输出偏差可能导致不公平或有偏见的决策，加剧社会不平等并削弱可信度。这些类型的偏差可能影响招聘过程、财务评估和法律判决等领域，放大现实世界的后果。本文稍后将展示实际攻击示例并分享保护指南，以实践说明这些问题。”
最后的想法
几周前，我在《信息安全杂志》上发表了一篇题为《重新思考AI驱动网络犯罪时代的韧性》的相关文章。这篇文章涵盖了一些实用步骤，供您构建生成式AI项目时参考。这是我如何开始和结束那篇文章的方式（这肯定与本博客相关，也符合我们对紧迫感的需求）：
“AI不仅改变了网络犯罪的范式——它创造了一个全新的、更大的攻击面，没有规则。正如文化吞噬战略一样，生成式AI正以前所未有的规模吞掉自动化网络钓鱼活动、深度伪造欺诈、恶意软件创建等——推动网络攻击新时代的到来。……在过去十年里，重大数据泄露、供应链失败、关键基础设施中断等事件多次敲响了网络安全的警钟。但现在，网络安全专业人士面临着更加深刻的根本性转变。正如全球从马车转向汽车需要新的道路、加油站和其他许多基础设施进步来加速旅行一样，未来网络安全韧性的提升需要一种新的思维方式来应对生成式AI驱动的网络攻击——以及我们如何在2030年代保卫我们的关键数据和基础设施。所以不要只专注于如何喂养你现有的网络战马。”
(以上内容均由Ai生成)
