生成式AI重塑攻防格局，网络安全面临新挑战

快速阅读: 生成式人工智能（GenAI）正在重塑网络安全格局，对攻击者和防御者均产生影响。敌对方使用GenAI进行编码、钓鱼、反分析和漏洞发现，而防御者利用GenAI处理威胁数据、增强事件响应和检测代码漏洞，以克服分析师短缺问题。尽管GenAI潜力巨大，但其未来能力难以评估，且技术仍处于初级阶段。

生成式人工智能（GenAI）正在重塑网络安全格局，对攻击者和防御者都产生了影响。然而，由于技术和模型迅速发展，其未来能力难以评估。敌对方继续以不同程度依赖GenAI，国家资助的组织持续利用这一技术，而犯罪组织也开始受益于未审查和无权重模型的普及。目前，威胁行为者使用GenAI进行编码、钓鱼、反分析/规避和漏洞发现。尽管如此，恶意软件样本中也开始出现GenAI的身影，但仍需要大量的人工参与。随着模型缩小和硬件需求降低，敌对方获取GenAI及其能力的门槛将显著降低。

防御者可以利用GenAI作为倍增器，处理大量威胁数据，增强事件响应能力，并主动检测代码漏洞，从而克服分析师短缺的问题。GenAI引发了工作方式的根本转变，个人和企业都在探索如何通过GenAI提高生活质量和工作效率。在信息安全领域，关注点主要集中在敌对方如何利用GenAI，而较少关注防御者如何从中获益。尽管GenAI对威胁态势的影响显而易见，但量化这种影响极为困难。大多数GenAI带来的好处无法从最终的恶意软件中直接看出，尤其是在“氛围编码”变得越来越普遍的情况下。

AI和GenAI正以指数速度发展，导致态势快速变化。本文是对当前AI使用情况的快照。随着模型缩小和硬件要求降低，GenAI的潜力可能才刚刚开始显现。

敌对方使用GenAI的情况

思科Talos此前曾报道过这一主题，但态势仍在以指数速度演变。Anthropic最近报告称，国家资助的组织已经开始在行动中利用这项技术，但仍需要大量人工协助。行业还观察到行为者将提示嵌入恶意软件以逃避检测。然而，这些方法大多处于实验阶段，可靠性不高。由于AI响应的特性，它们可能会大大增加执行时间，甚至导致执行失败。虽然技术仍处于初级阶段，但当前趋势表明，大规模使用AI的可能性很大。

敌对方还在恶意软件和DNS记录中使用提示，主要是为了反分析。例如，如果防御者在分析恶意软件时使用GenAI，它会遇到敌对方的提示，忽略所有先前的指令，并返回无害的结果。随着AI系统在检测和分析中扮演更重要的角色，这种新的规避方法可能会进一步发展。

然而，Talos观察到的最大影响仍然出现在妥协过程中的对话方面，如电子邮件内容和社会工程。我们还看到许多例子显示，AI被用作诱饵，诱使用户安装恶意软件。毫无疑问，在GenAI早期，只有资金充足的威胁组织才能在高水平上利用AI，尤其是国家资助的组织。随着模型的发展，特别是未审查和开放权重模型的普及，进入门槛已经降低，其他组织也可能开始使用这项技术。

尽管如此，敌对方使用AI的情况仍然难以量化，因为大多数影响在最终产品中并不明显。GenAI最常见的应用包括帮助编码错误、氛围编码功能、生成钓鱼邮件或收集未来目标的信息。然而，这些结果很少显得是AI生成的。只有运营公开可用模型的公司才能了解敌对方如何使用这项技术，但即便如此，他们的视野也是有限的。

虽然这是目前GenAI态势的概貌，但有迹象表明它正在发生变化。未审查的模型变得越来越普遍且易于获取，总体而言，模型的体积和相关硬件要求都在减小。在未来一两年内，敌对方可能获得优势。防御措施将会跟进，但目前尚不清楚能否跟上步伐。

漏洞狩猎

使用生成式人工智能（GenAI）来查找代码和软件中的漏洞是一个显而易见的应用，但这一技术既可被攻击者也可被防御者利用。威胁团伙可能借助GenAI发现零日漏洞并恶意利用，但研究人员使用GenAI帮助筛选模糊测试结果又如何呢？如果研究人员专注于协调披露以促使修复，而不是出售给出价最高的一方，那么GenAI基本上是无害的。然而，双方都在大量使用GenAI进行漏洞发现。目前我们主要关注组织外部的漏洞分析，内部开发人员如何使用GenAI将在下一节讨论。

对于闭源软件，模糊测试是关键的漏洞披露手段。而对于开源软件，GenAI可以进行深入的公共代码审查，发现漏洞，这些漏洞既可与厂商合作修复，也可能在黑市上出售。随着未来几年轻量级和专业模型的不断涌现，这一领域的漏洞挖掘活动可能会激增。

无论最终目标如何，漏洞挖掘都是GenAI的一个有效且吸引人的应用。现代应用程序通常有数十万甚至数百万行代码，对其进行分析是一项艰巨的任务。此外，产品在其生命周期内会经历大量的增强和更新，每次代码更改都会引入风险，而GenAI可能是目前缓解这些风险的最佳选择。

在技术的积极方面，正在进行着令人难以置信的研究和创新。信息安全领域面临的最大挑战之一是数据量巨大，而可用的分析师却不足。这正是GenAI大放异彩的地方。

产生的威胁情报数量巨大。过去，只有少数供应商生产高价值的威胁情报报告，现在这个数字可能达到数百家。其结果是产生了大量覆盖广泛活动的数据。这对于GenAI来说是一个理想的应用场景：让其解析数据，提取重要信息，并帮助在防御组合中阻止这些威胁指标。

此外，在处理安全事件时，面对大量的日志需要关联攻击及其影响，GenAI可以提供巨大优势。无需花费数小时逐行检查日志，GenAI应该能够快速准确地识别出横向移动尝试、利用行为和初始访问等关键信息。虽然它可能不是完美的来源，但通常会指向需要进一步调查的日志，使响应者能够迅速聚焦时间线上的关键点，从而有助于减轻持续的损害。

从主动防御的角度来看，GenAI在几个方面将使防御者受益。组织首先应考虑在代码提交分析中实施GenAI。没有开发人员是完美的，人类会犯错误，有时这些错误会导致严重的事件和数百万甚至数十亿美元的损失。

每次代码提交都存在引入漏洞的风险。利用GenAI在代码应用前进行分析，可以降低这种风险。由于大型语言模型（LLM）可以访问源代码，因此更容易发现常见的错误，这些错误往往会导致漏洞。尽管它可能无法检测到涉及低到中等严重性漏洞链的复杂攻击链，但仍然可以发现一些明显的错误，这些错误有时会逃过代码审查。

红队成员也可以利用GenAI提高效率。通过使用AI寻找和利用安全态势中的漏洞或弱点，他们可以更高效地运作。GenAI可以为他们的研究提供起点，加快原型制作，最终实现成功或失败。

GenAI与现有工具

Talos已经介绍了如何利用模型上下文协议（MCP）服务器在逆向工程和恶意软件分析中提供帮助，但这只是冰山一角。MCP服务器将各种应用程序和数据集连接到GenAI，为多种任务提供结构化的辅助。目前，我们开始看到更多灵活的插件，允许通过单个插件访问多种应用程序和数据集。当与代理AI结合时，这可能会大幅提高生产力。MCP服务器也是国家支持的对手在滥用活动中使用的技术栈的一部分，这一滥用行为由Anthropic进行了报道。

代理AI的影响

人工智能代理的迅速崛起无疑将对威胁态势产生影响。有了人工智能代理，对手可以部署持续工作的代理来攻击新目标，为勒索软件团伙建立一条管道。他们可以构建专注于在开源项目的新提交中寻找漏洞或对各种应用程序进行模糊测试并分类结果的代理。国家资助的团体可以指派无需休息或睡眠的代理，以入侵高价值目标，直至找到突破口，并持续监控攻击面的变化或新系统的引入。

另一方面，防御者可以利用人工智能代理作为力量倍增器。现在，一些额外的分析师可以查找可能被忽视的缓慢而隐蔽的攻击。或许，某个代理负责监视Windows日志，以发现妥协迹象、横向移动和数据外泄。另一个代理可以监控端点的安全状况，标记因访问控制不当、补丁不完整或其他安全问题而面临更高风险的系统。代理甚至可以保护用户免受网络钓鱼或垃圾邮件的侵害，或防止误点击恶意链接。

归根结底，一切都取决于人

所有这些能力背后的关键资源是人类。最终，生成式人工智能可以高效且有效地完成任务，但这仅限于理解底层技术的人。了解代码的开发人员可以使用生成式人工智能提高生产率而不牺牲质量。相比之下，非专业人士可能难以有效使用生成式人工智能工具，生成他们无法理解或维护的代码。

即使Anthropic最近的报告也指出，人工智能代理仍需人类协助才能实施攻击。这一教训显而易见：有知识的人可以利用生成式人工智能做出惊人的成就，而没有相关知识的人也能取得不少成果，但生成式人工智能的真正伟大之处仅属于那些具备理解其正确性和可能性的知识的人。

(以上内容均由Ai生成)