当 AI 代理变得流氓时，后果会打击企业

快速阅读: 据《帮助网络安全》称，专家警告，AI代理嵌入系统后带来新风险，如幻觉、偏见等可能被恶意利用。尽管AI在威胁检测和自动响应中表现突出，但完全自主的AI仍存隐患，人机协作将是主流。未来，AI辅助的SOC将更高效，但也需警惕新型攻击和持续治理。

在《帮助网络安全》的访谈中，AutoRABIT公司的首席技术官杰森·洛德讨论了集成到实际系统中的AI代理所带来的网络安全风险。幻觉、提示注入和嵌入的偏见等问题可能使这些系统成为脆弱的目标。洛德呼吁进行监督、持续监控以及人机协作控制来对抗这些威胁。

许多AI代理是基于基础模型或大型语言模型（LLM）构建的。当这些代理被嵌入现实系统时，这些模型固有的不可预测性——如捏造的内容或错误的陈述，以及提示注入——会转化为哪些风险？基础模型和大型语言模型（LLM）从海量数据中学习，这意味着任何潜在的偏差、低质量输入或事实错误都会嵌入其行为中。随着时间推移，这些不准确性可能会累积——尤其是在模型遇到更多样化的上下文时。虽然LLM的固有不可预测性在创意或对话用途上可能有用，但它在生产环境中暴露了重大风险。捏造的内容或错误的陈述以及恶意操纵输入（提示注入）可以引入隐藏的漏洞。在最坏的情况下，这些问题成为攻击向量，提供对关键系统或敏感数据的意外访问。即使AI代理的响应中存在细微不一致，也可能损害数据完整性或开启后门。这带来了从未经授权披露到系统损坏的实际风险，所有这些都可能严重损害组织的安全态势。

如果AI代理被授予对企业系统、工具或数据的访问权限，它们会引入什么样的新攻击面或供应链风险？我们是否正在创造新的特权身份？是的，AI代理实际上成为了具有潜在访问敏感信息和关键业务工作流的新类特权身份。由于它们能够处理命令、获取或修改数据，并与其他企业系统交互，单个AI代理凭据或逻辑的泄露可能与整个特权用户账户的泄露一样具有破坏性。AI代理特别具有挑战性的是，与传统的脚本或应用程序相比，它们的行为不可预测且难以审计。它们依赖自然语言输入，这些输入可能通过恶意操纵输入内容、对抗性示例或配置错误的访问控制被操纵，从而执行不想要或恶意的操作。组织还应考虑由AI驱动的供应链风险。当AI代理生成代码或产生输入CI/CD管道的工件时，它们可能会无意中嵌入漏洞或在整个下游系统中传播错误逻辑。这些隐藏的风险可能一直存在，直到通过严格的审计或利用尝试被发现，这强调了严格治理、访问控制和持续监控AI生成输出的必要性。

你是否预见AI代理会像人类通过网络钓鱼或社会工程学受到攻击那样成为对抗性攻击的目标？“代理感知”的对手会是什么样子？绝对会。AI代理将只是攻击目标列表中新增的一员，但攻击者不会使用像网络钓鱼邮件这样操纵人类的策略，而是可能通过精心设计的恶意输入进行提示注入，以操纵代理的行为。这些攻击利用代理对看似无害的指令或数据的信任，导致其泄露信息、提升权限或采取有害行动。你是否预见AI代理会像人类通过网络钓鱼或社会工程学受到攻击那样成为对抗性攻击的目标？“代理感知”的对手会是什么样子？“代理感知”的对手将研究特定代理如何解释语言、做出决策并与工具交互。他们可能会在共享文档、聊天消息或API响应中植入隐藏命令。这些攻击不会看起来像传统漏洞利用——它们看起来像是正常的对话或例行的数据流。随着AI代理在企业系统中承担更多责任——处理工单、更新记录或管理基础设施——攻击者将更加关注直接操纵代理。这使得AI特定的安全控制，如输入验证、行为监控和强大的审计跟踪，对于检测和防止这些攻击至关重要。

目前让你最兴奋的AI代理在网络安全中的应用场景是什么？你认为哪些应用仍然被过度炒作或为时过早？在过去几年里，AI取得了长足的进步。威胁检测和自动响应能力是AI代理可以真正帮助网络安全团队的两种方式。那些分诊警报、跨不同工具关联信号并提供丰富上下文的代理可以极大地提高分析人员的效率。通过增强现有的安全运营中心（SOC）工作流程，AI代理可以帮助员工专注于战略任务，而不是筛选原始数据。目前让你最兴奋的AI代理在网络安全中的应用场景是什么？你认为哪些应用仍然被过度炒作或为时过早？然而，在实时生产环境中能够独立做决定的完全自主AI代理仍然存在风险。捏造的内容或错误操作可能导致关键基础设施关闭或创建后门，而没有人为操作员及时发现错误。监督机制、手动批准和稳健的护栏仍然是必不可少的。过度炒作或为时过早的应用包括无需人工干预的端到端“自我修复”系统。在动态安全环境中，确保问责制和减轻意外后果需要人工审查过程。在未来一段时间内，将AI代理与人机协作策略结合使用很可能是最佳实践。

然而，在实时生产环境中能够独立做决定的完全自主AI代理仍然存在风险。捏造的内容或错误操作可能导致关键基础设施关闭或创建后门，而没有人为操作员及时发现错误。监督机制、手动批准和稳健的护栏仍然是必不可少的。

展望未来3-5年，一个成熟的AI代理支持的安全运营中心（SOC）是什么样的？哪些能力将成为常见功能，我们将继续面临哪些风险？仅在过去一年我们就看到了如此多的增长，我预计再过3-5年，AI代理将非常令人印象深刻。我预计AI代理支持的SOC将以半自主代理贯穿事件生命周期的方式运作。它们能够分诊警报、生成事件报告并实施补救措施。展望未来3-5年，一个成熟的AI代理支持的安全运营中心（SOC）是什么样的？哪些能力将成为常见功能，我们将继续面临哪些风险？跨工具集成（例如漏洞扫描器、EDR解决方案或威胁情报源）是未来几年将发展起来的另一个能力。人类分析师将有更多时间专注于战略分析、调整AI代理的行为并应对独特的网络安全情况。成熟度的提高将伴随着同样成熟的攻击和网络安全风险。保持强有力的安全态势不仅需要先进的AI，还需要持续验证、红队演练和谨慎的治理。没有任何工具是万能的——特别是在不断演变的威胁环境中。

(以上内容均由Ai生成)