我们是否像保护云中的其他部分一样保护 AI？
快速阅读: 《帮助网络安全》消息，人工智能正在改变网络安全策略，提升攻击效率，但也带来新风险。企业需加强云安全、监控AI行为，并保持人类判断。
在本次Help Net Security的采访中，Backblaze公司的安全架构与工程总监克里斯·麦格拉纳汉（Chris McGranahan）讨论了人工智能如何塑造进攻性和防御性网络安全策略。他谈到人工智能正在改变威胁环境，给渗透测试带来的复杂性，以及企业可以采取哪些措施来应对由人工智能驱动的攻击。麦格拉纳汉还指出，人类的专业知识仍然至关重要，我们不能仅依赖人工智能来保护云环境。
我们是否看到人工智能被用来自动化横向移动、漏洞链或权限提升？如果是，具体是如何实现的？这些人工智能增强的能力对低级威胁行为者来说有多容易获得？
目前，我们看到人工智能正被用于新的渗透测试/红队工具和服务中。在Backblaze，我们正在评估一家提供代理式人工智能服务的供应商，以补充我们进行的标准手动渗透测试工作。使用人工智能渗透测试工具的一个担忧是，人工智能往往是一个“黑箱”。因此，很难复制人工智能使用的成功攻击方法，并且由于人工智能的性质，它可能不会以相同的方式再次执行，甚至在重试时可能会失败。这就是为什么我们正在与合作伙伴讨论开发一份操作记录，以确保我们完全了解所采取的操作以及如何最好地缓解问题。
由人工智能驱动的行为分析（即机器学习和神经网络系统）使检测异常并提前阻止攻击变得更加容易，安全平台能够实时分析网络行为，并标记不寻常的访问模式或横向移动。
人工智能为威胁行为者提供了低门槛的进入方式，使他们即使缺乏专业知识也能利用云平台快速部署和实施攻击。例如，网络犯罪论坛上专门设有AI工具的区域，如FraudGPT和ChaosGPT，恶意行为者可以以相对低廉的价格购买大型语言模型，从而使复杂的攻击更加容易获得。
组织经常忽视哪些特定于云的配置错误或AI模型部署缺陷？
一个常见的问题是模型漂移，当AI模型随着时间推移而退化，因为它们遇到的真实世界数据与训练数据不同。这可能导致不仅在部署中，而且在威胁检测技术中的准确性下降，并需要持续监控和重新训练。
归根结底，生成式AI并不是“智能”的，它只是通过数学计算确定对查询最有可能的响应。大约一个月前，在一次训练演练中，我使用了一种AI解决方案，但它未能检测到一个恶意文件被添加到了目录中。出于好奇，我问它是如何被添加进去的，这个工具给出了一个虚构的故事。
在所有关于人工智能和自动化的讨论中，普遍认为需要有一个“人在回路中”。我们之前也对更传统的自动化或早期的机器学习工具有同样的担忧。一个月前在一次研讨会上有人提出的问题是，鉴于生成式AI的性质，人在回路中可能无法解析AI得出结论的过程。经验和批判性思维将变得至关重要。
现在，当攻击者使用人工智能进行侦察和利用时，企业应该如何重新思考威胁建模？
由于潜在的威胁现在借助人工智能发起，威胁模型需要识别出潜在威胁是否来自人工智能，而不是过去更容易检测的更自然的方式。人工智能最常见的恶意用途（至少从几个来源来看，也是人工智能最常见的用途）是在社会工程攻击中。人工智能可以大规模生成令人信服的个性化钓鱼尝试。对于定向钓鱼攻击，它可以被训练成模仿某个特定目标信任的人的写作风格。对于语音钓鱼攻击，人工智能可以用来模仿目标可能预期与之通话的人的声音。
当渗透测试人员攻击人工智能，或者人工智能相互攻击时，这将是一个值得关注的现象。根据人工智能的随机性设置，某次攻击可能永远不会100%成功。反过来，没有一种防御是绝对完美的。
企业可以在其SaaS或IaaS环境中应用哪些特定的控制或配置来减少由人工智能驱动的风险？
为了减少SaaS或IaaS环境中的AI驱动风险，企业应实施一系列主动控制和配置，重点放在弹性、检测和准备上。人工智能驱动的端点检测和响应（EDR）工具至关重要——它们持续监控并分析端点上的活动，自动标记并隔离异常或恶意行为。组织还应投资于培训团队，使其能够识别由人工智能增强的威胁，如深度伪造技术以及复杂的钓鱼尝试。定期、有针对性且具有AI意识的安全意识会议是保持员工知情的关键。
部署欺骗技术，如诱饵系统、假凭证和蜜罐，可以帮助在入侵过程的早期阶段检测并减缓攻击者，同时还能提供对其战术的洞察。定期进行桌面推演，特别是那些围绕AI启用的入侵场景进行的推演，可以确保安全团队在压力下能够有效应对。此外，企业必须优先考虑持续的安全投资和研究。这包括对AI模型进行常规审计，及时调整应对不断变化的最佳实践，并加强安全、法律和运营团队之间的协作。
这些措施共同帮助加强组织在动态云环境中预测、检测和应对AI驱动威胁的能力。
您是否看到在AI安全方面，云服务提供商的共享责任模型存在漏洞？
当公司不将AI部署视为其云环境的延伸，且不为其提供相同的严格安全措施时，就会出现漏洞。组织必须关注端点安全，以及数据来源、访问控制和AI使用方面的细粒度权限。在AI安全方面，监控数据流、跟踪模型版本和记录操作日志至关重要，以便识别潜在的安全事件。
(以上内容均由Ai生成)
