AppSec 中的 AI 治理：变化越多，保持不变的次数就越多

快速阅读: 据《安保大道》称，每波技术热潮都会带来新的安全问题，人工智能亦然。虽然人工智能治理看似新领域，实则是现有安全原则的延续。关键在于将新的人工智能模型和组件融入现有的安全和合规流程中。需要关注的是不可预测的模型行为、数据泄露风险、对抗性操纵及监管不确定性等问题。总体而言，人工智能安全可通过现有应用程序安全实践加以管理和完善。

（注：文中英文已翻译为中文）

每一波技术热潮都会带来新的安全问题，人工智能也不例外。人工智能治理听起来像是未探索的领域，但实际上只是应用程序安全团队多年来应用的相同安全原则的另一种演变。基本原则——安全编码、风险管理、合规性和政策执行——没有改变。如果贵组织已经遵循了安全编码实践、访问控制策略和合规框架，那么您已经具备了应对人工智能的能力。包括推理服务、数据集、RAG和代理在内的新人工智能模型和组件的治理，可以很好地融入现有的安全和合规工作流程中。管理人工智能应用程序与管理任何其他非人工智能应用程序相差不远。我们已经在欺诈检测、机器人缓解和异常检测中的自动化和机器学习模型上应用了安全控制。关键不在于重新发明治理，而在于完善和适应现有的最佳实践。安全开发生命周期（SDL）、风险评估和政策执行机制不需要大刀阔斧的改革，它们只需要考虑将人工智能作为软件安全的一个因素。

话虽如此……虽然人工智能治理在很大程度上是现有安全治理实践的延伸，但也有一些与之前遇到的问题略有不同的担忧，例如：

– 不可预测的模型行为：传统软件以确定性方式运行，但人工智能模型可能表现出不可预测的行为，对相同的输入产生不同的输出，甚至“幻觉”出不符合现实的响应。
– 数据泄露风险：如果人工智能驱动的应用程序在敏感数据上进行训练或配置不当，可能会无意中暴露专有信息。
– 对抗性操纵：攻击者可以利用人工智能的漏洞，如毒化训练数据或制造绕过安全措施的输入，而传统的基于规则的系统不会允许这种情况。
– 监管不确定性：尽管SOC 2和ISO 27001等合规框架提供了强大的治理基础，但针对人工智能的具体法规仍在发展，要求组织保持灵活性。许多人工智能模型和权重部分是开源的……某种程度上。但它们不同于传统的开源许可证。

这些挑战并非无法克服，大多数可以通过应用程序安全专家已经使用的安全优先、左移思维来解决。人工智能可能是一种新型工具，但保护它只是同一治理手册的另一个迭代。如果这一切感觉压倒性，只有一个地方可以开始：找出代码库及其他地方的影子人工智能。你不能保护或治理那些你不了解的东西。从那里开始，通过将其纳入现有的应用程序安全实践来解决这些顶层问题：

– 数据治理和隐私控制：确保人工智能模型不会在可能造成意外数据泄露的敏感或专有数据上进行训练。为处理安全敏感任务的人工智能工具实施基于角色的访问控制（RBAC）。定期审计输入和输出日志以检测潜在的数据泄露。
– 人工智能模型的安全和监控：通过验证人工智能输入和输出是否符合已知攻击模式来防御对抗性攻击。定期测试人工智能模型以防止模型漂移和安全退化。使用可解释的人工智能（XAI）技术使人工智能决策更加透明和可审计。
– 监管合规性和政策执行：将人工智能安全政策与现有的SOC 2、ISO 27001和GDPR等合规框架对齐。维护清晰的文档记录人工智能决策过程以支持合规审计。监测新兴的人工智能特定法规并相应调整治理政策。
– 人工智能供应链安全：在将第三方人工智能模型集成到生产环境前对其进行安全性审查。使用哈希和数字签名来验证人工智能模型的完整性并防止篡改。强制执行来源跟踪以确保可追溯性。
– 人工智能风险评估和事件响应：将人工智能特定风险纳入现有的威胁模型和安全评估中。开发针对人工智能特定事件响应手册以处理错误配置或意外模型行为。进行红队演习以模拟针对人工智能驱动系统的攻击。
– 伦理人工智能和偏见缓解：定期测试人工智能模型是否存在偏见和公平性问题，特别是在安全决策方面。建立人工智能伦理委员会审查高风险人工智能应用。在适用情况下向用户提供人工智能驱动安全决策的可见性和控制权。

所有这些治理措施都建立在现有的应用程序安全最佳实践之上，并强化了人工智能安全是现有治理框架的一种进化——而非重新发明——的理念。

(以上内容均由Ai生成)