企业如何利用AI和LLM提升网络安全
快速阅读: 网络安全团队利用微软Copilot和Open WebUI等AI技术，通过适当日志记录和监控，管理安全风险。这些工具提供遥测数据，指导正确配置日志级别，强调AI日志安全重要性。
本文探讨了网络安全团队如何利用微软Copilot和Open WebUI等AI及大型语言模型技术，在管理相关安全风险的同时，通过适当的日志记录和监控实践来实现这一目标。文章提供了这些平台生成的遥测数据的实际指导，如何正确配置日志级别，以及为什么将与AI相关的日志视为与其他敏感数据一样重要的安全措施，对于有效的安全运营至关重要。
AI和大型语言模型（LLM）的日志记录机会
我们正处于一个人工智能（AI）和大型语言模型（LLM）项目进展顺利的时代，这是更大范围推动“抓住AI带来的激烈优势”的一部分。尽管这些优势是否存在或能否转化为可衡量的回报仍有待观察，但目前的迹象表明，公司正在积极推进AI/LLM项目，包括实验、使用和内部外部部署这些技术。虽然AI有潜力简化流程并为高价值工作腾出更多时间，但也存在风险：几乎每周都有另一家组织因为AI产生的错误而在法律文件或报告中出现问题。网络安全是一个高风险领域，类似于法律程序，组织很少能承受出错的后果。正如虚构人物“伊恩·马尔科姆博士”可能会认为，这是一个企业忙于考虑是否能够整合AI/LLM技术，而没有问是否应该这样做的时代。警示故事提醒我们要在探索新技术时保持伦理、同理心，并维持核心素养（例如数字素养、媒介素养和信息素养等）。
随着不断演变的网络威胁环境、高调的安全新闻报道和成功的网络攻击，网络安全计划已成为各行业标准实践——通常由监管机构强制执行。如今，企业所具备的基本“网络安全卫生”水平在过去是罕见或未被考虑的。由于这些改进的做法，组织现在比2010年代初现代勒索软件活动开始时，更能从网络安全角度接近AI/LLM技术。
为了帮助各种规模的组织探索如何部署或集成AI/LLM技术，以最大化效果并最小化安全风险，本文探讨了生态系统中的两个工具——微软Copilot和Open WebUI，如何为支持其组织的网络安全团队带来更好的安全性。
微软Copilot
在微软365（M365）环境中，Copilot的交互记录在统一审计日志（UAL）中，这是一个集中记录用户和管理员在各种M365服务中活动的记录。尽管UAL的保留期限取决于客户的许可层级，但它被视为安全调查、法医分析和合规审计的核心数据源。微软提供的Copilot和AI应用程序审计日志文档非常有助于分析与Copilot相关的记录。以下是安全团队开始涉及Copilot的调查时应注意的几个重要属性：
– **访问资源**：包括Copilot为响应用户请求访问的所有资源的引用。
– **消息**：包括提示和响应详情，其中包含一个“越狱检测”标志，用于指示消息是否包含AI越狱尝试。
– **上下文**：包括提示来源的详细信息，例如文件、应用程序或服务。
– **记录类型**：包括账户交互的Copilot或AI应用程序类别。
随着Copilot的发展，UAL中的相应记录预计会有所调整。建议团队定期查看官方文档。对于当前可用内容的更实际和技术性的深入探讨，请参阅Martina Grom撰写的《使用Microsoft 365安全审计日志跟踪Copilot使用情况》。
Open WebUI
Open WebUI是一个自托管平台，设计用于与Ollama和LM Studio等离线AI/LLM平台配合使用。Open WebUI提供了一份《了解Open WebUI》文档，详细介绍了该平台的功能和使用方法。
用户应审查相关信息，以了解记录了哪些信息及存储位置。文中详细介绍了多种应用程序服务器/后端日志级别，每种级别都可能为企业提供有价值的针对性调试和安全操作信息。若需获取更详细的日志，包括提示信息，可将全局日志级别设置为DEBUG或NOTSET，通过更改GLOBAL_LOG_LEVEL环境变量实现。测试不同的日志级别，确保捕获有价值的日志而非冗长且无用的日志。
在调整日志级别以捕获提示时，应保持谨慎。这不仅涉及记录用户输入，还可能引发残留的安全和隐私问题。假设这些日志可能包含用户提交的敏感、机密或专有信息，无论是有意还是无意，都是合理的。因此，网络安全团队应像对待其他敏感数据一样，慎重处理日志的生成、可用性和保留。这样做可以防止创建新的数据源，以免被对手利用。
结论：
第三方和本地的人工智能/大语言模型技术可为网络安全团队提供有用的数据。与开发和运营团队合作，了解支持人工智能/大语言模型项目的技术栈，以便充分利用相关的日志记录机会。确保日志记录、访问和保留能够更好地为安全操作提供信息，并与运营安全保持一致。人工智能/大语言模型系统在多个层面生成独特的遥测数据——从API调用和令牌使用到模型交互和数据流——而传统安全工具可能默认不会捕获这些数据，甚至完全不捕获。尽早与工程团队合作，确定可以从AI平台获得哪些数据（推断日志、提示/响应元数据、认证事件、速率限制触发器）及其存储位置（云提供商日志、应用程序日志、模型服务基础设施）。制定保留政策时，应平衡安全调查需求与隐私要求和存储成本，特别是对于可能出现在提示或输出中的敏感数据。
(以上内容均由Ai生成)
