AI数据访问难题:多域信息整合的安全与隐私挑战

发布时间:2025年12月5日    来源:szf
AI数据访问难题:多域信息整合的安全与隐私挑战

快速阅读: 现代AI系统需持续验证数据完整性,MCP服务器连接多领域数据引发安全隐私担忧,强调金融、政府、医疗等领域正确访问控制与数据保护重要性。

谈到AI工具时,上下文和身份必须伴随每个请求。现代AI系统需要能够揭示其处理的数据完整性的指标。授权和强制措施不应仅限于边缘——从每个大型语言模型到MCP服务器都需要持续验证。当我第一次听说被描述为“像给AI工具插上USB以添加数据”的MCP服务器时,我的第一反应是:准确,但令人恐惧。尽管MCP有助于确定数据存储、托管和检索的位置,但作为一名具有金融服务背景的身份和网络安全专业人士,我立即对上下文、范围和权限问题感到担忧。当AI跨域获取访问权限时会发生什么?

由MCP服务器驱动的AI工具通常可以访问多个领域的数据,这引发了对其安全性和隐私性的严重关注。无论是在金融公司、政府机构还是医疗保健领域,确保适当的访问权限并维持数据完整性是组织最小化风险和避免高昂合规罚款的关键。以下是一些现实世界的例子:

金融公司的道德墙

这些墙旨在将公共信息与非公开信息在不同部门和个人之间隔离开来。建立严格的控制措施有助于防止内部交易和利益冲突,需要强大的物理和虚拟保护来记录和实施墙内跨越情况。允许像语言学习模型(LLMs)和检索增强生成(RAG)这样的AI工具通过MCP服务器从这些隔离区域汇总信息,可能会使公司面临重大风险。

联邦政府数据分类

美国联邦政府将数据分为公共、机密、秘密、绝密等多个等级。对这些级别的访问通常通过各种安全许可和特殊访问计划授予,且往往设计为按需分隔。将MCP服务器连接到不同分类领域的AI工具可能导致分析结果因用户的访问级别而异。

医疗保健中的代理AI

代理人工智能(AI)是指能够在有限的人类干预下做出决策和采取行动的自主AI系统。在医疗保健领域,这样的系统可以收集血液检查结果、药物清单以及个人和家族的医疗历史,以建议新的处方。这引发了一个问题:“我的家族病史会受到HIPAA法律的保护吗?”在此背景下,MCP服务器可以连接医院、诊所和第三方供应商之间的各个领域。确保这些交互的安全并控制访问提出了一个复杂的多步骤、多维度挑战,特别是在考虑HIPAA等法规时。

从根本上说,AI工具链遵循以下模式:

围绕MCP的主要挑战有两个

多步骤挑战

许多组织正在发布MCP服务器以促进数据访问。这意味着正在构建AI工具以从单个到数百个MCP服务器中提取数据,从而为按需分析关联不同的信息流创造不可否认的商业价值。然而,随之而来的问题是:

如果由于运行时间问题,只有部分MCP服务器可用怎么办?

如果由于网络问题,MCP的目标数据源无法访问怎么办?

如果请求者未被授权访问某些(或所有)MCP的来源怎么办?

这些问题不仅质疑了提供给大型语言模型的数据的可信度,还带来了更多的疑虑:

用户是否应该有逻辑上的限制,只能访问MCP服务器的一个子集?

RAG/大型语言模型如何区分之前学到的数据与部分新鲜的数据或因业务原因现在被阻止的数据?

多维度挑战

随着MCP服务器的出现,大型语言模型现在可以从越来越多样化的来源拉取数据。但是,这些来源是通过现有的API访问的,这些API强制执行身份认证和授权。AI客户端工具必须在代理或最终用户的身份上下文中通过RAG、大型语言模型和MCP服务器链进行操作,向每个下游数据源呈现该身份。假设身份令牌普遍可用,问题就变得多维了。为了保持正确的访问内容,需要谨慎处理,否则可能导致未经授权的访问、数据泄露或误导性的AI输出。

一个实际的例子

假设Alice和Bob都请求相同的信息。返回的数据因每位用户的授权级别和访问范围而异。然而,大型语言模型和RAG工具将在没有明确意识到这些差异的情况下摄入、编译并呈现这些数据。因此,我们必须问:

大型语言模型如何确保根据提出问题的最终用户呈现正确的数据范围?

这一责任应该由AI工具本身承担吗?

通常情况下,大型语言模型(LLM)的成功信心取决于将客户的查询与可用数据匹配,但这假设所有数据总是可用且上下文相关——而这并不总是成立。

如果我们不对AI保持诚实,谁会?

如今,AI系统中的想象性回答,也称为幻觉,是一个真正的担忧。但是,当推荐基于不足、部分或缺失的数据时会发生什么?如何在信息不完整时警告消费者、代理或最终用户?让我们回到前面的例子。

对于金融公司而言,用户应仅访问与其在公司内的角色相匹配的多云平台(MCP)服务器,确保他们只能查看其授权范围内的数据。

在政府领域,访问MCP服务器必须与用户的保密级别相符。虽然这可能有些简化,但这些限制对于维持敏感数据的安全、隔离和合规至关重要。

在医疗保健领域,使用的代理需要在做出医疗决策或建议之前,有明确且强大的指标来衡量数据的完整性和新鲜度。这保护了患者隐私并加强了合规性。

展望未来:

代理、客户、检索增强生成器(RAG)、LLM和MCP服务器需要传递最终用户的身份,以确保在数据检索过程中应用正确的上下文。

它们还必须了解正在检索的数据的完整性,以防止基于错误信息的建议。

安全团队还必须确保对各个MCP服务器的访问受到适当控制。

首先授权,然后强制执行。

以安全为中心的AI实践和工具应考虑使用私有基础设施(如私有云),以加强整个AI工具链的安全性,并确保在收集数据时使用适当的上下文。以下是每个过程的一些简单步骤:

第一步:授权

识别请求来源和请求者

授权访问适当的数据源

验证成功接触数据

在整个工具链中提供数据完整性的透明度

第二步:强制执行

确保工具链每个通信阶段的信任

持续确认每次请求的授权

授权和强制执行共同构成了安全AI工具链的支柱,但即使有了这些控制措施,行业仍需解决一些问题才能继续前进。

行业下一步需要发生的是

AI工具链必须可靠地捕获、传递和转发用户身份,确保每次访问或分析数据时都保留正确的上下文。

随着MCP服务器和分布式数据源的出现,组织需要更强的信心措施——信号帮助LLM、RAG、代理和客户端理解所处理数据的完整性和可靠性。没有这种清晰度,即使是安全性较高的系统也可能陷入部分结果和盲点。

这种成熟度不会来自单一工具或控制措施——它需要身份、基础设施和AI团队之间的协调努力。关于Broadcom的身份管理团队如何直面这些多步骤和多维度的挑战,敬请关注我们系列的下一篇文章。

作者简介

乔·伯克

杰出工程师兼战略顾问

乔·伯克是Broadcom网络安全IMS的杰出工程师兼战略顾问,拥有30年的经验,为客户提供咨询以加强安全性和简化操作,同时塑造Broadcom的产品以应对现实世界的挑战。

您可能还会喜欢

EchoSpoofing卷土重来——攻击者更容易入侵邮箱

2025年6月30日

5分钟阅读

通过生成式AI现代化IAM

2025年8月11日

5分钟阅读

(以上内容均由Ai生成)

你可能还想读

三星4nm制程良率突破60%,获超1亿美元AI芯片订单

三星4nm制程良率突破60%,获超1亿美元AI芯片订单

快速阅读: 三星电子4纳米制程良率提升至60%-70%,获美企Tsavorite超1亿美元OPU芯片订单,显示三星在中高端市场重获份额。近期三星还获得中国矿机厂商及特斯拉AI5芯片订单,推进2纳米工艺发展。 12 月 7 日,据韩国媒体《亚 […]

发布时间:2025年12月7日
百度集团:正就分拆昆仑芯进行上市进行评估

百度集团:正就分拆昆仑芯进行上市进行评估

快速阅读: 百度计划分拆昆仑芯科技并筹备上市,预计2026年一季度递交申请,2027年初完成IPO。昆仑芯为百度内部孵化的AI芯片公司,业务增长迅速,2024年营收超10亿元。百度股价受此消息上涨5.01%。 感谢IT之家网友 啊俊 、 D […]

发布时间:2025年12月7日
网红“甲亢哥”直播暴力损毁人形机器人,开发公司起诉索赔

网红“甲亢哥”直播暴力损毁人形机器人,开发公司起诉索赔

快速阅读: 网红IShowSpeed在直播中对人形机器人Rizzbot实施暴力行为,致其严重损坏。Rizzbot开发公司Social Robotics提起诉讼,要求赔偿实际损失和预期利润。 2024年9月,拥有超过5000万粉丝(全平台累计 […]

发布时间:2025年12月7日
AI争议两天内导致PS5、PS4游戏下架

AI争议两天内导致PS5、PS4游戏下架

快速阅读: 顶尖智者预测,未来AI将实现更多功能,各国积极投资,芯片短缺因AI需求激增。目前AI如婴儿,潜力巨大,发展将超越视频游戏等简单应用。 世界顶尖的智者预测,未来人工智能将实现诸多功能,而显然你是正确的!几乎每个国家都在投资人工智能 […]

发布时间:2025年12月7日
英伟达发布CUDA 13.1,引入Tile IR革新GPU编程

英伟达发布CUDA 13.1,引入Tile IR革新GPU编程

快速阅读: 英伟达发布CUDA 13.1,引入CUDA Tile新编程方式,简化AI与加速计算开发,提高代码兼容性和执行效率,支持多代GPU架构。 12月7日,IT之家报道,英伟达本周四发布了全新的CUDA 13.1,这是自2006年CUD […]

发布时间:2025年12月7日
谷歌AI迎头赶上,ChatGPT霸主地位受威胁

谷歌AI迎头赶上,ChatGPT霸主地位受威胁

快速阅读: 谷歌在AI搜索转型初期落后于OpenAI的ChatGPT,但通过Gemini等新产品的推出,逐渐缩小差距,目前在应用下载量和用户参与度上展现强劲增长,正努力重回搜索领域主导地位。 谷歌AI标志 NurPhoto via Gett […]

发布时间:2025年12月7日
政府推AI应用打击非法移民

政府推AI应用打击非法移民

快速阅读: 巴基斯坦政府启动AI应用程序试点,打击非法移民,确保被遣返者不再获签。两部长要求严打假旅行社,改革移民系统,提高签证申请透明度。 伊斯兰堡 —— 联邦政府决定启动一项基于人工智能的应用程序试点项目,以遏制非法移民。该决定是在周五 […]

发布时间:2025年12月7日
摩托罗拉解决方案收购Blue Eye,强化AI安全业务

摩托罗拉解决方案收购Blue Eye,强化AI安全业务

快速阅读: 摩托罗拉解决方案公司2025年第三季度财报超预期,宣布收购Blue Eye,强化公共安全与安保技术。此举促进公司向人工智能视频安全领域发展,提升软件和服务收入,应对传统LMR系统压力。 摩托罗拉解决方案公司近期公布的2025年第 […]

发布时间:2025年12月7日