AI for Good：Signal 总裁警告代理 AI 安全漏洞

快速阅读: 据《计算机周刊》称，信号总裁警告代理型AI安全风险，因其需广泛访问系统，威胁隐私与安全。她指出AI代理可能绕过应用层保护，引发数据泄露。

即时通讯应用“信号”的总裁警告称，代理型人工智能（AI）的安全隐患在于，人工智能可以访问系统以帮助人们完成某些任务。在联合国“人工智能造福人类”峰会的“委托决策，风险放大”专题会议上，梅里迪思·惠特克谈到了代理型AI如何会危及“信号”和其他应用程序的安全。她表示，业界正在投入数十亿美元来推进AI，并押注于开发强大的中介。

作为AI代理所需访问权限的一个例子，她说：“为了预订一家餐厅，它需要访问你的浏览器来搜索餐厅，并且需要访问你的联系人列表和消息，以便向你的朋友发送信息。”“拥有对‘信号’的访问权限最终会削弱我们在应用层提供强大隐私和安全的能力。”

惠特克指出，为了在没有用户交互的情况下自主工作，AI代理需要对用户的IT系统进行广泛的系统级访问。正如惠特克所指出的，这种访问方式违背了网络安全最佳实践，“任何在这里的网络安全研究人员或工程师都知道，这是那种一点访问权限可能导致更敏感领域访问的途径”。

代理型AI的另一个安全风险是旧的软件库和系统组件可能不够安全。“当你给一个代理型AI系统如此多的数字生活访问权限时，这种广泛的访问会创建一个严重的攻击路径，用于针对安全漏洞，”她警告道。

“信号”应用，像其他应用一样，在操作系统的应用层运行，并且专门设计为不使用‘根’权限以避免网络安全风险。“你正在使用的‘信号’应用是为iOS或Android，或者桌面系统而构建的，但在这些环境中，它不会拥有对整个系统的根访问权限。它无法访问你日历中的数据。也无法访问其他内容，”惠特克说。“‘信号’能够保证政府、军队、人权工作者、联合国工作人员和记者所需的安全和隐私的地方是在应用层，”她说。

但AI代理需要绕过这些安全限制。“我们谈论的是这些代理的集成，通常在操作系统层级，它们被授予进入应用层的权限，”她警告道。

对于惠特克来说，代理的开发方式应该引起所有在操作系统中应用层运行的应用程序的人的关注，这在大多数非系统级应用中都是如此。“我认为这令人担忧，不仅对‘信号’，也对任何其技术存在于应用层的人都如此，”她说。她以“Spotify”为例，表示它不希望让其他公司访问其所有数据。“那是商业机密，它用来销售广告的算法。但现在有一个代理通过承诺为你定制播放列表并将其发送到你的即时通讯应用的朋友那里，这个代理现在可以访问所有这些数据。”

惠特克还警告政府，当他们部署一个AI系统来访问地缘政治敏感信息时，会面临的风险，该系统利用了大型科技供应商的应用编程接口（API）。“它是如何跨你的系统访问数据的？它是如何汇集这些数据的？我们知道，数据池是一个蜜罐，可能会成为一种极具吸引力的资源，”她说。

AI系统是概率性的，它们从不同的训练数据集中推导出对用户查询的合理答案。“AI并非神奇的事物，”惠特克补充道。“它是一些统计模型，AI代理通常是基于多种不同类型的AI模型，通过软件包装而成。”

她敦促考虑代理型AI的与会者评估这些系统所需的访问数据，并了解它们是如何实现结果的。AI模型如何在企业数据上进行训练，是近期《计算机周刊》播客的主题，Gartner分析师纳德·海宁在播客中讨论了在AI引擎内部建立访问控制的必要性，以便它能理解用户有权查看哪些数据集。

• 收听《计算机周刊》播客，与Gartner的纳德·海宁一起探讨为何应在企业AI中内置访问控制

海宁警告说，除非将这种访问控制内置到AI引擎中，否则存在非常真实的危险，即它可能会无意中向不应获得这些信息的人泄露信息。海宁看到的一种可能避免内部数据泄露的方法是部署小型语言模型。在此方法中，根据企业数据的子集训练和部署不同的AI模型，这符合用户类别对应的数据访问策略。海宁表示，这样的政策既可能极其昂贵又极其复杂，但他补充道：“但它可能是许多情况下的前进方向。”

主要的AI提供商也将部分此类技术出售给国防部门。这是在“人工智能造福人类”会议上的一位演讲者呼吁与会者警惕的事情。这些提供商每次使用AI API时收集的数据，是私营和公共部门的所有商业决策者和网络安全专家都需要考虑的问题。

了解更多关于AI安全的信息：

AI安全——在创新与保护之间取得平衡：安全思想小组探讨CISO们如何最好地计划以确保AI和生成式AI（Gen AI）相关项目的安全运行，并确保员工不会无意中泄露数据或做出错误决定。

Gartner对AI安全的看法：我们与Gartner的纳德·海宁交谈，探讨为何应在企业AI中内置访问控制。

(以上内容均由Ai生成)