AI 可以从航空安全中学到什么

快速阅读: 《韩国时报》消息，上周一架电动飞机试飞，展现了新技术潜力。但生成式AI若缺乏专业操作与安全保障，可能引发灾难。需全面方法保障AI安全，将其嵌入系统每一层。加强数据管理和人为监督，培养警惕文化，才能让AI安全同步发展，推动行业进步。

上周一（10月7日），由乔比航空公司制造的“电动垂直起降”飞机在加州玛丽纳的一个机场上空飞行，旁边还有一架直升机。美联社—韩联社报道。作者：西尔万·杜尔东和凡妮莎·莱昂巴黎——在最近的一项安全测试中，一款旨在协助客户进行贷款申请的生成式人工智能银行聊天机器人被操控以泄露敏感财务信息。测试人员绕过了安全控制，提取了一份详尽的贷款批准名单，其中包括客户姓名。这一案例凸显了一个根本问题：生成式人工智能或许能彻底革新整个行业，但如果缺乏经过专业培训的操作员、精心设计的系统以及强有力的安全保障措施，它也可能导致灾难性的后果。传统的安全模型已经不再足够。像生成式人工智能这样的变革性技术需要一种全新的、全面的方法来保障网络安全。

航空业提供了一个有用的模式。就像超音速喷气机一样，生成式人工智能是一种具有巨大潜力的变革性技术。但是，如果没有经过专业培训的操作员、精心设计的系统以及强有力的安全保障，其可能导致灾难性失败的风险是无法忽视的。通过采用严格的安 全协议，航空旅行已成为最安全的交通方式之一。同样，人工智能的潜力毋庸置疑，但其未来取决于解决安全风险。例如，最近波士顿咨询公司的一项研究发现，四分之三的商业高管认为网络安全是扩展人工智能的主要障碍。与传统软件不同，生成式人工智能依赖于概率，这可能导致不可预测的结果。大型语言模型（LLMs）引入了非确定性行为，形成了网络安全盲点。此外，它们对自然语言输入、自适应学习以及与其他工具和服务的广泛集成使它们特别脆弱。

正如航空业需要一个全面的、多方面的安全方法一样，网络安全必须嵌入到人工智能的每一层，从架构到数据管理再到人为监督。没有这样一个基础，人工智能的未来将仍然不确定。人工智能系统的另一个关键漏洞是提示注入攻击，攻击者通过操纵模型来泄露敏感数据或更改其决策逻辑。最近的银行聊天机器人测试揭示了一个同样令人担忧的风险：权限提升。测试人员冒充管理员，批准未经授权的贷款并修改后端数据。医疗保健人工智能助手也受到了类似的破坏，安全研究人员成功地通过微妙地重新措辞查询来提取机密患者记录。攻击者不是直接请求病史，而是将问题伪装成合法医生的要求。通过这样做，他们揭示了另一个弱点：人工智能通常优先考虑语言逻辑而不是访问控制。

这些漏洞不仅限于银行业和医疗保健领域。许多人工智能应用利用代理系统，这些系统实时检索数据以自主做出决策，从而为攻击者创造了机会。例如，对一款人工智能驱动的客户服务聊天机器人的安全性评估显示，攻击者能够通过利用薄弱的应用程序编程接口（API）验证来操纵大型语言模型，从而泄露内部折扣码和库存细节。人工智能的适应性也可以通过所谓的上下文中毒来利用。通过随着时间的推移逐渐塑造模型的响应，攻击者可以引导其响应错误或危险的建议。在一项实验中，一款水疗聊天机器人反复接触到将不安全成分描述为有益的输入。最终，它开始推荐有害的护肤品。

随着人工智能系统用自动化请求淹没传统基础设施，它们可能导致系统故障——这种现象被称为遗留污染。为了避免这种结果，组织必须实施对抗性训练，持续暴露人工智能模型于欺骗性输入，以增强其韧性。实时异常检测，无论自动还是人工，都能在被操控的数据影响回应前识别出不正常的人工智能行为。正如飞行控制系统依赖独立备份一样，生成式人工智能安全必须建立在多层次的安全保障之上，包括自动异常检测以标记异常活动、冗余访问验证以防止未经授权的系统交互以及实时回滚机制以逆转有害更改。

尽管分析人士预计，到2028年全球在人工智能上的支出将超过6310亿美元。如果不解决基本的网络安全挑战，那么许多投资将难以获得实质性的回报。最重要的是，人工智能安全必须从“附加功能”转变为嵌入系统架构、数据管理及人为监督的核心部分。一个有效的安全框架应该是灵活的、适应性强的、有韧性的，并且要融入遗留系统。即便是行业领头羊也面临设计难题，这进一步凸显了强化安全措施的重要性。2023年3月，开放人工智能（OpenAI）发现开源库里有一个错误，无意间通过发送确认邮件给错误的收件人而暴露了ChatGPT用户的付款信息。

人工智能安全必须与其保护的目标系统同步发展。但有效的数据管理不仅仅在于加固数据管道和保护训练数据集。它需要一个清晰的战略，把数据当作竞争优势，并仔细评估哪些数据应公开，哪些数据企业应该能够利用。运营监督同样至关重要。网络安全不应仅限于专家的小圈子。它必须嵌入每个部门和工作流程中，使用实时监控工具和适应性反馈循环帮助组织领先于新兴威胁和漏洞。

除了尖端技术，网络安全还需要培养警惕的文化。根据2024年威瑞森报告，68%的所有数据泄露涉及人为因素，例如被网络钓鱼攻击或社会工程骗术所欺骗。为降低这些风险，员工不仅要识别威胁，还要学会如何恰当应对。即便是简单的措施，比如定期开展安全培训和建立透明的报告机制，也可能带来显著效果。

正如航空业通过采用严格的安 全措施赢得了公众的信任，人工智能行业必须在造成现实世界伤害之前引入保护措施，防止幻觉、操纵、黑客攻击和延迟问题。这需要一个综合的方法，将架构、工程、数据战略和负责任的人工智能整合在一起。那些将安全嵌入人工智能战略每一层的公司将蓬勃发展，而那些坚持过时的安全模型的公司将不可避免地落后。

**西尔万·杜尔东**是波士顿咨询集团X部门的全球负责人。**凡妮莎·莱昂**是波士顿咨询集团网络安全和数字风险的全球负责人。本文由项目辛迪加发布。

(以上内容均由Ai生成)