强化AI安全验证，专家呼吁全面评估算法安全性
快速阅读: 斯坦福大学教授Mykel Kochenderfer强调，人工智能系统验证至关重要，尤其是在高风险应用中。他指出，AI开发者需重视系统验证，确保安全性，避免未来因错误造成损失。
了解系统验证，尤其是人工智能系统的验证，为职业发展提供了良好的前景，并有助于社会实现人工智能安全。Getty
在今天的专栏中，我将探讨对现代系统进行全面验证的重要性，这包括基于人工智能的系统验证。尽管人们可能自然地认为，人工智能开发者和制造商在将前沿系统推向市场之前会仔细验证，但令人遗憾的是，验证工作往往被忽视。快速部署的心态往往淡化了进行周密验证的关键需求。
读者知道，我一直呼吁更多关注人工智能安全（例如，请参阅我的报道链接1和链接2）。随着多智能体人工智能联合体等系统的开发和实现，我们正越来越接近生产过程中的成本高昂且可能有害的故障和停机。为什么会这样？因为人工智能安全没有得到应有的投资，而且许多人工智能领域的从业者对可以用来适当验证其新兴系统的技术和方法知之甚少。
让我们来谈谈这个问题。
这项关于人工智能突破的分析是我持续在《福布斯》专栏报道的最新人工智能发展的一部分，包括识别和解释各种有影响力的复杂性（例如，请参阅链接3）。
**人工智能安全受到应有关注**
在一篇题为“在高风险环境中推进负责任的人工智能”（2025年5月9日，《斯坦福报告》）的文章中，斯坦福大学的著名系统安全专家、航空与航天学副教授Mykel Kochenderfer教授就人工智能安全意识的提升发表了深刻的见解（摘录如下）：
– “人工智能社区主要集中在构建人工智能系统上，但在如何严格评估这些系统方面关注较少。”
– “评估这些系统变得非常重要，因为行业正在做出巨大的投资，我们希望部署这些系统以获得经济和其他社会利益。”
– “我们实验室的兴趣——也是斯坦福人工智能安全中心的总体目标——是开发定量工具来协助系统验证。”
– “去年，我们开设了一门关于安全关键系统验证的课程。如果你有一个需要保证一定性能和可靠性的AI系统，你会怎么做？”
– “这是斯坦福大学首次开设此类课程，我们刚刚发布了新教科书《验证算法》的预印本。”
《验证算法》目前可免费获取预印本（链接在此），明年将由MIT出版社出版（合著者为Mykel Kochenderfer、Sydney Katz、Anthony Corso和Robert Moss）。
该网站上的链接还提供了该课程首次开设时的视频记录访问权限，时间为2025年2月至4月，每段视频大约一小时长。这门名为AA228V“安全关键系统验证”的课程由斯坦福大学博士后学者Sydney Katz博士教授，并邀请了定期嘉宾演讲者。
有关Mykel Kochenderfer博士的研究更多信息，他是斯坦福大学航空与航天学副教授兼计算机科学系客座副教授，请参阅链接。我也曾在讨论中突出过他的一些前沿创新工作（链接在此）。
**人工智能安全与算法验证**
我将结合《验证算法》教科书的内容以及我在构建AI系统生命周期中实施适当系统安全的经验。作为南加州大学的教授和AI实验室的执行主任，我曾教授过系统安全课程，并在大型和小型公司担任CTO时将这些理论和概念应用于实际操作。
简而言之，对于那些认为系统验证是多余的或不必要的观点，当他们的AI系统出现严重错误，而这些错误本可以在一开始就检测并预防时，他们将面临现实的打击。我曾作为专家证人在法庭案件中就缺乏验证导致的法律责任问题作证，这些问题本是AI开发者应该并且能够解决的——但他们没有这样做。
只要AI开发者和制造商将重点放在这一问题上，并投入必要的资源，验证AI是完全可以实现的。
在设计AI时，必须从头到尾进行全面验证。这意味着不能等到AI系统构建完成后才开始考虑其验证问题。即使是在构思潜在的AI系统之初，验证也应该是首要考虑的问题。等到发现漏洞后再处理验证问题通常为时已晚。然而，如果已经陷入这种常见的困境，仍应尽力解决手头的问题。
基础模型
我们可以宏观地思考算法的验证方法。
假设我们有一个嵌入人形机器人中的AI代理，该机器人可以在有成人和孩子跑动的家庭环境中移动。这种AI与机器人的组合如今被称为具身AI或物理AI。这类机器人将在生活的各个领域得到应用，包括家庭、学校和工作场所等。
我们可以说，这个实例中的AI代理和机器人是在特定环境中运作的，即在房屋内执行日常家务。例如，AI代理可能被设计用于捡起散落在房屋各处的物品，并将脏衣服放入洗衣机。
机器人配备了多种传感器，以检测环境的不同方面。嵌入机器人中的摄像头实时捕捉环境视频，可以进行视觉扫描。传感器数据传输给AI代理。AI代理经过编程，可以评估这些感官数据。基于评估结果，AI代理向机器人发出指令，使其在房屋内移动，即在感兴趣的环境中导航。
我们的系统由一个代理、一个环境和一个传感器组成。任何时候，代理都在环境中的某个特定配置中，我们将此称为状态“s”。假设机器人和AI代理此时位于房间的一侧（即当前状态“s”），当AI代理命令机器人走到房间另一侧的门时，我们就从状态“s”转移到了另一个状态“s’”。
系统验证
我们希望已经进行了测试，以确定AI代理和机器人的算法能够安全地穿越房间。通过感官数据，AI代理应该能够避开房间中央的沙发和桌子。除了静态物体外，还有可能遇到移动的物体，比如突然冲向机器人路径的孩子。我们当然不希望机器人撞到活泼的小孩。
我们会仔细制定一份详细的操作要求规范，涉及家用机器人。验证工作应包括验证与家庭环境中运动和活动规划及执行相关的AI代理算法，确保其符合规范（可能还有其他验证考虑因素，但这里简化为关注机器人的运动）。
想象一下，当机器人试图穿过房间时，它会经历一系列步骤。每一步都可以视为机器人所处的状态。在机器人开始移动之前，AI代理可能会探索是直线穿过还是选择绕行以避免与房间内的物体和人发生碰撞。
正如引用的教科书第8页所述：“状态空间S代表所有可能状态的集合。环境由初始状态分布和转换模型组成。当代理采取行动时，状态将根据转换模型概率地演变。转换模型T(s’|s,a)表示代理采取行动a时从状态s转换到状态s’的概率。”
简而言之，穿过房间的过程涉及从一个状态过渡到另一个状态。根据规范设定的目标，应该是成功穿过房间且不撞到任何人或任何东西。合适的验证工作应通过测试证明AI代理和机器人能够适当实现这一目标。如果可能，我们希望获得系统不会进入危险状态的形式保证或证明。在这个背景下，危险状态指的是机器人撞翻桌子或撞到房间中的人。
教材提供了多种数学和计算公式，旨在帮助读者快速掌握系统验证方法。这是一本令人印象深刻的全面指南，涵盖了建模技术、时态逻辑规范、马尔可夫链、可达性分析、可解释性等内容。书中生动地描述了各种示例和情景。我特别喜欢涉及飞机复杂性和空中防撞的案例，以及自动驾驶汽车和自主车辆的验证应用。
坦白说，我还偏爱那些提供编程代码的书籍。查看数学公式固然重要，但我更喜欢看到反映这些有时晦涩的数学公式的代码。本书选择了Julia语言来展示系统验证的相关代码。对于热衷于软件工程的读者，我强烈推荐尝试一下Julia，它有许多优点。这种面向科学的编程语言大约在十五年前开始发展。
你会立刻认出这门语言，因为它具有Python、MATLAB、R、C和C++等语言的某些特征。它的优势包括参数多态性、即时编译、类似LISP的特性、开源性以及运行速度较快。尽管如此，Julia主要被计算机科学家使用，在学术、商业和政府研究环境中较为常见，而一般软件开发者对其了解不多。
Julia代码片段
每当我提到一种不太常见的编程语言时，通常会引起读者的兴趣。它长什么样？容易理解吗？不用担心，我将引用书中的两个Julia代码片段并简要解释它们的功能。
我们希望定义一个可以反复调用的函数，该函数能够遍历我的系统的三个元素，即捕捉数据的传感器、处理数据的人工智能代理，以及环境状态在人工智能代理指示机器人前进后发生的变化。
以下是Julia代码片段：
“`julia
function step(sys::System, s)
o = sys.sensor(s)
a = sys.agent(o)
s′ = sys.env(s, a)
return (; o, a, s′)
end
“`
此函数名为“step”。它接收系统“sys”和当前状态“s”作为参数。状态“s”输入到传感器中，传感器返回一个标记为“o”的观察值。观察值随后输入到代理中，代理提供一个标记为“a”的指定动作。状态“s”和动作“a”输入到环境中，例如使机器人向前移动一步，从而产生新的状态s’。函数返回给调用者观察值、动作和更新的状态s’。
另一个函数将命名为“rollout”，用于反复调用上述“step”函数。每次迭代的状态将被收集到一个数组中。迭代次数由传递给函数的计数参数“d”确定。
以下是Julia代码片段：
“`julia
function rollout(sys::System; d)
s = rand(Ps(sys.env))
τ = []
for t in 1:d
o, a, s′ = step(sys, s)
push!(τ, (; s, o, a))
s = s′
end
return τ
end
“`
这个代码片段比第一个稍微复杂一些。你可以看出它使用了“for”循环，并且“push!”语句用于向数组中添加项。任何熟练的程序员都会对这段代码感到熟悉。
验证需要更多支持者
在软件开发的大部分历史中，验证工作往往被隐藏在幕后，未能获得应有的关注和赞誉。管理软件开发人员和AI构建者的经理有时会因预算压力而削减验证环节。他们认为只要把软件推出市场，等到用户报告错误再解决也不迟。遗憾的是，这种心态常常占据上风，导致公司忽视验证的重要性。
随着AI系统越来越多地应用于高风险领域，如驾驶汽车、指导导弹和武器系统、控制发电厂和工厂等，低风险AI系统过去因缺乏验证而造成的虚假安全感已经不再适用。现在必须投入足够的时间、资金和优先级来确保AI的安全性。
本杰明·富兰克林曾有名言：“一盎司预防胜过一磅治疗。”那些没有意识到验证人工智能并严格开展AI安全工作是必要预防措施的AI开发者，最终将发现自己陷入困境。社会将严厉惩罚那些对AI安全敷衍了事的人。事先做好正确的事情，将验证和AI安全置于思考和行动的首位，并成为激励周围人采取类似行动的倡导者。加入我们，成为坚定的AI安全倡导者。
(以上内容均由Ai生成)
