灾难性的 AI 滥用
快速阅读: 《80,000 小时》消息，高级AI可加速科学进步，但也可能被用于制造生物、网络等危险武器，带来全球灾难风险。需通过治理和安全技术降低滥用风险。
目录
1. 高级人工智能可以加速科学进步
2. 高级人工智能可能制造哪些武器？
2.1 生物武器
2.2 网络武器
2.3 新的危险技术
3. 这些武器将带来全球性灾难风险
4. 有前景的方法可以降低这些风险
4.1 治理和政策方法
4.2 减少滥用风险的技术方法
AI模型在高级科学推理测试中表现良好。例如，GPQA钻石基准由博士级别的科学问题组成，非专家即使使用谷歌也无法回答。一些最近开发的AI模型表现优于专家人类：AI系统已经在现实世界的科学领域引起轰动。谷歌的人工智能系统AlphaFold因在极其复杂的蛋白质折叠科学领域的进展而获得了诺贝尔奖。当今的AI系统尚不能完全独立地进行科学研究——它们仍然需要人类指导。但像AlphaFold这样的专业工具展示了AI如何加速特定领域的进步，甚至帮助解决持续数十年的问题。这包括潜在危险应用的领域。许多研究领域——如数学、遗传学、量子物理和算法设计——都适合大规模、系统的探索。在这些领域，AI可以快速生成和测试假设，加快突破，这些突破可能需要人类花费数年或数十年才能实现。
当今的AI系统尚不能完全独立地进行科学研究——它们仍然需要人类指导。但像AlphaFold这样的专业工具展示了AI如何加速特定领域的进步，甚至帮助解决持续数十年的问题。这包括潜在危险应用的领域。未来的先进AI系统可能会按需生成真正的发现，标志着我们创造知识和进行科学研究方式的重大转变。
当今的AI系统尚不能完全独立地进行科学研究——它们仍然需要人类指导。但像AlphaFold这样的专业工具展示了AI如何加速特定领域的进步，甚至帮助解决持续数十年的问题。这包括潜在危险应用的领域。AI公司正在积极开发可以在最少人类监督下运行的AI系统。如果这些系统能够自行进行AI研究，它们可能会大大加速AI的进步——可能会提前通用人工智能（AGI）的到来：即在大多数任务上与人类表现相当或超过人类的系统。这样的系统最终可能会自主进行科学研究，将人类排除在外。
当今的AI系统尚不能完全独立地进行科学研究——它们仍然需要人类指导。但像AlphaFold这样的专业工具展示了AI如何加速特定领域的进步，甚至帮助解决持续数十年的问题。这包括潜在危险应用的领域。我们曾指出，这种AGI可能会比许多人认为的更早到来。因此，我们很快可能会进入一个AGI系统能够进行科学研究并加入劳动力市场的新时代，极大地扩展推动技术前沿的努力。但即使需要更长时间，一旦AGI出现，它很可能彻底改变科学研究的过程。这可以帮助人类解决许多重大问题——例如流行病和气候变化。但科学也促使人类创造了大规模杀伤性武器：化学、生物和核武器。在过去的一个世纪里，我们围绕这些武器建立了国际法和外交规范，限制其使用。如果AI使我们能够更快地开发更多大规模杀伤性武器，我们的制度可能无法跟上。
我们最担心的新破坏性技术类型是生物武器。即使没有AI，发展生物技术也存在极端风险。病原体感染、复制、杀死和传播的能力——往往在未被察觉的情况下——使其异常危险。生物工程大流行可能比自然进化的流行病更具传染性和致命性，而自然进化的流行病是人类历史上最致命的事件之一。我们认为AI可以快速推进生物技术研究。Anthropic首席执行官Dario Amodei曾写道：“但随着AI加快生物学和医学研究，它也会使开发新风险变得更加容易。”双用途工具，如实验室过程的自动化，可能会降低流氓行为者制造危险大流行病毒的门槛。即使是目前的大型语言模型理论上也可以用来学习如何制造生物武器。一项研究发现，一些前沿AI系统在病毒学能力测试中表现优于人类病毒学家——这表明它们可以帮助新手进行危险的生物实验。
但随着AI加快生物学和医学研究，它也会使开发新风险变得更加容易。双用途工具，如实验室过程的自动化，可能会降低流氓行为者制造危险大流行病毒的门槛。随着AI变得更强大和更自主，它们帮助制造生物武器的方式范围将扩大。例如，基于AI的生物设计工具可以让有经验的行为者重新编程危险病原体的基因组，以特别增强其致死性、传播性和免疫逃逸能力。如果AI能够加快科学和技术进步的速度，这些风险可能会被放大和加速——使危险技术更加广泛可用或增加其可能的破坏力。在一项2023年对AI专家的调查中，73%的受访者表示他们对“未来AI会让‘危险群体’制造强大工具（如工程病毒）”感到“极端”或“严重”的担忧。
AI已经可以用于网络攻击，例如网络钓鱼，更强大的AI可能会导致更大的信息安全挑战（尽管它也可能在网络安全防御中很有用）。仅凭AI驱动的网络战不太可能对人类构成生存威胁。即使是最具破坏性和代价高昂的社会规模网络攻击，也不会接近灭绝级事件。但AI驱动的网络攻击可能会提供访问其他危险技术的途径，例如生物武器、核武库或自主武器。因此，由AI相关的网络武器引发的真实生存风险可能存在，但它们很可能通过另一种生存风险来实现。例如，AI驱动的网络攻击可能会触发核武器的释放，或者允许恶意团体获得他们需要的信息来开发生物武器。
仅凭AI驱动的网络战不太可能对人类构成生存威胁。即使是最具破坏性和代价高昂的社会规模网络攻击，也不会接近灭绝级事件。我们可能无法预测AI可能帮助人类创造哪些危险的新技术。请注意，核武器最初被提出仅仅是在广岛和长崎原子弹爆炸前十二年。在这一点上，我们仍然可以推测一些潜在的新技术。一种可能性是原子精确制造，有时称为纳米技术，它被认为是一种生存威胁——并且是一项科学上可行的技术，AI可以帮助我们比以往更快地发明出来。在《临界点》一书中，托比·奥德估计了到2120年因“不可预见的人为风险”导致生存灾难的可能性为1/30。这一估计表明，可能还有其他发现，涉及尚未理解的物理学，这些发现可能使具有灾难性后果的技术得以创造。
为了说明这可能是什么样子，可以考虑在建造大型强子对撞机期间产生的恐惧。一组研究人员聚集在一起探讨重离子碰撞是否会产生带负电的奇异粒子和黑洞——这可能对整个星球构成威胁。他们得出结论称，“没有任何可想象的威胁的基础”——但他们可能发现了不同的结果，而且未来在物理学中的实验可能带来极端风险。另一个例子是1942年洛斯阿拉莫斯的研究人员考虑的风险，即第一次核武器试验可能会点燃地球整个大气层，引发无法停止的链式反应。这类武器可以通过两种方式增加全球性灾难风险：它们可能引发国家之间的危险军备竞赛，并可能导致毁灭性的战争。恐怖组织或个人可能利用这些武器来获得杠杆作用或出于意识形态原因。在另一篇文章中，我们估计在2050年前发生大国战争的可能性是1/3。如果国家能够接触到新的大规模杀伤性武器，这种战争似乎更有可能导致人类灭绝。
除了核武器外，我们过去看到政府发展过大规模杀伤性武器计划。例如：苏联几十年来一直秘密运营一个大型生物武器计划，违反了国际协议。在第二次世界大战期间，日本军队的731部队在中国进行了可怕的实验和生物武器作战。在中国进行了残酷的人体实验和生物战活动。因此，这种威胁并非没有历史先例。目前看来，AI最可能由大型企业和美国、中国等国家政府所掌控。然而，流氓国家或恐怖组织可能突破现有AI模型的安全机制，窃取模型并加以利用，或借助开放权重模型。斯德哥尔摩国际和平研究所的一份报告指出，即便AI技术尚未实际应用，军备竞赛带来的不稳定性也可能显现。因为一个国家若误以为对手具备新型核能力，就足以破坏威慑的微妙平衡。类似的情况也可能出现在其他新型大规模杀伤性武器上，例如生物武器。此外，AI还可能发挥稳定作用：例如，它能够增强人类协调与建立可验证协议的能力。总体而言，我们尚无法确定AI是否会显著增加短期内核武器或常规冲突的风险——但我们认为仍需进一步努力以降低潜在风险。
虽然先进的AI可能加速危险武器的发展，但我们可以采取具体的步骤来减少这些灾难性的滥用风险。该领域的一些方法包括：责任框架：法律框架可要求AI开发者对其系统可能造成的影响负责。这将促使企业采取严格的防范措施以防止滥用。虽然先进的AI可能加速危险武器的发展，但我们可以采取具体的步骤来减少这些灾难性的滥用风险。该领域的一些方法包括：责任框架。
国际协议：正如世界制定了围绕核武器、化学武器和生物武器的条约一样，我们可能需要新的国际协议来规范AI的发展和部署。这些协议可能包括共享AI安全研究成果或协调应对滥用事件的机制。许可和监督：政府可要求对开发或部署最先进AI系统的机构进行审批，类似于我们对核技术的监管方式。这将使相关机构在危险能力被释放前确保必要的安全措施到位。出口管制和国际合作：政府可以监管先进AI系统及其运行所需的专用计算机芯片的出口。美国已对向中国出口芯片实施了部分管控，类似措施也可用于防止危险的AI能力落入敌对势力之手。验证和监控：可设立国际机构以监督AI协议的执行情况，类似国际原子能机构对核计划的监督机制。如需更多信息，请阅读我们关于AI治理与政策路径的完整职业回顾。
该领域的某些方法包括：安全设计：AI开发者可以将安全措施直接构建到他们的系统中，使其对滥用具有抵抗力。这包括开发出即使在受到创造性提问时，也不会提供有关制造大规模杀伤性武器信息的模型。Anthropic和OpenAI等公司已经在他们当前的模型中实施了部分这些保障措施。生物安全措施：由于生物武器是其中最严重的滥用风险之一，特定的技术工作专注于这一威胁。例如，研究人员正在开发AI系统，可以在DNA合成订单被制造之前检测潜在危险的序列。这种“源头筛查”方法可阻止不良分子订购用于生物武器的基因片段。监控和检测：AI可监控科学文献、采购模式或实验室活动，以识别可疑的生物武器研发迹象。同样，AI还可以实时检测网络攻击或其他恶意活动。访问控制：技术措施可以限制谁能够访问最危险的AI能力。这可能涉及对特定请求设置特殊认证，或开发“双重用途”模型，仅对经审核的用户开放高风险功能。如需更多信息，请阅读我们关于AI安全技术研究路径的完整职业回顾。
AI政策与安全领域仍在快速发展，仍有大量空间探索新思路和新方法。其中许多方案需要多方利益相关者的协作，包括技术人员、政策制定者及国际组织。正如我们学会将核技术用于有益目的的同时限制其武器化，我们也可能对AI实现类似目标。实施这些干预措施的时间窗口可能较为有限。随着AI能力的快速演进，关键参与者需迅速采取行动，建立有效的保障机制、实践规范和治理体系，以防止这些系统的灾难性滥用。
(以上内容均由Ai生成)
