如果 Anthropic 成功，一个由仁慈的 AI 天才组成的国家可能会诞生

快速阅读: 据《有线》称，关键人物阿莫迪通过多渠道筹资超60亿美元支持Anthropic发展。该公司推出“对齐”技术确保AI与人类价值观一致，并构建“宪法AI”系统及RSP安全协议分级管理AI风险。尽管面临竞争压力，Anthropic选择谨慎行事，直到2023年才发布其模型。

作为大团块理论背后的关键人物，阿莫迪深知他们需要的资金远超Anthropic最初筹集的7.5亿美元。于是，他从多家云服务提供商处筹措资金，首先是从直接竞争对手谷歌入手，随后转向亚马逊，累计金额超过60亿美元。Anthropic的模型即将面向AWS客户推出。今年年初，获得新一轮融资后，亚马逊在其监管文件中披露，其持有的Anthropic股份价值接近140亿美元。一些观察人士认为，亚马逊可能完全吞并或实质上控制Anthropic，但阿莫迪表示，通过平衡谷歌与亚马逊的关系，他确保了自己的公司保持独立。

在世人认识克劳德之前，Anthropic公布了一项重要的技术突破——一种“对齐”方法，这正是AI开发者常提到的，旨在使AI与人类价值观保持一致。这一理念的核心是让AI实现自我监管。虽然一个模型可能难以准确评估一篇作文的质量，但测试其回应是否符合社会公认的有害性和实用性原则却相对简单——就如同美国宪法这样简短的文件，却能决定一个庞大且复杂的国家的治理方向一样。

在Anthropic提出的“宪法AI”系统中，克劳德扮演着司法分支的角色，负责解读其基础文件。理想主义的Anthropic团队从一系列精选文件中提炼出宪法原则，这些文件包括《世界人权宣言》、苹果的服务条款，以及DeepMind制定的一套反种族主义和反暴力判断标准的Sparrow。Anthropic还将一些常识原则纳入其中，类似于AGI版本的《我所知道的一切都是在幼儿园学到的》。正如达尼埃拉所描述的那样，“这本质上是一个监督克劳德的克劳德版本。”

Anthropic还开发了另一项安全协议，名为负责任扩展政策（Responsible Scaling Policy），简称RSP，在公司术语体系中占据重要地位。该政策为AI系统设定了风险等级层次结构，类似于防御准备状态（Defcon）等级。Anthropic目前将其系统归类为AI安全等级2，这意味着需要采取防护措施来应对早期危险能力的迹象，比如指导制造生物武器或进行系统黑客攻击的能力。但这些模型不会超出教科书或搜索引擎的内容范围。

在等级3，系统开始自主运行。等级4及以上尚未明确界定，但Anthropic认为它们将涉及“灾难性误用潜力和自主性的质变升级”。Anthropic承诺，在未嵌入更强大的保障措施之前，不会训练或部署更高威胁级别的系统。Anthropic的红队负责人洛根·格雷厄姆向我解释道，当同事大幅改进模型时，他的团队会设计挑战，看看它是否会生成危险或有偏见的答案。之后，工程师们会调整模型，直至红队认可为止。“整个公司都在等着我们，”格雷厄姆说，“我们已经优化了流程，以避免长时间推迟发布。”

到了2021年年中，Anthropic已经拥有了一个可用的大型语言模型，发布它将引起广泛关注。然而，公司选择按兵不动。“我们大多数人认为AI将会是一件非常大的事情，但公众还没有意识到这一点，”阿莫迪说道。当时，OpenAI的ChatGPT尚未推出。“我们的结论是，我们不想成为那个引发竞赛的人，”他说，“让其他人先行一步。”

直到2023年3月，Anthropic才发布了它的模型，此时，OpenAI、微软和谷歌已经将各自的模型推向了公众。

(以上内容均由Ai生成)