Yoshua Bengio 提出“科学家 AI”来减轻超级智能代理的灾难性风险
快速阅读: 据《印度分析杂志》称，图灵奖得主杨立昆等人提出了一种名为“科学家AI”的新系统，旨在加速科研进程并防范危险的自主性AI。科学家AI通过观察解释世界，而非追求特定目标，且能提供可靠解释及避免目标误设。该系统在增强计算能力时将更安全、更准确，有望引领更安全的发展路径。详细内容可参见相关链接。杨立昆与他人因深度学习领域的贡献共同荣获2018年ACM阿曼图灵奖。
图灵奖得主杨立昆与一群人工智能研究员周一提出了“科学家AI”。这一人工智能系统旨在加速科学研究和进展，同时作为护栏防止“不安全的自主性AI”。作者们检查了构建模拟人类认知的人工智能系统的不足之处。他们表示，“人工智能系统中的人类式自主性可能会重现并放大有害的人类倾向，可能导致灾难性后果。”他们补充说，将人工智能代理（设计为自主追求目标的系统）的力量与超人能力结合起来，可能会“促成危险的、失控的人工智能系统”。这导致了“科学家AI”的提议，它们能够理解世界，并根据这种理解进行推理——而不是仅仅追求预定目标。不同于被训练去追求目标的自主性AI，科学家AI被训练去提供事件的解释及其估计概率，以提供事件的解释及其估计概率。此外，该系统旨在避免强化学习的风险，这是一种旨在最大化长期累积奖励的训练方式——作者们表示这可能会“轻易导致目标误设和错误泛化”。所提议的系统不是被训练来最大化奖励，而是通过观察来解释世界，而不是采取行动来模仿或取悦人类。基于对世界的了解，该系统对其输出提供可靠解释，人类或其他人工智能系统可以深入探讨每个论点的理由，类似于同行评审。为了避免自我实现的预测，作者们表示，“预测可以在模拟世界中的假设环境中做出，在这个环境中，科学家AI要么不存在，要么不对世界其他部分产生影响。”科学家AI据称随着计算能力的提升会变得更安全、更准确——与传统系统不同，作者们认为传统系统“随着计算能力的提高，往往会变得更加容易出现错位和欺骗行为”。“我们希望这些论点能激励研究人员、开发者和政策制定者选择这条更安全的道路，”作者们说。详细报告全文可在下方链接查看。2018年ACM阿曼图灵奖得主杨立昆与扬·勒丘恩和杰弗里·欣顿共同获得，这一奖项常被视为“计算机界的诺贝尔奖”，即ACM阿曼图灵奖。三人因他们在深度学习领域的开创性工作而广受认可。
(以上内容均由Ai生成)
