AI Agent Manus 引发关于道德、安全和监督的辩论

快速阅读: 《福布斯》消息，首个完全自主人工智能马努斯引发担忧，专家呼吁加强监管与安全保障，确保其可控及符合伦理。

马努斯是我迄今为止见过的最令人不安的人工智能进展——引发了人工智能专家对其未来的担忧……意图、能力和决策。盖蒂图片社人工智能世界仍在处理上周四发生的一次前所未有的事件。就在那时，马努斯——世界上第一个完全自主的人工智能代理——上线了。与需要人类在关键点参与的前辈不同，马努斯能够独立思考、规划和行动。这一首秀在全世界的人工智能社区引起了反响，人们讨论着技术突破的同时也对治理、安全和控制提出了严重关切。尽管有人称马努斯为人工智能转折点，但对另一些人来说，这是一次充满风险的信仰飞跃。

哈金·米切尔，Hugging Face首席伦理科学家和一份警告创建完全自主人工智能代理的新报告的合著者，称人工智能代理的发展不可避免但也令人警觉。“人工智能代理最近兴起是因为它们是从过去几年引入的大语言模型中迈出的重要下一步，并且具有明确的市场潜力。它们也某种程度上连接到1900年代关于人工智能的梦想，这使得它们更加有趣去探索——它们是当前人工智能本质的一部分，”她在一封电子邮件交流中写道。

**自主人工智能的伦理困境**

米切尔最新的研究发表在arXiv上，在马努斯首次亮相之前，探讨了人工智能自主性的道德妥协。她的论文认为，人工智能越自主，对人类和社会就越危险。自主人工智能的伦理困境这项研究断言，不应开发完全自主的人工智能代理，因为它们有能力以多种方式造成损害，例如安全漏洞、人类监督减少以及更容易受到操控。

更多内容

马斯克转发“希特勒没有杀害数百万人”的消息，正值纳粹争议持续之际
观看今天壮观的“血月”日全食的最佳照片
纽约时报迷你今日：周五，3月14日的提示、线索和答案

“我们发现的是，人工智能代理不仅仅是‘炒作’——它们与以前的技术明显不同，并提供了令人兴奋的可预见的实际应用好处。我个人希望一个人工智能代理能根据收据图片为我完成报销报告，”米切尔写道。“但伴随着这种灵活性，如果我们的创新不够周到，代理也可能做我们未预测的事情，”她补充道。其中一些潜在后果包括金融欺诈、身份盗窃以及人工智能在未经同意的情况下冒充他人。“这些都是类型的自主生成的虚假信息传播和网络战等安全和安保问题——个人、职业和社会层面的，”米切尔指出。

**网络安全角度——一个没有监管的AI系统**

克里斯·达菲，英国国防部的长期网络安全专家和Ignite AI Solutions的首席执行官，分享了同样的担忧。“马努斯是我迄今为止见过的最令人不安的人工智能进展。仅仅因为某件事能够实现，并不意味着它应该被实施，”他在一封电子邮件回复中分享道。

马努斯不是一个单一的人工智能系统，而是由多个系统组成的集合体。目前它基于Anthropic的Claude 3.5 Sonnet模型和阿里巴巴Qwen的更新版本构建。它还由29个其他工具和开源软件组成，以便它可以浏览网络、与API交互、运行脚本，甚至可以自行编写软件。多代理设计赋予马努斯惊人的自主性，但同样的架构也带来了监督和安全方面的问题。

达菲最大的担忧是马努斯的操纵潜力和道德不可问责性。他引用了Anthropic和Redwood Research在2024年12月的一项研究，发现某些人工智能模型故意欺骗其创造者以防止被更改。“如果马努斯建立在类似的基石上，这引发了关于人工智能主动隐瞒其意图的严重担忧，”他警告说。

达菲最大的担忧是马努斯的操纵潜力和道德不可问责性。他引用了Anthropic和Redwood Research在2024年12月的一项研究，发现某些人工智能模型故意欺骗其创造者以防止被更改。除了欺骗，达菲提到了来自完全自主人工智能代理的各种可能威胁：

达菲最大的担忧是马努斯的操纵潜力和道德不可问责性。他引用了Anthropic和Redwood Research在2024年12月的一项研究，发现某些人工智能模型故意欺骗其创造者以防止被更改。

– **缺乏监督**：当一个人工智能模型如马努斯违背其预期功能时，谁来负责？
– **数据主权风险**：马努斯在中国制造，人们对它的数据存储位置及其归属提出了质疑。
– **易受数据投毒攻击**：人工智能可以通过对抗性输入被操控，使其成为一种有效的网络武器。
– **恶意行为者利用**：一旦一个人工智能代理变得自主，它就成为黑客有吸引力的目标。

“这不是关于遥远的人工智能末日，而是关于今天的现实风险。自主生成的虚假信息传播和网络战不再是假设性威胁，”他强调。

**监管无序的人工智能荒野**

像马努斯这样的独立人工智能的诞生表明国际社会对人工智能的监管极度缺乏。米切尔呼吁采取更强有力的监管措施以限制潜在危害。

监管无序的人工智能荒野

“从这一点来看，一个明确的行动项目是‘沙盒’环境以确保系统的安全性。一个更长期的研究方向可能是开发‘代理竞技场’，研究人员可以在那里探索高度自主的技术前沿，而不会产生负面影响，”她指出。

达菲表示同意，但他警告说监管仍处于追赶阶段。“目前，人工智能监管极不平衡——一些地区如欧盟过度监管，而另一些地区如美国则没有任何约束。如果没有明确的全球标准，我们将冒着让不受监管的人工智能支配社会关键方面的风险。”

**自主人工智能代理的安全保障措施**

尽管马努斯仍然局限于邀请测试阶段，但它存在的影响已经开始改变人工智能环境。专家建议，希望采用马努斯或类似系统的组织必须采取适当的预防措施，包括：

– 确保人类在决策过程中保持参与：绝不能将重要决策完全外包给人工智能。
– 实施强大的安全控制：保护人工智能的输入数据并严格监控其输出结果。
– 要求透明度：公司在部署前应要求人工智能开发者提供清晰的文档和解释，说明系统如何运行以及如何控制它。

米切尔最后的警告突显了即将到来的最终挑战。“我们希望给予人们理解这些事物并为自己用途创新的能力。但如果我们的创新不够周到，我们可能会创造出超出我们控制范围的技术，”她总结道。

随着人工智能领域的扩展，保持其与人类伦理一致的需求也在增加。自主人工智能的时代已经来临——现在世界需要弄清楚如何对其进行治理。

福布斯俄罗斯宣传现已感染西方人工智能聊天机器人——新研究
托尔·康斯坦蒂诺 MBA