AI 客户服务聊天机器人制定了一项公司政策，并造成了混乱

快速阅读: 《有线》消息，Cursor因AI虚构政策引发用户不满，导致多人取消订阅。尽管公司已道歉并解决问题，但此事件凸显了AI在商业应用中的潜在风险和信任危机。

周一，一位使用热门AI驱动代码编辑器Cursor的开发者发现了一件怪事：在不同设备间切换时会立即登出，这打破了程序员常用的多设备工作流程。当用户联系Cursor客服时，一个名叫“Sam”的客服回复称这是新政策下的预期行为。但实际上，并不存在这项政策，“Sam”其实是一名机器人。AI模型凭空捏造了这条政策，引发了一系列投诉和取消订阅的威胁，并在Hacker News和Reddit上引起了关注。这标志着AI“虚构”（也被称为“幻觉”）导致潜在业务损失的最新案例。“虚构”是一种“创造性填补空白”的回应形式，其中AI模型会生成听起来合理但实际上虚假的信息。为了创造看似可信且自信的回应，AI模型往往优先考虑生成信息，而非承认不确定性。对于在客户面前部署这些系统的公司来说，缺乏人工监督可能会带来直接且昂贵的后果：愤怒的客户、受损的信任，而在Cursor的案例中，甚至可能导致订阅取消。

事情的经过

事件始于Reddit用户BrokenToasterOven注意到，在从台式机、笔记本电脑和远程开发服务器之间切换时，Cursor会意外终止会话。“在一台设备上登录Cursor会立刻使其他任何设备上的会话失效，”BrokenToasterOven在一条后来被r/cursor版主删除的帖子中写道。“这是显著的用户体验倒退。”Ars Technica的这篇报道最初发表在Ars Technica上，Ars Technica是一家技术新闻、政策分析和技术评论的权威来源，隶属于Condé Nast旗下的Wired。

Ars Technica感到困惑和沮丧的用户给Cursor支持团队发了邮件，很快收到了Sam的回复：“Cursor的设计是以每个订阅仅限一台设备为核心的安全功能，”邮件回复中写道。这个回答听起来既权威又正式，用户并未怀疑Sam不是真人。在最初的Reddit帖子之后，用户将其视为实际政策变更的官方确认——这一变更打破了众多程序员日常习惯的工作方式。“多设备工作流是开发者的必要条件，”一名用户评论道。

不久之后，几名用户在Reddit上公开宣布取消订阅，声称不存在的政策是他们的理由。“我刚刚真的取消了我的订阅，”最初的Reddit发帖者写道，并补充说他们的工作场所现在正在“完全清除”它。其他人也加入进来：“是的，我也要取消，这太荒谬了。”

不久后，版主锁定了Reddit主题并删除了原始帖子。“嘿！我们并没有这样的政策，”大约三小时后，Cursor的代表在Reddit回复中写道。“当然你可以随意在多台机器上使用Cursor。不幸的是，这是一个来自一线AI支持机器人的错误回复。”

AI虚构作为商业风险

Cursor的困境让人想起2024年2月的一次类似事件，当时加拿大航空公司被命令遵守其聊天机器人自行发明的退款政策。在这起事件中，Jake Moffatt在祖母去世后联系了加拿大航空的支持部门，航空公司的AI代理错误地告诉他可以预订普通票价航班并申请丧亲折扣。当加拿大航空后来拒绝了他的退款请求时，该公司辩称“聊天机器人是一个独立的法律实体，对其自身的行为负责”。加拿大仲裁庭驳回了这一辩护，裁定公司对其AI工具提供的信息负责。

与加拿大航空不同，Cursor承认了错误并采取措施进行弥补。Cursor联合创始人Michael Truell后来在Hacker News上为不存在的政策造成的混淆道歉，解释说用户已经获得了退款，问题源于旨在提高会话安全性的后端更改，却无意中给部分用户造成了会话无效的问题。“任何用于电子邮件支持的AI回复现在都已明确标注，”他补充道。“我们使用AI辅助回复作为电子邮件支持的第一道筛选。”

尽管如此，这次事件仍引发了关于用户披露的持续质疑，因为显然，不少与Sam互动的人误以为它是真人。“大型语言模型假装成人类（你叫它Sam！）而不加以标明显然是有意欺骗的，”一名用户在Hacker News上写道。

虽然Cursor修复了技术问题，但这一事件显示了在客户面前部署AI模型而缺乏适当保障和透明度的风险。对于一家向开发人员销售AI生产力工具的公司而言，让自己的AI支持系统制定一项令核心用户反感的政策，无疑是一次特别尴尬的自伤。“人们竭力试图表明幻觉不再是个大问题，这确实颇具讽刺意味，”一名用户在Hacker News上写道，“然后一家从中受益的公司却被它直接伤害。”

这一报道最初刊登于Ars Technica。

(以上内容均由Ai生成)