在 AI 支持代理发明引起用户轩然的政策后,公司道歉
快速阅读: 据《Ars Technica》最新报道,Cursor因AI臆断致用户误解,虽已解决技术问题,但暴露了透明度不足的风险。专家提醒,AI应用需注重安全保障与信息披露,以避免对用户和企业自身造成伤害。
“嘿!我们没有这样的政策。”三小时后,Cursor的代表在Reddit的回复中写道,“当然,你可以自由地在多台设备上使用Cursor。不幸的是,这是一个来自一线AI支持机器人的错误答复。”
**人工智能臆断带来的商业风险**
Cursor的这一事件让人联想到2024年2月发生的类似事件。当时,加拿大航空因其聊天机器人自创的退款政策而被迫履行承诺。在那次事件中,Jake Moffatt的祖母去世后联系了加拿大航空的客服,该公司的AI代理错误地告诉他可以预订原价航班并申请丧亲折扣。当加拿大航空后来拒绝了他的退款请求时,公司辩称“聊天机器人是一个独立的法律实体,对其自身行为负责”。然而,加拿大仲裁机构驳回了这一辩解,并裁定公司需为其AI工具提供的信息负责。
与加拿大航空不同,Cursor承认了错误并采取措施进行弥补。Cursor联合创始人迈克尔·特鲁尔后来在Hacker News上就不存在的政策引发的困惑道歉,解释说用户已获得退款,问题源于一次旨在提升会话安全性的后端调整,却意外导致部分用户会话无效。他补充道:“任何用于电子邮件支持的AI回复现在都明确标注为AI生成内容。我们用AI辅助回复作为电子邮件支持的第一道筛选环节。”
尽管Cursor修正了技术问题,但这一事件引发了关于用户信息披露的持续疑问,因为许多与Sam互动的人显然以为它是真人。“大型语言模型假扮成人类(还给你起了个名字叫Sam!),却不标明身份显然是蓄意误导的。”一名用户在Hacker News上写道。
虽然Cursor解决了技术问题,但这一事件表明,在客户面前部署AI模型若缺乏适当的安全保障和透明度,存在风险。对于一家向开发者销售AI生产力工具的公司来说,其自身的AI支持系统制定了一项疏远核心用户的政策,这无疑是一种特别尴尬的自伤行为。
“人们拼命声称幻觉不再是大问题,这确实颇具讽刺意味,”一名用户在Hacker News上写道,“然后一家从这种说法中受益的公司却被它直接伤害。”
(以上内容均由Ai生成)