Anthropic推出Claude新文件创建功能，安全风险引担忧

快速阅读: Anthropic为Claude推出文件创建功能，允许用户生成多种文档，但存在数据泄露风险。公司建议使用时密切监控，防止恶意操作。

周二，Anthropic为其Claude AI助手推出了一项新的文件创建功能，允许用户在网页界面和Claude桌面应用程序中直接通过对话生成Excel电子表格、PowerPoint演示文稿和其他文档。尽管该功能对Claude用户来说可能非常实用，但公司的支持文档也警告称，这“可能会使您的数据面临风险”，并详细说明了AI助手如何被操纵以将用户数据传输到外部服务器。

这项名为“升级文件创建与分析”的功能，实际上是Anthropic版的ChatGPT代码解释器和升级版的“分析”工具。目前，该功能作为预览版本提供给Max、Team和Enterprise计划用户，Pro计划用户预计将在未来几周内获得访问权限。

安全问题源于新功能赋予Claude访问沙盒计算环境的能力，这使得它能够下载软件包并运行代码来创建文件。“这一功能使Claude能够上网创建和分析文件，可能会使您的数据面临风险，”Anthropic在其博客公告中写道。“使用此功能时，请密切监控聊天。”

根据Anthropic的文档，“恶意行为者”可能通过操纵此功能“悄悄地通过外部文件或网站添加指令”，从而操纵Claude“从与claude.ai连接的知识源读取敏感数据”，并“利用沙盒环境向外部网络请求泄露数据”。

这描述了一种“提示注入攻击”，即隐藏在看似无辜内容中的指令可以操纵AI模型的行为——这是安全研究人员在2022年首次记录的一种漏洞。这些攻击代表了AI语言模型的一个顽固且未解决的安全缺陷，因为数据和处理数据的指令都是以相同的格式作为“上下文窗口”的一部分输入给模型，使得AI难以区分合法指令和用户提供的内容中隐藏的恶意命令。

Anthropic在其安全文档中表示，公司在发布前通过“红队测试和安全测试”发现了新功能的漏洞。Anthropic建议用户的缓解措施是“在使用该功能时监控Claude，如果看到它使用或访问数据异常，请立即停止”，尽管这将整个安全负担放在了用户身上，而该系统却被宣传为自动化、无需干预的系统。

(以上内容均由Ai生成)