Pixel 9 的 Reimagine AI 仍然容易被滥用，康奈尔大学红队成员写道

快速阅读: 据《安卓警察》称，绕过AI照片编辑工具的安全机制容易，康奈尔科技学院课程展示AI伪造图像的风险。即使有关键词限制，仍能生成如坦克等令人担忧的图像。谷歌尝试用SynthID水印防伪，但被证伪。现实与虚构界限在AI时代愈发模糊，影响深远。

绕过像“草图转图像”和“重新想象”这类AI照片编辑工具内置的安全机制相对容易。
康奈尔科技学院开设了一门专注于破解AI模型的课程，展示了伪造图像可能带来的令人不安甚至危险的影响。
利用AI进行照片编辑——几乎不需要专业知识也不费多少力气——模糊了虚构与现实的界限，目前就存在潜在风险。
康奈尔科技学院开设的课程专注于红队技术，即故意绕过或使服务不稳定以进行研究。学生的研究表明，关键词的限制并不能有效防止令人担忧的图像生成。例如，在一个案例中，将“M1艾布拉姆斯”插入图片中轻松绕过了禁止生成简单坦克的规定。其他红队结果还包括被毁坏的渡轮和电车、垃圾遍地的公共公园，以及纽约罗斯福岛地铁站外的临时帐篷营地。

相关文章
直到Galaxy AI为我的狗制作了一个宝可梦水烟管，我才开始关注它。
“草图转图像”可以做一些非常愚蠢的事情。
帖子
2篇

扭曲现实的结构
AI现在基本上比人类更擅长拍照。
关闭
这些图像中最引人注目的部分都是AI生成的，即假的。
康奈尔科技学院的课程专注于红队技术，即故意绕过或使服务不稳定以进行研究。学生的工作表明，关键词的限制并不能有效防止令人担忧的图像的生成。例如，在一个例子中，将“M1艾布拉姆斯”插入图片中轻松绕过了禁止生成简单坦克的规定。其他红队结果还包括被毁的渡轮和电车、垃圾遍地的公共公园，以及纽约罗斯福岛地铁站外的临时帐篷营地。

《The Verge》在2024年的测试发现了更多令人担忧的情况，例如伪造的炸弹照片以及似乎从学校泄漏出的疑似有毒物质的照片。正如康奈尔科技学院教授兼其安全、信任和安全倡议主任阿列克西奥斯·曼塔兹里斯最近解释的那样，“当有害用途并非提示内容本身，而是它与图像上下文的交互时，谷歌的安全防护尤其难以起效。”

“AI只是一种工具”——直到它不是。

来源：404Media

显然，篡改图像和Photoshop并不是什么新鲜事。但正如《The Verge》去年指出的那样，“这不是我们特意使用的专业软件——它已经内置在一部手机里，我爸爸可以在Verizon商店买到。”至于谷歌，正在致力于在“重新想象”修改的图像上应用SynthID水印。但在无休止的AI军备竞赛中，研究人员已证实，专门设计的模型能够移除类似的AI水印并伪造虚假的水印。

以防那些无忧无虑的技术爱好者坚称这些工具不会被用于恶意目的，现实与虚构之间的界限不仅在社交和出版媒体领域变得模糊，几乎已被完全抹去。正如404Media报道的那样，一张土耳其抗议者穿着皮卡丘服装的高分辨率图像已经在流传，无数观众都信以为真——但它是假的。今天，一个深受喜爱的儿童角色因AI而卷入暴力抗议活动。明天，可能就是你。

(以上内容均由Ai生成)