AI 病毒式图像趋势并不全是乐趣和游戏
快速阅读: 《加德满都邮报》消息,专家警告,AI驱动的图像篡改可能增加儿童色情和网络欺凌案件。尼泊尔需更新法律应对挑战,而中国已将AI伦理纳入小学课程。
今年三月,当“吉卜力风格滤镜”在网络上风靡一时的时候,Suchita的收件箱里充斥着她与朋友们以动画风格呈现的可爱合照。16岁的Suchita一直乐在其中,直到她的前男友发送了一张让她感到不适的照片。“那是一张我们穿着校服的照片,”Suchita说,出于隐私考虑,《邮报》使用化名来指代她。“然而,AI生成的版本却被篡改成了以性化和不恰当的方式展示我的形象。”当Suchita质问前男友时,他却轻描淡写地回应:“这只是卡通罢了。”他还补充说,她甚至无法证明那确实是她本人。这让Suchita感到十分惊慌,于是屏蔽了他。几周后,Suchita依然对这件事耿耿于怀。
过去的一个月里,AI驱动的图像趋势在社交媒体上达到了前所未有的主导地位。三月份,社交媒体动态被一波梦幻般的、由AI生成的模仿日本动画工作室吉卜力电影风格的图像席卷。到了四月,这一潮流转向用户将自己的形象转化为完美的动作玩偶,包括定制服装和灵感来源于芭比等品牌的造型。随后,宠物变人成为新热点——上传你的狗狗照片,AI会返回一个令人震撼的逼真人形版本的犬类。
除了这些古怪的功能之外,像GPT-4o这样的新一代生成式AI模型正逐渐受到数字原生青少年和儿童的青睐,解决了早期缺陷如扭曲的手部和模糊的文字等问题。随着AI使用的增加,这种新技术带来的各种形式的滥用也在增多。
截至四月第一周,尼泊尔警方记录了本财政年度涉及儿童的525起网络犯罪案件,其中包括接收具有性性质的电话和信息、不适当的照片、链接以及照片篡改等在线性犯罪行为。由AI驱动的照片篡改是所有年龄段中最常见的问题,尤其对女孩和女性影响最大。
专家警告说,推动生成式AI流行的那些功能,如即时编辑和病毒式传播,也使它极易被利用,就像Suchita的经历所显示的那样。随着儿童和青少年处于前沿,由AI驱动的照片篡改和儿童色情内容(CSAM)案件可能会增加。将真实图片转换为卡通或动漫风格内容的趋势也可能使CSAM更难检测和预防。
ChildSafeNet创始人兼会长Anil Raghuvanshi表示,这些AI潮流最大的问题是隐私。“当我们上传图片到ChatGPT或其他AI工具时,数据会被存储并经常用作训练材料,”他说,“这意味着我们的照片可能长期保存在AI系统中,并被重新用于未来的图像生成、视频或动画。”
Raghuvanshi指出,数据集越大,输出越逼真。而且收集的数据可能被坏人滥用。例如,互联网观察基金会(IWF)2024年7月的一份报告显示,AI生成的CSAM激增。超过3500张新的AI制作的虐待图像出现在暗网上,许多描绘了严重的虐待。报告称,犯罪者甚至使用经过微调的AI来重现已知受害者的图像和著名儿童的图像。
虽然大多数CSAM是在海外生产和存储的,但其数字化性质没有国界。ChildSafeNet和联合国儿童基金会2024年的研究发现,在所有年龄段的尼泊尔受访者中,有68%的人了解生成式AI,其中46%的人正在积极使用它。在这之中,超过一半(52%)的人更喜欢ChatGPT。该报告还对生成式AI给儿童带来的风险提出了严重关切,比如暴露于有害内容如CSAM、隐私泄露和网络欺凌。
据Raghuvanshi称,虽然社交媒体平台和应用程序可以检测到真实图片中的裸露和儿童性虐待,但在AI生成的内容如吉卜力风格或卡通图像方面却无能为力。这些图像可以用来分发CSAM并绕过检测工具。
执法部门现在需要应对诸如识别CSAM内容是否涉及真实儿童的问题——如果AI被用来掩盖儿童的身份——或者描述是否为真实的事件,这使得检测变得复杂。“即使照片被恶意篡改,它们也可能被视为只是卡通,这使得更难证明图像显示的是实际受害者,”Raghuvanshi说。“这种合成性内容的危险正常化可能会助长裸聊勒索和照片篡改案件的上升。”
另一个风险是通过伪造图像进行同龄人欺凌,研究员兼技术专家Shreyasha Paudel说。“即使照片被恶意篡改,它们也可能被视为只是卡通,这使得更难证明图像显示的是实际受害者,”Raghuvanshi说。“这种合成性内容的危险正常化可能会助长裸聊勒索和照片篡改案件的上升。”
Paudel表示,虽然伪造图像并不是新鲜事,但与生成式AI的不同之处在于,它可以轻松完成,无需特殊技能。“当前的社交媒体环境和AI公司鼓励这类图像的传播,”她补充道。
Paudel的担忧并非毫无根据。在2023-24财年,网络局记录了635起涉及儿童的网络欺凌案件,比2022-23财年的176起增加了260.8%。截至今年四月初,本财政年度该局已记录了525起案件。事实上,该局多次发布声明,针对恶意攻击、制造和散布色情内容等问题进行了回应,这些问题都与社交媒体和AI的使用有关。
专家表示,虽然政府和非政府组织通常专注于通过监控来检测和防止CSAM,但AI的新功能表明,这种方法不足以应对挑战。“检测和防止动画或卡通形式的CSAM将是困难的,因为我们尚未完全理解生成式AI是如何创造这些图像的,”Paudel说。“因此,我们目前无法开发出完全可靠的AI检测工具来检测AI操纵的CSAM。”她警告说,在许多国家,CSAM的威胁被误用以正当化增加的监控和审查,导致活动人士、记者和少数群体被捕,而CSAM继续非法存在。
“鉴于技术现状,重点应从审查转向问责、赋权和关于AI使用优缺点及伦理的意识,”Paudel说。Raghuvanshi同意Paudel的观点。“尼泊尔迫切需要更新的网络犯罪法律来应对AI生成的CSAM,包括处理涉及篡改卡通或动漫风格图像的案件机制。”
与此同时,邻国中国正在采取积极措施。北京已经将人工智能伦理纳入小学课程。从今年九月开始,中国计划在学校全面引入AI应用。其他国家如爱沙尼亚、加拿大和韩国也在将其教育系统融入AI教育。相比之下,尼泊尔落后了,只有草案AI政策,且已有17年的《电子交易法》不再适用于当今复杂的数字环境。学校课程缺乏关于网络安全和互联网使用的良好材料,更不用说AI,而AI在儿童和青少年中广泛使用。
Paudel建议,与其将互联网和AI视为威胁,父母、教师和儿童应该一起将它们作为学习工具来探索。“引导孩子向成年人求助并创建一个安全且可信赖的环境,让他们能够沟通,应该是政府、社会组织、商业和教育部门的首要任务,”Paudel说。
(以上内容均由Ai生成)