韩国选举监管机构推出 AI 解决方案以检测总统竞选期间的深度伪造视频

快速阅读: 据《韩国中央日报》最新报道，为防范虚假和诽谤性深度伪造视频在总统选举期间传播，韩国国家选举委员会引入由NFS开发的AI模型“艾吉斯”，该模型能检测通过扩散方法生成的深度伪造视频，并分析其恶意意图。

一张展示人工智能生成深度伪造图像的插图

在6月3日总统选举前夕，国家选举委员会（NEC）引入了国家调查研究院（NFS）开发的深度伪造检测人工智能模型，以遏制虚假和诽谤性深度伪造视频的传播。该模型名为“艾吉斯”，取自希腊神话中宙斯使用的盾牌，将由选举委员会用于检测难以用肉眼识别的复杂人工智能生成的深度伪造视频。

“艾吉斯”由NFS与韩国电子技术研究院（KETI）联合开发。根据行业消息人士透露，NFS从2022年四月起，在KETI组织并由信息通信技术规划与评估研究所资助的“防止生成式人工智能社会副作用的自我进化深度伪造检测技术”项目下启动研究。

总统选举临近，各政党正为应对深度伪造视频的泛滥做准备。警方逮捕近1000人参与打击深度伪造色情犯罪。超过100人因制作并传播虚假内容的深度伪造色情视频被捕。韩国针对女性和儿童的深度伪造、与人工智能相关的数字性犯罪激增。

“艾吉斯”是在该项目的第二年开发的。韩国国立警察大学、KAIST、AI人脸和语音生成公司克莱恩（Cleon）以及电影制作公司威斯威格工作室（Wysiwyg Studios）也参与其中。“艾吉斯”专门优化用于检测深度伪造视频。术语“深度伪造”是“深度学习”和“伪造”的组合，指代使用人工智能技术创建假视频的技术。根据2024年1月生效的修订后的《公职选举法》，在选举前90天内制作或发布用于竞选的人工智能生成的深度伪造视频是非法的。然而，针对主要总统候选人的深度伪造视频正在社交媒体上猖獗传播。例如，民主党候选人李在明出现在监狱服装中的视频，以及国民力量党候选人韩东勋摘掉假发的视频，这些视频大多具有诽谤性质。

4月16日，民主党总统初选候选人李在明的竞选官员向首尔市警察局举报YouTube用户制作并传播虚假内容的深度伪造视频[YONHAP]。

自4月9日起，委员会成立了“虚假和诽谤性AI深度伪造特别工作组”，采用三阶段检测流程。首先，人工监控人员通过“视觉和听觉检测”检查视频。如果视频无法轻易区分，则在第二步“程序检测”中使用像“艾吉斯”这样的AI模型。第三步涉及AI专家的判断。

“因其高准确性，我们主要使用NFS的‘艾吉斯’模型进行检测，但也与其他模型交叉验证，”一位NEC官员表示。

“艾吉斯”旨在检测通过扩散方法生成的输出，这是最新的人工智能图像生成方法之一。主要有两种人工智能图像生成方法：生成对抗网络（GANs）和扩散模型。GANs是一种较早的方法，涉及两个相互竞争的神经网络快速生成图像，但生成的图像常常存在扭曲，使其更容易被检测到。

相比之下，最近的图像生成器如OpenAI的MidJourney和DALL-E使用扩散方法，这种方法向图像添加人工噪声，然后逐渐去除噪声以创建高质量、高分辨率的结果。因此，利用传统检测手段很难区分扩散方法生成的图像与真实图像。“艾吉斯”已增强以检测通过扩散方法制作的深度伪造视频。

“我们不仅赋予‘艾吉斯’检测深度伪造和深度声音的能力，还分析生成的内容是否带有恶意意图，”一位NFS官员表示。

由中道日报基于生成式AI翻译，并经韩国中道日报编辑部审校。

作者：欧阳辉
邮箱地址保密

(以上内容均由Ai生成)