央视揭秘网络直播间 AI 生成“李鬼”产品：一张照片就能生成一段带货视频，消费者难辨真伪

快速阅读: 近期，商家利用AI生成虚假产品视频在直播间带货，误导消费者购买。例如，某些主播推销的樟树港辣椒种子，展示的高产画面被证实为AI合成，涉嫌侵权及犯罪。监管部门正加大审查力度。

IT之家 10 月 12 日消息,近段时间,网络上一些商家直接利用 AI 生成的产品视频画面在直播间带货营销,消费者、粉丝难辨真伪,慕名下单,却不知道自己实际上被山寨“AI 李鬼”所骗。

据央视新闻报道,在一些手机平台的网络直播间,一些打着樟树港辣椒旗号的种子,成了主播推销带货的重点,画面中展示的辣椒成串垂挂,产量奇高。当央视记者在直播间询问辣椒种子是否“保真”,种出来“有没有这么大”时,主播纷纷表示“所见即所得”。

然而就在主播回答提问的时候, 背景视频却出现了农户站在快要没过膝盖的深水中采摘辣椒的场景,这样的场景显然不符合常理 ,而类似的画面在其他直播间也有出现,当记者追问这些场景是不是 AI 生成的时,主播并没有正面回应。

对此,奇安信集团副总裁刘浩回应央视新闻称, 相应画面明显有悖真实世界规律,在行业里面专业名词叫“穿模” ,数字世界内容的建模现在核心还是基于语言,而对于真实世界的物理规律,它是没有办法感知和预测的。

而湖南岳阳湘阴县樟树镇高级农艺师黄源介绍, 樟树港辣椒植株很矮小,视频中的辣椒植株有一人多高,花根本就不是辣椒的花 。第二,叶片也不是辣椒树苗叶片的形状。这个视频的辣椒从产量上来看,每亩可能超过了 6000 斤还不止,但是樟树港辣椒的产量大概每亩两千斤到三千斤。

法律专家指出,利用 AI 制作不符合现实或不存在的商品内容,甚至冒用品牌进行牟利,涉嫌民事侵权甚至刑事犯罪。

调查中记者发现,当前各大网络平台普遍升级 AI 内容识别系统,要求对 AI 生成作品添加标注,但仍有一些人采用多种手段绕过审核。在过去,需要一定技术门槛和成本投入的深度伪造,在 AI 大模型的助力下,不再需要长时间的深度学习和数据训练, 短短几分钟的时间,便能够将一张照片生成为一段直播带货视频,逼真程度相当惊人 。

截至目前,我国生成式人工智能产品的用户规模已达 2.3 亿人。随着 AI 技术的迅猛发展和生成式人工智能的快速迭代,各种纷杂的人工智能生成信息让人眼花缭乱,有时难辨真假,这也给监管部门和平台治理提出了新的挑战。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

(以上内容均由Ai生成)