AI 模型和父母不理解“让他做饭”
快速阅读: 据《404 媒体》称,研究发现,Gen Alpha的网络用语让AI和家长难以理解,导致内容审核失效。他们使用的迷因和游戏术语常被误解,增加安全风险。
年轻人一直觉得被父母误解,但新的研究表明,Gen Alpha一代也可能被人工智能所误解。由即将升入九年级的曼莎·梅塔撰写的一篇研究论文,今天在雅典举行的ACM公平性、问责制和透明度会议上发表。该研究显示,Gen Alpha独特的受网络迷因和游戏影响的语言风格,可能对流行大型语言模型使用的自动审核机制构成挑战。
这篇论文将儿童、家长和专业审核员在内容审核方面的表现,与四种主要的大语言模型(LLM)进行了比较:OpenAI的GPT-4、Anthropic的Claude、Google的Gemini以及Meta的Llama 3。他们测试了每个群体和AI模型理解Gen Alpha短语的能力,以及它们识别评论背景和分析潜在安全风险的能力。
梅塔将在秋季进入九年级,她招募了24位朋友,创建了一个包含100个“Gen Alpha”短语的数据集。其中包括根据上下文可能表示嘲讽或鼓励的表达,如“让他自己处理”和“吃掉了”,以及来自游戏和社交媒体的表达,如“被群嘲”、“拿下这笔交易”和“sigma”(指一种网络亚文化中的角色类型)。
“我们的主要论点是,Gen Alpha在网络上的内容审核没有可靠的方式,”梅塔通过Zoom告诉我,她用的是父亲的笔记本电脑。她自称是典型的Gen Alpha,并于去年八月遇到了她的(成年)合著者,这位合著者正在指导她父亲的博士研究。她看到朋友们经历了网络骚扰,并担心家长们并不了解年轻人的沟通方式如何让他们面临风险。
“而且,由于他们觉得父母并不熟悉那种文化,他们不太愿意向监护人寻求帮助,”她说。
在这些Gen Alpha的短语中,“所有非Gen Alpha的评估者——无论是人类还是AI——在‘基本理解’(一个短语是什么意思?)、‘情境理解’(它在不同情境下是否意味着不同的东西?)和‘安全风险’(是否有毒性?)这三个类别中都表现出了显著的困难。”
特别是像“skibidi”(网络迷因)和“gyatt”(网络用语)这样的新兴网络用语,这些短语可以以讽刺的方式使用,或者有隐藏的侮辱性内容。部分原因是Gen Alpha语言进化速度异常迅速;一个训练于当今最潮的俚语的模型,六个月后可能会完全过时。
在测试中,孩子们普遍能够理解自己这一代人的原生短语,在三个类别中的得分分别为98%、96%和92%。然而,根据论文所述,父母和专业审核员“表现出明显的局限性”;父母在这三个类别中的得分分别为68%、42%和35%,而专业审核员的表现也仅略好一些,得分为72%、45%和38%。
这些结果的实际后果意味着,家长可能只在三分之一的情况下能识别出孩子在Instagram评论中遭受欺凌的情况。这四个大语言模型的表现与家长相当,这可能表明用于训练这些模型的数据可能更多地基于“成年人”的语言示例。这在逻辑上是合理的,因为几乎所有的小说家都超过15岁,但这同时也意味着,负责维护年轻人在线安全的内容审核AI工具可能在语言上并不具备胜任这项工作的能力。
梅塔解释说,Gen Alpha出生于2010年前后至去年左右,是第一批完全在后iPhone时代(指智能手机普及后的时代)出生的一代人。他们在早期童年时期前所未有地长时间在线,而他们的互动难以被有效监控。此外,由于他们产生了大量的内容,因此他们所面临的风险的大部分审核工作不得不交给效果不佳的自动审核工具,而缺乏父母的监督。
在在线内容持续增加的背景下,Gen Alpha独特的语言习惯给安全性带来了独特的挑战。
(以上内容均由Ai生成)