诡异逼真的 AI 语音演示在网上引发了惊奇和不适

快速阅读: 《Ars Technica》消息，尽管CSM在技术上令人印象深刻，但对话式语音人工智能的进步也带来了显著的风险，如增强网络电话诈骗。为防范这类风险，一些人与家人约定了秘密验证词。芝麻计划开源其研究的关键部分，并致力于扩大模型规模和增加语言支持。然而，这也引发了关于潜在滥用和安全问题的讨论。

太近了，让人感到不舒服？尽管CSM在技术上令人印象深刻，但对话式语音人工智能的进步对欺骗和欺诈带来了显著风险。生成高度逼真的人类语音的能力已经极大地增强了网络电话诈骗，使犯罪分子能够以前所未有的逼真程度冒充家人、同事或权威人士。但如果将这种诈骗加上真实的互动性，可能会使其效力更上一层楼。与目前常带有明显人工痕迹的自动呼叫不同，下一代语音人工智能可能完全消除这些警示标志。随着合成语音越来越难以与人类语音区分开来，你可能永远不知道电话那头是谁。这促使一些人与家人约定一个秘密词或短语以验证身份。这虽然芝麻的演示没有克隆人的声音，但未来类似技术的开源发布可能允许恶意行为者潜在地将这些工具用于社会工程攻击。OpenAI本身出于滥用的担忧，限制了其语音技术的广泛应用。芝麻在黑客新闻上引发了关于其潜在用途和危险的热烈讨论。一些用户报告说与两个演示声音进行了长时间的对话，最长可达三十分钟。有一例中，一位家长讲述了他们四岁的女儿如何与人工智能模型产生了情感联系，因为不能再与它交谈而哭泣。该公司表示计划在Apache 2.0许可下开源其研究的关键组件，使其他开发者能够在此基础上构建。他们的路线图包括扩大模型规模、增加数据集容量、扩展到超过二十种语言的支持，并开发“全双工”模型，更好地处理真实对话中的复杂动态。您可以访问该公司的网站尝试芝麻演示。

(以上内容均由Ai生成)