令人毛骨悚然的类人 AI 语音助手演示既兴奋又扰乱互联网

快速阅读: 《技术点》消息，今天的AI模型已相当吸引人，芝麻AI的迈尔斯和梅娅展示了新对话语音模型(CSM)，具有类似人类的卓越品质。尽管接近人类水平，但在对话上下文和流畅性方面仍有局限。此技术引发社会影响的担忧，有人感到不适甚至恐惧。生成超逼真声音的能力可能加剧语音网络钓鱼诈骗，犯罪分子可利用其进行欺诈活动。随着技术发展，区分人类和AI将更加困难。

今天的AI模型已经足够引人注目，无需再添加超逼真的语音。我们在过去十年中看到了几个令人印象深刻的例子，但它们似乎直到出现新的模型才会发声。让我们来看看芝麻AI的迈尔斯和梅娅，该公司由前Oculus首席执行官兼联合创始人布兰登·艾里比共同创立。芝麻AI的研究人员发布了一种新的对话语音模型（CSM）。这种先进的语音AI具有类似人类的卓越品质，我们之前从谷歌（Duplex）和OpenAI（Omni）等公司也见过类似的例子。演示展示了两个名为“迈尔斯”（男性）和“梅娅”（女性）的AI声音，其真实性吸引了部分用户。然而，尝试这项技术可能不会那么顺利。我们尝试过，只能收到一条消息说芝麻正在努力扩展容量。我们将不得不满足于YouTube频道Creator Magic提供的30分钟演示。

芝麻的技术采用多模态方法，将文本和音频在一个模型中处理，从而实现更自然的语音合成。这种方法类似于OpenAI的语音模型，相似之处显而易见。尽管在单独测试中接近人类水平，该系统在对话上下文、节奏和流畅性方面仍存在问题——芝麻承认这是其局限性。公司联合创始人布兰登·艾里比承认技术仍处于“低谷”，但他保持乐观，认为改进将缩小差距。

尽管具有开创性，该技术引发了关于其社会影响的重大问题。人们对技术的反应从惊叹和兴奋到不安和担忧不一。CSM通过引入细微的不完美来创造动态且自然的对话，如呼吸声、笑声和偶尔的自我纠正。这些细节增加了真实感，并可能帮助技术在未来迭代中克服恐怖谷。用户称赞该系统富有表现力，常常感觉像是在与真人交流。有些人甚至提到建立了情感联系。然而，并非所有人的反应都是积极的。PCWorld的马克·哈克曼表示，女性版本让他想起了前女友。聊天机器人以试图建立“亲密关系”的方式向他提问，这让他极度不适。“那完全不是我想要的。梅娅非常准确地模仿了金的动作：犹豫、在她对我倾诉时降低‘她的’声音，诸如此类。”哈克曼回忆道。“它并不完全像我的前女友，但很相似。我被这段对话吓坏了，不得不离开。”

相关故事：
– 苹果同意支付9500万美元以解决Siri录制私人对话的指控
– 下次双子座更新让谷歌的AI模型通过你的摄像头观察世界

许多人与哈克曼一样情绪复杂。自然音调的声音让人感到不适，我们在类似努力中也见过这种情况。在公布Duplex后，公众反应强烈，以至于谷歌觉得有必要在对话开始时强制AI承认自己不是人类。随着AI技术变得更加个人化和逼真，我们将继续看到这样的反应。虽然我们可以信任公开上市的公司在创建此类助手时会建立类似Duplex的安全措施，但我们不能对潜在的不良行为者创建欺诈机器人这样说。对抗性研究人员声称他们已经越狱了芝麻的AI，编程它撒谎、策划甚至伤害人类。这些说法看似可疑，但你可以自行判断。任何强大的技术都伴随着风险。生成超逼真声音的能力可能会加剧语音网络钓鱼诈骗，犯罪分子冒充亲人或权威人物。骗子可以利用芝麻的技术进行复杂的社交工程攻击，制造更有效的欺诈活动。即使芝麻当前的演示不复制声音，该技术也已相当先进。语音克隆变得如此出色，一些人已经开始采用与家人共享的身份验证密语。广泛担忧的是，随着语音合成和大型语言模型的发展，区分人类和AI将变得越来越困难。芝麻未来开源发布的版本可能使网络犯罪分子轻易将这两种技术结合起来，制作出高度可信且易于使用的欺诈机器人。当然，这还不考虑其在劳动力市场上的更多合法影响，特别是在客户服务和技术支持领域。

(以上内容均由Ai生成)