Jack Dorsey的Block公司发布了其研究实验室开发的一款新语音模型，该模型可在本地运行，并带有笑声、停顿和哭泣等表情，听起来异常逼真。该公司表示，这款名为Dessa的模型完全基于人类语音训练而成，且仅需一个NVIDIA GPU机架即可运行。
Dessa是一个全双工模型，意味着它可以像今年早些时候OpenAI发布的GPT-Live模型一样同时说话和倾听。通常，语音模型会与大语言模型配对以进行知识检索。Block表示，Dessa的知识来源于其拥有的对话数据。
我们相信语音是与智能交互最自然的方式，因此我们打造了 Dessa——有史以来最真实的完全双工语音模型。与它交谈就像与人对话……充满情感、细微差别、停顿和自然的节奏。
Block表示，当前的模型由于在驱动语音生成的流程中包含文本，因此听起来可能不自然且令人厌烦。许多模型如ElevenLabs v4或Fish Audio Drama 3 使用语音标签来驱动语音生成中的情感表达。Dorsey的公司声称情感已内置于其模型中，但尚不清楚这种情感是否由某种标签引导。
该公司在一篇博客文章中表示：“与当前的语音AI互动简直糟糕透顶。它会将你的声音转换为文本，并丢弃大量仅靠文本无法承载的丰富信息。世界上最强大的AI也无法感知你的情绪。我们认为这很荒谬，会导致更差的体验，甚至可能存在危险。”
该公司的研究人员发布了多个与 Dessa 的对话示例，其中代理具有不同的声音、节奏和情感。例如，在一段对话中，机器人表示因工作而疲惫，此时它的声音听起来也确实很疲惫。
我们打造了首个完全基于语音训练、可与用户进行真实对话的 AI 模型！Dessa 是一个全双工语音到语音模型，可在消费级 GPU 上运行。这是语音领域的 GPT-3 时刻。
在下方的示例中，机器人正在谈论让制造它的人感到舒适，同时语气充满情感，几乎哽咽。
Dessa=全双工语音模型 vs Human=我
另一个例子展示了 Block 团队成员与语音助手一起玩游戏的场景。
为了游戏的精神。观看 Cara 与 Dessa 玩猜谜游戏。模型第一次就猜对了第一个答案，第二个也没花多长时间。
该公司表示，该模型可以在消费级计算机（如 MacBook M4 Max 或更高配置）上本地运行。然而，目前公众无法访问 Dessa，Block 已呼吁安全研究人员对该模型进行测试。这很可能是为了测试语音代理可能在何种情况下欺骗另一端的人。
Block从事金融业务并向小型企业销售解决方案。Square已经使用语音AI来处理订单。但随着其能够运行在设备上的自有语音模型，它可以用更低的成本支持更多的商业和消费者体验。