ElevenLabs推出对话式AI机器人构建功能
ElevenLabs是一家提供AI语音克隆和文本转语音API的初创公司，于周一推出了构建对话式AI机器人的功能。
该公司宣布，用户现在可以在ElevenLabs的开发者平台上构建完整的对话式智能体，并可自定义语音语调、回复长度等变量。
ElevenLabs此前主要致力于提供用于文本转语音服务的不同声音和AI工具。该公司增长负责人Sam Sklar告诉TechCrunch，许多客户已经利用这一能力创建对话式AI智能体。然而，最具挑战性的部分在于整合知识库和处理客户的打断。因此，该公司决定构建一个完整的对话机器人流水线。
用户可以登录其ElevenLabs账户，通过选择模板或创建新项目来开始构建对话智能体。他们可以选择智能体的主要语言、首条消息以及系统提示词，以确定智能体的人格设定。开发人员还需选择大型语言模型（Gemini、GPT或Claude）、回复的温度值（以决定回复的创造性程度）以及令牌使用限制。
他们还可以调整其他方面，如语音、延迟、稳定性、认证标准以及与AI智能体对话的最大长度。
用户可以添加自己的知识库，例如文件、URL或文本块，以驱动对话机器人。此外，他们还可以将自定义的大型语言模型与机器人集成。ElevenLabs的SDK兼容Python、JavaScript、React和Swift。该公司还提供WebSocket API以实现更多定制功能。
公司还可以定义收集特定数据项的标准——例如与客户对话的智能体所获取的客户姓名和电子邮件——以及用自然语言定义的评估标准，以判定通话的成功或失败。
ElevenLabs正在利用其现有的文本转语音流水线。该公司需要为新的对话式AI产品开发语音转文本功能。目前，该公司并未将其语音转文本API作为独立产品提供，但未来可能会这样做，使其成为Google、Microsoft和Amazon的语音转文本API以及AssemblyAI、Deepgram、Speechmatics和Gladia等专业API的竞争对手。
该公司正寻求在估值超过30亿美元的情况下筹集新一轮资金，还与其他语音AI初创公司竞争，例如Vapi和Retell——它们也在构建对话式智能体。更值得注意的是，该公司将与OpenAI的实时对话API展开竞争。然而，ElevenLabs认为其定制能力和模型切换能力将使其相对于OpenAI占据优势。