尽管Rhasspy、Mycroft和Jasper等开源AI语音助手项目多次尝试打造兼顾功能与隐私的离线体验,但研发进展依然缓慢。除开源项目的共性挑战外,编程实现语音助手本身就十分困难,毕竟Google Assistant、Siri和Alexa等成熟产品背后有着数十年的研发积累及庞大的基础设施支撑。
但这并未阻止大规模人工智能开放网络(LAION)团队的步伐。这家负责维护全球热门AI训练数据集的德国非营利组织本月宣布新倡议BUD-E,旨在构建一款能在消费级硬件上运行的“完全开源”语音助手。
为何重启语音助手项目?
面对市面上众多处于停滞状态的语音助手项目,埃利斯研究所研究员兼BUD-E贡献者Wieland Brendel指出,目前缺乏架构足够可扩展以充分利用新兴生成式AI技术(如ChatGPT等大语言模型)的开源助手。
Brendel表示:“大多数交互依赖笨拙的聊天界面,对话生硬不自然。现有系统适合传达控制指令,却不适合作为长篇引人入胜对话的基础。BUD-E的目标是提供自然言语模式并记忆过往对话,使语音助手对人类而言更自然。”
此外,LAION还致力于确保BUD-E各组件最终能免费授权集成至各类应用和服务中(含商业用途),这是其他开源项目难以企及的。
发展路线图与当前进展
BUD-E(递归缩写意为“理解与数字共情伙伴”)由蒂宾根埃利斯研究所、Collabora技术咨询公司及蒂宾根AI中心联合开发。团队计划在数月内为BUD-E注入“情感智能”,并确保其能处理多说话者对话。
Brendel强调:“市场对优质自然语音助手需求巨大。LAION擅长社区建设,而合作伙伴则提供开发资源。”
目前BUD-E已上线,用户可通过GitHub在Ubuntu或Windows PC下载安装(macOS版即将推出)。作为最小可行产品(MVP),它整合了微软Phi-2大语言模型、哥伦比亚大学StyleTTS2文本转语音模型及英伟达FastConformer语音转文本模型。因尚未充分优化,要实现接近商业助手的500毫秒响应速度,需配备RTX 4090等高性能GPU。
Collabora正无偿适配WhisperLive和WhisperSpeech模型。其AI研究员Jakub Piotr Cłapa表示:“自研方案可实现封闭API无法达成的定制化。我们曾因寻找合适TTS方案受阻,决定携手开源社区提升模型可用性。”
未来规划与伦理考量
短期内,LAION将降低硬件门槛并减少延迟;长期任务包括构建对话数据集微调模型、开发记忆机制及多人语音处理管线。
针对语音识别系统在非英语及特定口音上的表现问题,Brendel坦言无障碍性并非“当前重点”。他表示:“首要任务是重新定义交互体验,随后再推广至多样化口音和语言。”
LAION提出了动画化身、拟人化助手及基于摄像头的情绪分析等前瞻构想。针对面部分析的伦理争议,联合创始人Robert Kaczmarczyk强调团队严格遵守欧盟《人工智能法案》的安全伦理准则。该法案对情绪分类器等“高风险”AI设有严格规则。
Kaczmarczyk补充道:“透明度承诺有助于发现纠正偏见并维护科学诚信。开放数据集能让科学界开展符合高可重复性标准的研究。”尽管LAION过往工作存在瑕疵且情绪检测项目颇具争议,但BUD-E的表现仍值得期待。

