两位本科生打造开源AI模型,可生成NotebookLM风格播客片段
两位本科学生虽不具备深厚的AI专业知识,但已成功创建一款开源AI模型,能够生成类似Google NotebookLM的播客风格片段。
合成语音工具市场庞大且持续增长。ElevenLabs虽是行业巨头,但PlayAI、Sesame等挑战者层出不穷。据PitchBook报道,去年开发语音AI技术的初创公司获得了超3.98亿美元的VC融资,投资者普遍看好该领域潜力。
Nari Labs联合创始人Toby Kim表示,他与另一位创始人三个月前才开始学习语音AI。受NotebookLM启发,他们希望打造一个能提供更高生成语音控制权和“脚本自由度”的模型。
Kim透露,团队利用谷歌TPU Research Cloud项目免费提供的TPU AI芯片训练了Nari的新模型Dia。Dia拥有16亿参数,可根据脚本生成对话,支持用户自定义说话人语调,并能插入不流畅、咳嗽、笑声等非语言提示。
参数是模型预测的内部变量,通常参数越多,模型表现越佳。
Dia已在Hugging Face和GitHub上线,可在配备至少10GB显存的现代PC上运行。除非指定特定风格,否则默认生成随机声音,同时也具备声音克隆功能。
TechCrunch通过Nari网页演示测试发现,Dia能毫无怨言地生成关于任何主题的双向对话,音质与现有主流工具相当,其声音克隆功能也是记者体验过中最易用的之一。
以下是一个示例:
与多数语音生成器一样,Dia缺乏完善的安全措施,制作虚假信息或欺诈录音门槛极低。尽管Nari在项目页面劝阻滥用行为,但明确表示对误用“不承担责任”。
Nari尚未披露Dia的训练数据来源。有Hacker News评论者指出,某样本疑似使用了NPR《Planet Money》播客内容。使用版权内容训练模型在法律上仍存争议:AI公司多主张合理使用免责,而权利持有者则认为此原则不适用于训练过程。
Kim表示,Nari计划以Dia及未来更大模型为基础,构建具有“社交属性”的合成语音平台。此外,团队还将发布Dia技术报告,并将模型支持扩展至英语以外的语言。

