大数跨境

PlayAI 可按需克隆声音

PlayAI 可按需克隆声音 海外洞察
2024-11-25
0
导读:PlayAI,一个用于生成语音克隆和配音的平台,已完成一轮大规模种子轮融资。

早在2016年,哈马德·赛义德(Hammad Syed)与前WhatsApp工程师马哈茂德·费费尔(Mahmoud Felfel)便萌生了为Medium文章开发文本转语音Chrome扩展的想法。该扩展在Product Hunt获荐后,一年后正式孵化为一家公司。

“我们看到了帮助个人及组织为其应用创建逼真音频内容的巨大机遇,”赛义德向TechCrunch表示,“无需自建模型,客户即可以前所未有的速度部署媲美真人的语音体验。”

赛义德与费费尔创立的PlayAI(前身为PlayHT),定位为“AI声音界面”。客户既可预设选择多种声音或进行克隆,也能通过API将文本转语音功能集成至自有应用中。

用户可通过开关调节声音的语调、节奏及音色。

PlayAI还提供“游乐场”功能,支持上传文件生成朗读版,并配备用于制作精致旁白和配音的控制面板;近期,该公司更涉足AI代理领域,推出可自动化处理企业客服接听等任务的工具。

PlayAI的代理功能围绕公司的文本转语音引擎构建自动化工具。图片来源:PlayAI

PlayAI另一项有趣实验是PlayNote,它能将PDF、视频、照片、歌曲等文件转化为播客、朗读摘要、辩论甚至儿童故事。类似Google NotebookLM,PlayNote基于上传文件或URL生成脚本,并由多组AI模型协同完成最终内容。

实测显示,PlayNote生成的播客片段质量与NotebookLM相当,且能处理图片与视频素材,创作出引人入胜的作品。例如,仅凭一张鸡肉摩尔酱菜肴的照片,它便生成了一份五分钟播客脚本。未来已来。

诚然,该工具与其他AI产品一样,偶有伪影或幻觉现象;虽尽力适配格式,但枯燥的法律文件并非理想素材。例如,Musk诉OpenAI诉讼案曾被改编为睡前故事。

PlayNote的播客格式得益于最新模型PlayDialog。赛义德指出,该模型利用对话“上下文和历史”生成符合流程的语音:“通过历史上下文控制韵律、情感和节奏,PlayDialog能提供自然流畅、语气恰当的对话。”

PlayAI的PlayDialog模型可以生成听起来相对自然的两天长“双工”对话。图片来源:PlayAI

作为ElevenLabs的有力竞争者,PlayAI曾因安全管控宽松受诟病。其声音克隆工具虽要求用户勾选“拥有权利或同意”复选框,但缺乏执行机制,测试中轻易克隆了Kamala Harris的声音。

鉴于诈骗与深度伪造风险,此举令人担忧。

PlayAI声称会自动检测并拦截色情、冒犯性或威胁性内容,但测试中并未生效。使用Harris克隆声音生成的违规内容未触发任何警告。

同时,PlayNote社区门户充斥着公开生成内容,包含露骨标题文件。

赛义德回应称,收到未经同意克隆声音的报告后会立即封禁用户并删除声音;他还强调,高保真克隆需20分钟样本且定价较高(年付49美元/月或月付99美元),骗子通常不愿承担此成本。

“PlayAI已实施多项伦理保障措施,”赛义德表示,“包括识别合成声音的强效机制。一旦发现滥用,将迅速验证来源并采取果断措施纠正,防止伦理违规。”

希望如此——同时也期望PlayAI停止使用已故科技名人营销。若内容审核不严,可能面临田纳西州法律挑战,该州禁止平台托管未经授权的声音AI录音。

此外,PlayAI训练语音克隆AI的数据来源略显模糊,公司以竞争为由拒绝透露细节。

“PlayAI主要使用公开数据集、授权数据及内部专有数据集,”Syed称,“不使用产品用户数据或创作者数据训练模型。我们的模型基于数百万小时真实人类语音训练,提供多语言、多口音的男女性声音。”

多数AI模型基于公开网络数据训练,其中部分数据受版权保护或许可限制。尽管供应商主张合理使用原则免责,但这未能阻止数据所有者提起集体诉讼。

PlayAI目前尚未被起诉,但其服务条款表明,若用户面临法律威胁,公司不会提供支持。

此类语音克隆平台还遭到演员批评,担心工作被AI取代且对数字替身用途缺乏控制权。

好莱坞演员工会SAG-AFTRA虽已与Narrativ、Replica Studios等初创公司达成“公平道德”协议,但仍受严格审查,包括来自内部的质疑。

加州法律要求依赖表演者数字复制品的公司说明预期用途并与法律顾问协商;使用已故表演者数字克隆前,还需获得遗产管理人同意。

Syed表示,PlayAI“保证”平台生成的每个语音克隆均专属于创建者,“这种排他性对保护用户创作权利至关重要。”

日益增加的法律负担是PlayAI面临的逆风之一,另一挑战则是激烈竞争。Papercup、Deepdub、Acapela、Respeecher、Voice.ai以及亚马逊、微软、谷歌等巨头均提供相关工具。知名供应商ElevenLabs据传正筹集新资金,估值超30亿美元。

不过,PlayAI并不缺投资者。本月,这家Y Combinator支持的公司完成了由500 Startups和Kindred Ventures领投,Race Capital、500 Global及Soma Capital参投的2100万美元种子轮融资。

“新资金将用于投资生成式AI语音模型和语音代理平台,缩短企业构建高质量语音体验的时间,”Syed表示,并补充称PlayAI计划扩大其40人团队规模。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k