今天分享的产品是最近的资本和媒体“新宠”:Fish Audio,https://fish.audio/zh-CN/
先用一个场景来介绍下 Fish Audio 的产品能力。
假设你正在给一部动画短片配音。
剧本里,同一个角色先要压低声音说一句秘密,接着突然笑出来,最后又带着愤怒质问另一个人。
普通的文字转语音工具可以把每个字读对,却很容易把整段台词读成同一种语气。
它知道句子是什么,却不知道角色为什么要这样说。
今天的主角 Fish Audio 想解决的,就是这个问题。
用户可以在平台上选择一个声音,也可以上传一段自己的录音,快速克隆出相似音色。
输入台词以后,再在文字中加入“低声耳语”、“突然大笑”、“非常兴奋”、“带着哭腔”等指令,AI 会在指定位置改变情绪、语速、音高和停顿。
Fish Audio 既可以给短视频、有声书和游戏角色配音,也可以接入 AI 数字人、电话客服和语音助手。
2026 年7月,Fish Audio 宣布完成 5200 万美元种子轮融资。
公司披露,平台已有超过 800万名用户、200多万个社区声音模型,年化经常性收入达到2100万美元,核心团队只有22人。
而这家公司最早的训练设备,只是一张放在卧室里的RTX 4090显卡。
他原本研究视频,却被 AI 配音听烦了
Fish Audio 的联合创始人兼首席科学家廖世佳,此前在英伟达从事视频相关的研发工作。
业余时间,他喜欢看 VTuber 直播。
VTuber 可以简单理解为:主播不直接露脸,而是用一个动漫人物形象出现在直播间里。
观众能不能相信这个角色,除了画面,很大程度上也取决于声音。
廖世佳发现,当时不少 AI 配音在短句里听起来还算自然,但一旦台词稍微变长,问题就会暴露出来。
前几秒像人在说话。
继续往下听,语气开始变平,节奏越来越机械。无论角色正在紧张、兴奋还是悲伤,声音都像在认真朗读一份说明书。
这不是简单的“声音像不像真人”。
一个模型可以准确读出每个字,却未必会表演。
于是,廖世佳把这件事做成了一个业余项目。
他在卧室里用一张 4090 显卡训练语音模型,随后把项目以 Fish Speech 的名字放到 GitHub 上开源。
到 2024年中期,他离开英伟达,开始全职投入这个项目。
早期的 Fish Speech 没有公司团队,没有庞大的算力集群,也没有先做一份融资计划。
它想解决的就是上面提到的那个问题:
怎么让 AI 不只把话读出来,还能把台词演出来。
把“声音像不像”拆成了两个问题
传统文字转语音模型,首先要解决的是正确性。
它需要知道每个字怎么念,哪里应该停顿,数字、人名和多音字应该如何处理。
但声音是否自然,还涉及另一层问题:
这一句话应该说得多快?哪个词应该加重?说话者是在克制、犹豫,还是已经接近崩溃?
Fish Speech 早期选择了一种“双自回归”架构。
用相对通俗的方式解释,可以把它理解为两步:
第一步先决定这句话的内容、节奏和主要声音结构;
第二步再补齐音色、质感以及更细的声音信息。
这种拆分让模型既能保持台词稳定,也能处理更复杂的表达。
2024 年公开的 Fish Speech 论文,已经把多语言、复杂发音和声音克隆列为重点能力。
到了 2026年发布的 S2模型,用户已经可以直接在台词中写入自然语言指令。
例如:
我没有生气。[压低声音,短暂停顿] 我只是有一点失望。
或者:
你真的成功了?[先愣住,然后非常兴奋地笑起来]
这些指令可以插在某个单词或某句话前面,而不是只能给整段音频选择一个“开心”或“悲伤”的固定标签。
S2 还支持多人对话。
同一段文本中可以安排不同角色轮流说话,并分别控制每个人的音色和情绪。
其开源版本同时提供模型权重、微调代码和流式推理工具。
Fish Audio 目前宣称支持 83 种以上语言和超过 1.5 万种自然语言控制方式。
这 1.5 万种并不是让用户从一个巨大的菜单里寻找“第8372种情绪”,而是模型能够理解大量自由描述,例如:
“像新闻主播一样冷静,但不要太正式。”
“带一点波士顿口音,结尾轻轻放低声音。”
“像一个刚跑完步的人,喘着气说完这句话。”
这让它更接近一个可以听懂导演要求的 AI 配音演员,而不只是一台朗读机器。
把模型开源,再从开发者中找到第一批客户
Fish Speech 开源以后,最早进入项目的并不是大型企业。
更多是独立开发者、动漫爱好者、游戏设计师和内容创作者。
有人用它给游戏角色配音,有人制作动漫二创,也有人把模型部署到自己的电脑上,研究怎样让中文、日语和韩语听起来更自然。
Fish Speech 目前在 GitHub 上已有约 3.2万颗星、2700次分叉和近 100名代码贡献者,逐渐成为开源语音生成领域影响力较大的项目之一。
开源给 Fish Audio 带来了三样东西:
第一是用户。
开发者可以先下载模型、自己部署,不需要先和销售人员开会,更不需要在完全不了解产品时购买企业合同。
第二是反馈。
不同国家的用户会用各种语言、口音和特殊场景测试模型。团队自己很难想到的错误,会很快在社区里暴露出来。
第三是传播。
游戏开发者做出一个角色,短视频创作者做出一段配音,内容本身又会让更多人知道背后的工具。
不过,Fish Audio 现在所说的“开源”,并不意味着所有商业使用都完全免费。
S2 的代码和权重可以用于研究及非商业用途,企业如果要把模型用于商业部署,仍需要取得相应许可。
这实际上形成了一条比较清晰的路径:
个人开发者先免费尝试,内容创作者进入在线平台,商业项目再购买接口或企业服务。
从一个代码仓库,变成拥有 200万个声音的社区
只提供模型,还很难形成一款普通用户愿意长期使用的产品。
因此,Fish Audio 后来又做了一层在线平台。
用户不需要会写代码。
打开网页,选择一个声音,粘贴文本,就可以生成音频。
想做自己的声音,也可以上传参考录音,创建一个新的声音模型。
公司对外宣传称,最短使用约5秒录音,便可以在15秒左右完成一次快速声音克隆。
但在官方的最佳实践文档里,Fish Audio 仍建议用户准备两到三段、每段15至20秒的清晰录音。
录音越完整、背景越干净,生成结果通常越稳定。
平台同时允许用户把自己制作的声音公开到社区。
其他人可以直接搜索和使用这些声音,不必每做一个角色都从头训练。
这让 Fish Audio 逐渐积累了超过 200万个社区声音模型。
对于一个做游戏的团队来说,它可以快速寻找老人、少年、机器人或怪物的声音。
对于短视频创作者来说,它可以找到适合讲故事、介绍产品或模仿动画角色的音色。
对于 AI 应用开发者来说,这个声音库可以直接成为产品里的内容资源。

这也形成了 Fish Audio 早期非常重要的增长循环:
用户上传更多声音,平台的可选内容变多;
声音选择变多,更多创作者愿意使用;
创作者发布内容,又带来新的用户;
更多使用数据和偏好反馈,再被用于改进模型。
Fish Audio 首席执行官 Rissa Cao 曾形容,工程师负责产品、品牌和增长,而社区创作者帮助生产内容和分发产品。
更多创作者意味着更多反馈,模型也就能够更快迭代。
2026年3月还是 1200万美元,四个月后变成 2100万美元
Fish Speech 先有开源社区,Fish Audio 随后才正式公司化。
另一位联合创始人 Rissa Cao 此前曾在 Amazon 和 Meta 担任产品经理,并参与过语音 AI 相关产品。
她加入后,主要负责产品商业化、公司运营和企业市场,廖世佳继续负责模型研究。
2026年3月,Rissa 在一次访谈中披露,当时 Fish Audio 已有约 600万名创作者用户、200多万个公开声音模型,年化经常性收入约 1200万美元,其中大约一半来自企业客户。
到2026年7月,公司公布的用户数增加到 800万以上,年化经常性收入达到2100万美元。
企业和开发者业务占收入的比例,也从此前约一半增加到三分之二。
换句话说,在大约四个月时间里,公司披露的年化收入速度从 1200万美元增加到了 2100万美元。
同期,Fish Audio完成了五个模型:
四个负责把文字变成声音,一个负责把声音转回文字。
核心团队也从3人增加到22人。
这样的增长并不是单一订阅产品带来的,Fish Audio现在主要有三种收费方式:
面向普通创作者,它提供按月或按年付费的订阅套餐,额度从每月约200分钟到数千分钟不等。
面向开发者,它按照文字数量和接口使用量收费,方便其他应用把声音生成能力接入自己的产品。
面向企业,它提供本地部署、零数据保留、团队权限和定制化服务,价格由双方单独商议。
因此,平台上的免费用户和创作者不一定直接贡献大部分收入,但他们帮助Fish Audio 积累声音、测试模型和扩大知名度。
到了企业客户这里,公司再把这些能力包装成更加稳定、低延迟和符合安全要求的基础服务。
为什么做数字人的 HeyGen 也开始使用它
面向个人创作者时,声音生成慢几秒,影响可能并不大。
但到了企业场景,要求会完全不同。
例如,HeyGen 需要给它的 AI 数字人配音。
声音不仅要自然,还要与人物口型、视频节奏和不同语言版本相匹配。
游戏公司需要同一个角色在不同情节里保持一致的音色,同时表现高兴、恐惧、受伤和愤怒。
AI 电话客服则需要尽快开始说话,如果用户提问以后等待两三秒才听到回答,整段对话会显得很不自然。
Fish Audio 目前披露的客户和合作方包括 HeyGen、Retell、LiveKit、Sanas、OpenArt 和 Telnyx,覆盖数字人、语音智能体、内容创作和通信服务等场景。
Fish Audio 为这些客户提供的并不只是一个声音列表。
企业可以通过接口控制语速、情绪和发音,也可以把模型部署在自己的基础设施中,不把客户的文字和录音长期保存到外部服务器。
公司还专门强调中文、日语、韩语和粤语等亚洲语言。
许多语音模型首先在标准美式英语上训练,换成带口音的英语或者中日韩混合表达时,效果可能下降。
Fish Audio 则试图利用全球用户产生的反馈,补足这些语言和口音。
这也是它面对 ElevenLabs 等成熟对手时选择的路线:
不只比较某一句演示音频是否像真人,而是同时竞争情感控制、多语言、延迟、成本以及企业部署能力。
200万个声音既是优势,也带来了麻烦
允许用户自由上传声音,是 Fish Audio 迅速扩大社区声音库的关键。
但问题也出在这里。
2026年5月,多名职业配音演员在社交平台上表示,自己的声音在未经允许的情况下,被他人上传到了Fish Audio。
英国配音演员 Justine Harris 称,平台上出现了一个模仿她的声音模型,已经被使用超过 1000次。
她还发现,至少有5名同行遭遇了类似情况。
这并不一定意味着 Fish Audio 公司主动上传了这些声音。
但问题在于,平台过去允许用户上传参考音频,却很难在上传瞬间判断:
录音里的人是否同意;上传者有没有授权;这个声音属于上传者本人,还是来自电影、广告、广播和有声书。
Fish Audio 当时已经提供投诉和下架流程,但多名配音演员表示,提交证明、验证身份和等待处理需要几天时间。
Rissa 随后回复称,相关声音已经移除;公司在此前一个月里,已经删除了100多个被举报或违反政策的社区声音模型。
公司此后更新了声音所有权投诉流程。
权利人可以提交原始录音、合同、公开职业资料,并完成一段实时声音验证。
Rissa 表示,新流程在完成身份验证后,可以在几分钟内移除相关声音;Fish Audio 自己的说明则显示,每项争议仍然需要工作人员审核。
但这个机制仍然主要是事后处理。
在配音演员发现并投诉以前,未经授权的声音依然可能已经被使用。
这也是所有开放式声音克隆平台都要面对的难题:
平台可以要求用户勾选“我拥有授权”,却很难仅凭几秒录音,就自动判断上传者是否真的拥有这段声音。
Fish Audio 做出的,其实是三层产品
把 Fish Audio 只理解成一个文字转语音工具,可能会漏掉它增长的主要结构。
它现在有三层产品:
第一层是开源模型。
开发者可以下载、研究和部署,社区帮助公司快速发现模型问题。
第二层是面向创作者的在线平台。
用户可以生成音频、克隆声音,并从200多万个社区模型中选择角色。
第三层是面向企业的接口和私有化部署。
数字人、游戏、AI客服和语音应用可以把 Fish Audio 放进自己的产品里,并按使用量或合同付费。
这三层之间互相提供资源。
开源带来开发者,社区产生声音和内容,内容带来更多用户,用户的使用又帮助改进模型。
模型和基础设施成熟以后,企业客户开始贡献更高的收入。
这解释了为什么一家只有22名核心成员的公司,能够在一年多的商业化过程中做到 800万用户和 2100万美元年化收入。
以上,祝你今天开心。

