大数跨境

3秒录音克隆声音,全程本地免费,ElevenLabs慌了

3秒录音克隆声音,全程本地免费,ElevenLabs慌了 AI大风歌
2026-09-06
0
导读:3秒录音克隆声音,全程本地免费,ElevenLabs慌了

3秒录音克隆声音,全程本地免费,ElevenLabs慌了


 

想给视频配个音,一开口发现自己这声音像没睡醒的播音员;想用AI克隆声音吧,ElevenLabs一查价格,订阅费每月几十美金,还按字符计费,多生成两句都心疼。更膈应的是,你的声音样本要上传到别人服务器——声音这东西可是生物特征,交出去总有点慌。

 

今天这个项目,就是冲着这个痛点来的:VoiceStudio,开源、免费、完全本地运行的ElevenLabs替代品。今天一天涨了1600多颗星,总星数冲到1.67万,GitHub Trending上蹿得最快的AI工具,没有之一。

 

一句话说清它是什么

 

VoiceStudio(原名OmniVoice-Studio)是一个桌面应用,把声音克隆、声音设计、视频配音、有声书制作、语音听写全部装进你本机。不需要账号,不需要API key,不需要订阅,没有用量计费。你的声音、你的文稿、你生成的音频,一个字节都不出你的电脑。

 

这不是一个玩具demo,看看它的功能清单你就知道这项目有多卷:

 

●16个TTS引擎 + 11个ASR引擎,646种语言目录

●3秒录音零样本克隆声音,5到15秒效果更好

●视频配音一条龙:转录、翻译、保留说话人、合成、直接导出MP4

●有声书制作:导入EPUB/PDF,自动分章、多角色配音、导出.m4b

●系统级听写:在任何应用里按快捷键,说话变文字,自动粘贴,用完即走

●支持macOS(Apple Silicon)、Windows、Linux、Docker,纯CPU也能跑

 

硬核解读:这项目狠在哪

 

3秒克隆声音,零样本

 

传统的语音克隆要么录几十分钟素材训练模型,要么依赖云端大模型。VoiceStudio用的是零样本克隆:拖进去一段3秒的干净录音,输入文字,点生成,完事。你的声音在你自己的显卡(或者CPU)上合成,不经过任何服务器。

 

646种语言是什么概念?就是你用中文录的音,可以让"你"说斯瓦希里语。当然,README也很诚实地标注了:这是语言目录数量,实际效果取决于你选的引擎。

 

声音设计:没有录音也能"造"一个声音

 

比克隆更有意思的是Voice Design。没有参考音频?直接用文字描述:

 

●"清晰、权威的美国新闻主播音色"

●"温暖生动的英式有声书讲述音色"

●年龄、口音、音高、语速、情感,逐项可调

 

相当于给你的内容配了个"虚拟声优招聘平台",想要什么声线描述什么声线。

 

视频配音:把YouTube链接扔进去就行

 

这是最实用的工作流。丢一个视频链接或本地文件进去,它自动完成:转录原声、翻译文本、用Pyannote分离不同说话人、给每个说话人配上克隆音轨、合成导出。批量队列还能一次拖50个视频,然后你去睡觉,醒来收获一堆多语言版本。

 

个人开发者做内容出海,这套流程以前要花多少钱?现在是一度电的事。

 

架构上也是狠活

 

拆开看技术栈:Tauri v2桌面壳(Rust写的,体积小)、React前端、FastAPI后端,全部走localhost:3900环回地址。GPU自动检测路由:CUDA、Apple Silicon的MPS/MLX、Linux的ROCm都认,显存不够自动卸载到CPU,而且承诺"绝不静默降级"。

 

细节更是拉满:

 

●AudioSeal音频水印(Meta家的),生成的音频可以打上不可见水印,压缩后还能检测

●Demucs人声分离,把语音从背景音乐里抠出来

●声音可以打包成.ovsvoice文件导出,自带身份和水印,方便迁移

●无限长TTS,按句分块生成,WebSocket流式输出,没有长度上限

 

对开发者:OpenAI兼容API + MCP Server

 

这是我最想夸的一点。它不只是个桌面软件,还是一个本地语音平台:

 

●OpenAI兼容的audio API:把base_url从api.openai.com改成localhost:3900,现有的OpenAI SDK代码零改动直接用

●MCP Server:Claude Desktop、Cursor、各种AI Agent直接挂载调用

●官方Agent技能包:npx skills add debpalash/VoiceStudio,一行命令给Claude Code、Codex、Cursor装上语音合成和转录能力

 

也就是说,你的AI Agent工作流里的"语音"环节,从此不用给云厂商交一分钱过路费。

 

实战:十分钟上手

 

安装

 

三个平台都是下载即用,去Releases页面下对应安装包:

 

docker run -d -p 127.0.0.1:3900:3900 \
  -v omnivoice-data:/app/omnivoice_data \
  --name voicestudio \
  palashdeb/omnivoice-studio:stable

 

首次启动会自动搭Python环境、下载默认模型,等几分钟,之后即开即用。

 

克隆你的第一个声音

 

1. 打开应用,进入Voice Cloning

2. 拖入一段3秒以上的干净人声录音

3. 输入文字,选语言,点Generate

 

用Python调用本地API

 

from openai import OpenAI


client = OpenAI(base_url="http://localhost:3900/v1", api_key="local")

with client.audio.speech.with_streaming_response.create(
    model="tts-1",
    voice="<你的声音档案ID>",
    input="这段声音是在我自己的电脑上生成的。",
    response_format="wav",
) as response:
    response.stream_to_file("speech.wav")

 

或者用cURL测一把

 

curl http://localhost:3900/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "tts-1", "input": "本地生成,免费,隐私安全", "voice": "default", "response_format": "wav"}' \
  --output speech.wav

 

老司机辣评

 

优点

 

●真免费真本地:没有账号墙、没有按量计费、没有云端上传,隐私党和重度用户的福音

●功能完整度离谱:克隆、设计、配音、有声书、听写、水印、分离,一个桌面应用全干了,像个"语音界的瑞士军刀"

●硬件门槛友好:最低8GB内存纯CPU能跑,GPU只是加速器不是门票

●开发者生态到位:OpenAI兼容API、MCP、Agent技能包,明显是奔着"本地语音基础设施"去的,不是做完就跑的玩具

 

局限性

 

●活跃Beta阶段:官方自己都挂警告,版本之间可能出故障,追求稳定得盯Release页

●许可证有坑:应用本体AGPL-3.0,但默认引擎OmniVoice的模型权重是CC-BY-NC(禁止商用)。商用前必须逐个审查引擎和分词器的许可,这步不能偷懒

●Intel Mac被抛弃:不支持本地后端,只能连远程服务器

●Linux要求glibc 2.39+:老版本Ubuntu直接歇菜,得上新系统

●速度和音质看你硬件:云端API是机房级算力,你本机是啥就是啥,RTF差距客观存在

●646种语言是目录数:实际每个引擎覆盖的语言和质量参差不齐,小语种别抱太高期待

 

适用场景

 

●适合:隐私敏感的个人和企业内网、高频大批量配音(云API按字符计费根本用不起)、内容出海做本地化、想给AI Agent接上语音能力的开发者

●不适合:要求广播级音质且不能折腾的商用交付(许可证+质量方差双重约束)、Intel Mac用户、还在用老Linux的服务器

 

我的判断

 

语音合成正在复刻图像生成的老路:当年Midjourney收订阅费,Stable Diffusion用开源本地化把市场撕开一道口子。VoiceStudio干的就是这个事——今天涨1600多星不是没原因的,它踩中了三个情绪:不想付订阅费、不想上传声音、不想被用量表支配。

 

NC许可证是它商用路上最大的暗礁,但对个人创作者来说,这就是2026年语音工具的"真香"选项。建议先拿Docker跑起来,克隆一下自己的声音,听听"另一个你"念绕口令,你会回来点赞的。

 


 

项目地址:https://github.com/debpalash/VoiceStudio

 

【声明】内容源于网络
0
0
AI大风歌
1234
内容 373
粉丝 0
AI大风歌 1234
总阅读0
粉丝0
内容373