大数跨境

55.9K+ Star!VibeVoice:支持60分钟长音频识别与90分钟多角色语音合成

55.9K+ Star!VibeVoice:支持60分钟长音频识别与90分钟多角色语音合成 AIGC创想者
2026-11-13
5
导读:VibeVoice 是微软开源的前沿语音 AI 模型家族,涵盖语音识别(ASR)和语音合成(TTS)两大方向。

VibeVoice简介

AI/ML

VibeVoice 是微软开源的前沿语音 AI 模型家族,涵盖语音识别(ASR)和语音合成(TTS)两大方向。它解决了传统语音模型在处理长音频时上下文丢失、多说话人混淆以及计算效率低下的问题,能够在单次推理中处理长达 60 分钟的录音并输出包含说话人、时间戳和内容的结构化文本,同时支持长达 90 分钟的多角色对话语音生成。

它采用创新的连续语音分词器,以 7.5 Hz 的超低帧率运行,结合大语言模型理解文本上下文与对话流,并通过扩散头生成高保真声学细节。此外,还提供了支持流式输入的轻量级实时 TTS 模型,以及可在纯 CPU 环境下实时运行的边缘端 ASR 推理引擎。

亮点特性

01超长上下文处理能力

ASR 支持单次 60 分钟音频输入,TTS 支持单次 90 分钟语音生成,突破了传统模型需切片处理的限制。

02极低帧率连续分词器

采用 7.5 Hz 的声学与语义分词器,在保留高保真音质的同时大幅降低了长序列的计算开销。

03丰富的输出结构

ASR 模型原生联合执行语音识别、说话人分离和时间戳生成,直接输出“谁在何时说了什么”的结构化结果。

04极致的边缘部署优化

提供基于异构量化(I8_S + I2_S)的 BitNet 版本,使 7B 模型能在 3 个以上 CPU 线程上实现 RTF < 1 的实时推理。

05流式交互支持

同时提供流式 ASR(边说边转写)和流式 TTS(首包延迟约 300 毫秒),满足实时对话场景需求。

使用场景

场景 1播客与会议录音转写

一次性处理长达一小时的多人对话录音,自动区分不同说话人并生成带有时间戳的结构化文稿,无需手动切分音频片段。

场景 2有声书与长视频配音

利用多角色语音合成功能,为长篇故事或剧本自动生成最多四个不同音色的连贯对话音频,保持长时间的情感与音色一致性。

场景 3边缘设备离线语音识别

通过 BitNet 量化技术将 7B 参数的 ASR 模型压缩至 1.58GB,在无需 GPU 的普通 CPU 设备上实现实时语音转文字,适用于隐私要求高的本地化场景。

使用环境

编程语言
Python 3.10+

快速上手

环境准备

建议使用 Python 3.10+ 并安装 PyTorch 及 Hugging Face Transformers 库。

●●●
pip install torch transformers accelerate

1. 语音识别 (ASR) 快速体验

VibeVoice-ASR 已集成到 Hugging Face Transformers 中,可直接加载使用:

●●●
from transformers importAutoModelForSpeechSeq2Seq,AutoProcessor
import torchaudio

# 加载模型与处理器
model_id="microsoft/VibeVoice-ASR"
processor=AutoProcessor.from_pretrained(model_id)
model=AutoModelForSpeechSeq2Seq.from_pretrained(model_id,device_map="auto")

# 读取音频文件
audio,sr=torchaudio.load("your_long_audio.wav")

# 推理(支持自定义热词提示)
inputs=processor(audio.squeeze(),sampling_rate=sr,return_tensors="pt",prompt="Hotwords: VibeVoice, Microsoft")
outputs=model.generate(**inputs)

# 获取包含说话人和时间戳的结构化文本
transcription=processor.batch_decode(outputs,skip_special_tokens=True)
print(transcription[0])

2. 实时语音合成 (Realtime TTS) 快速体验

推荐使用官方提供的 Colab Notebook 进行零配置体验:
 打开 Colab Demo

3. 边缘端 CPU 推理 (BitNet ASR)

对于无 GPU 环境,可使用专门的 C++ 推理引擎:

●●●
git clone https://github.com/microsoft/VibeASR.cpp
cd VibeASR.cpp
# 下载量化后的 1.58GB 模型并按照 README 编译运行

替代方案

对比 1Whisper

OpenAI 开源的经典 ASR 模型,生态极其成熟且易于部署,但原生不支持长音频单次推理和说话人分离,需配合外部工具链使用。

对比 2XTTS (Coqui)

优秀的开源多语言 TTS 模型,支持声音克隆,但在超长文本(如 90 分钟)的单次连贯生成和多角色对话控制方面不及 VibeVoice-TTS。

对比 3pyannote.audio

业界领先的开源说话人分离工具,通常作为独立模块与 ASR 模型串联使用,而 VibeVoice-ASR 将其原生集成在了单一模型中。

相关资源

项目地址github.com/microsoft/VibeVoice

欢迎关注我,持续获取更多内容,感谢赞&在看~

【声明】内容源于网络
0
0
AIGC创想者
拥抱科技创新,拥抱AI,探索无限可能!
内容 914
粉丝 0
AIGC创想者 拥抱科技创新,拥抱AI,探索无限可能!
总阅读58.6k
粉丝0
内容914