向AI转型的程序员都关注公众号 机器学习AI算法工程
导读
2026 年 10 月，腾讯混元发布并开源同声传译模型 Hy-SimulMT，支持中英双向语音到语音实时翻译：音频持续输入，模型边听边译，同步给出译文文字与语音，还能实时克隆说话人音色。在 RealSI 长音频评测中，它的 StreamLAAL 约 3 秒，为参评系统最低，GEMBA 质量分高于所对比的开源模型，并超过 5 个商用 API 中的 4 个。这次开放的除权重外还有 SimulInfer 推理服务、SimulTrain 训练工具和 6 个模型版本。
把「等说完再翻」改成「边听边译」
同声传译的难点不在语言转换本身，而在说话人还在讲的时候就要理解并组织译文。多等一会儿，语义更完整，听众却要多等；更早开口，对增量理解和译文生成的要求就更高。
Hy-SimulMT 处理的正是这条权衡：把输入当成连续到达的音频流，边听边译，而不是等一个完整句子或整段语音结束。官方给出的能力组合是中英双向、文字与语音同步输出，以及实时音色克隆——英文转中文的演示里有三位说话人，模型分别还原了各自的声音特点，听者能分清谁在讲话。
广东外语外贸大学高级翻译学院副院长王巍巍在官方测评中把它的延迟控制方式概括为「先开口、后修补」：系统先输出译文，再回头修正，修补的听感接近译员的自我修正。这比单纯报一个延迟数字更能说明同传模型实际怎么工作。
语音输出和音色克隆需要另外配置 TTS 服务，仓库本身不自带。仓库里放出的两段演示视频是离线回放，官方在说明里特别注明播放节奏不能当作实时延迟测量。模型同时已在「腾讯 Hy 翻译」App 首发，可免费用。
连续音频流进入后，模型先给出译文再修补，文字与语音分别输出
30B 总参数，每个 token 只走 8 个专家
模型名里的「30B-A3B」可以从官方 config.json 里读出来源。架构是 HYV3SpeechForCausalLM（model_type 为 hy_v3），48 层、隐藏维度 2048、32 个注意力头配 4 个 KV 头，最大位置编码 262144，即 256K 上下文。
这是一个 MoE 结构：128 个路由专家加 1 个共享专家，每个 token 只激活 8 个，第一层保持 dense（first_k_dense_replace=1）。8/128 意味着每次前向只走 6.25% 的路由专家，对应「30B 总参数、约 3B 激活」的命名。
音频侧是 24 层编码器，输入 128 维 mel 特征、16 kHz 采样、hop length 160。配置里 max_samples 为 480000，按 16 kHz 折算正好是 30 秒单次音频上限——这与后面 SGLang-Omni 路线文档里「单请求最多 30 秒、超长直接拒绝而非截断」的限制对得上。
官方一次放出 6 个权重版本，按输出模式和精度分两组：
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
部署时不用在界面上选输出模式，加载哪个权重就决定显不显示源文，这一点由 SimulInfer 自动适配。
延迟压到约 3 秒，质量没有跟着掉
RealSI 是业界常用的长音频开源评测集。官方把多个开源同传模型和商用 API 放在同一张图上：横轴 StreamLAAL，衡量译文相对输入音频的流式滞后秒数，越低越好；纵轴是 GEMBA 翻译质量分，越高越好（混元公众号注明打分模型为 GPT6.1-Sol）。
Hy-SimulMT 落在约 3 秒的位置，是图中参评系统里最低的一档；GEMBA 分数高于所有对比开源模型，也超过 5 个商用 API 中的 4 个。
StreamLAAL 衡量的是整体流式滞后，不等同于首次开口延迟，官方 README 专门标注了这一点。所以「响应 3 秒」更适合理解为译文跟随说话人的节奏，而不是按下按钮后等 3 秒才出第一个字。
四个短音频基准：有赢，也有输
除了长音频，官方还在 FLEURS、CoVoST2、ACL6060、RealSI-Sentence 四个公开短音频测试集上做了对比，完整结果如下（分数越高越好）：
|
|
|
|
|
|
|---|---|---|---|---|
| Hy-SimulMT |
|
|
|
|
|
|
92.4 |
|
82.6 |
|
|
|
|
82.1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
把范围限定在开源模型，Hy-SimulMT 在 FLEURS、ACL6060、RealSI-Sentence 三列都是最高，其中 RealSI-Sentence 的 84.7 是全表第一名。但如果把所有参评系统算进来，FLEURS 的 92.4（Gemini3.5）、CoVoST2 的 82.1（Qwen3.8）、ACL6060 的 82.6（Gemini3.5）三列最高分仍属商用 API，CoVoST2 上 75.5 与 82.1 的差距是这套结果里最明显的一处短板。
蓝色为 Hy-SimulMT，灰色为该项全表最高分；RealSI-Sentence 上它就是最高分
找 6 位持证同传专家做对照
公开基准之外，团队收集了 18 段 2026 年 9 月以后新出现的中英文网络音频，每段约 6 分钟，覆盖软件与 AI、医学、制造与能源、自然科学、农业与食品、商务管理、法律、教育、文化与文旅、体育与生活十个领域，场景包括演讲、访谈和会议。
对照组是 6 位有多年的实战经验的同传译员：3 位持 CATTI 一级口译证书、3 位持二级，每个等级取 3 人中的最高分参与比较。官方给出的延迟对比是 Hy-SimulMT 3.3 秒、CATTI 一级 4.5 秒、CATTI 二级 4.7 秒，翻译质量在本次测试中达到专家组水平。
18 段真实音频对照中的 StreamLAAL，越低越好
团队自己在 README 里把结论限定在「本次样本、参评译员与评测设置」，并说明它不构成对语音质量、音色相似度等维度的全面评估。仓库还附了 4 段与人类译员的对照视频，可直接看信息传达、响应时机和译语组织的差别。
三条部署路线，硬件门槛差很多
仓库给了三种跑法。最完整的是官方主推的 vLLM + SimulInfer：Linux、Python 3.12+、NVIDIA GPU，vLLM 需 ≥0.31 且支持 HYV3ForCausalLM。一条命令装依赖、拉模型并起服务：
git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git
cd Hy-SimulMT/SimulInfer
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave模型也可以先从 ModelScope 下到本地再挂路径：
pip install modelscope
modelscope download --model Tencent-Hunyuan/Hy-SimulMT-30B-A3B \
--local_dir Tencent-Hunyuan/Hy-SimulMT-30B-A3B
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B默认 8080 是网页与 API 端口，8800 是模型服务端口；两卡部署在命令末尾加 --gpus 0,1 --tensor-parallel-size 2。等终端出现 Ready: http://127.0.0.1:8080/ 后，浏览器里选方向、传音频或开麦克风即可。命令行也能流式取译文：
curl -N http://127.0.0.1:8080/translate/stream \
-F direction=en-zh -F file=@audio.wav
# 中译英把 direction 改成 zh-en
.simulinfer/app-env/bin/simulinfer-client audio.wav --url http://127.0.0.1:8080远程使用麦克风需要 HTTPS；TTS 启用后，同一条命令会把合成语音存到 outputs/translated.wav。配置可从 deploy.example.toml 复制成 deploy.toml 后改模型、GPU、端口和 TTS 连接，/docs 有 API 文档。
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
SGLang-Omni 这条路是第三方运行时，走 OpenAI 兼容接口和实时 WebSocket，BF16 权重约占 57 GiB，SGLang-Omni 的 cookbook 给出的实测是在 H200、batch size 1 下最多比 Transformers 快 6.5 倍；实时通道每 1.6 秒刷新一次翻译假设，30 秒后重置上下文，且明确说明不复制 SimulInfer 的 VAD 与恢复策略。它只覆盖 BF16 的 translation-only 权重，FP8、GGUF 和 Interleave 不在支持范围内。
按手上权重格式选后端：完整能力走 SimulInfer，轻量走 GGUF，服务化走 SGLang-Omni
想继续训练，用 SimulTrain
仓库里的 SimulTrain 支持从已下载的 Hy-SimulMT checkpoint 继续训练，模型路径、数据集、GPU 和输出目录都写在 SimulTrain/.env 里，官方建议单独建一个 Python 环境，具体数据格式和启动命令在 SimulTrain/README.md。对要在特定行业语料上微调的团队，这比只拿到推理权重更实用。
参考资料
项目仓库：github.com/Tencent-Hunyuan/Hy-SimulMT
模型合集：
huggingface.co/collections/tencent/hy-simulmt · modelscope.cn/collections/Tencent-Hunyuan/Hy-SimulMT
推理服务文档：SimulInfer/README.md
SGLang-Omni 接入：Hy-SimulMT cookbook
机器学习算法AI大数据技术
搜索公众号添加： datanlp
长按图片，识别二维码
阅读过本文的人还看了以下文章：
【模型高效部署】tensorrtx 深度解读，yolov11高性能推理实战案例
实时语义分割ENet算法，提取书本/票据边缘
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主
《大语言模型》PDF下载
动手学深度学习-（李沐）PyTorch版本
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《基于深度学习的自然语言处理》中/英PDF
Deep Learning 中文版初版-周志华团队
【全套视频课】最全的目标检测算法系列讲解，通俗易懂！
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
python就业班学习视频，从入门到实战项目
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
《深度学习之pytorch》pdf+附书源码
《Python数据分析与挖掘实战》PDF+完整源码
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
