10 个关键问题 Q&A
-
Q：本次更新核心新增能力是什么？ A：Google AI Edge Gallery 上线完全离线的端侧 ASR 自动语音识别与 TTS 文本转语音。 -
Q：端侧语音模型和 Gemini Nano/Gemma4 是什么关系？ A：轻量化语音模型和 SLM 级联，ASR 把语音转文字送入大模型，TTS 把模型输出转为语音。 -
Q：Android ML Kit 方案会不会增大 APP 包体积？ A：不会，模型内置操作系统，APK 增加 0MB。 -
Q：ML Kit 端侧 ASR 支持多少语种，识别精度如何？ A：支持 100 + 语言，FLEURS 数据集 WER 8.0%–9.0%。 -
Q：ML Kit TTS 首音频延迟和合成速度是多少？ A：首响应约 100ms，最高 50 倍实时音频合成速度。 -
Q：MediaPipe Tasks 支持哪些平台？ A：iOS、macOS、Windows、Linux、Web 浏览器。 -
Q：.litertlm 是什么？ A：LiteRT 的模型打包格式，把 ASR/TTS 所需子图、分词器、音素词典等打包为单文件。 -
Q：XR 语言学习助手的特色是什么？ A：相机实景识别 + 语音问答，离线双语 TTS 自动切换语种，适配免手持智能眼镜。 -
Q：AI Chat 语音朗读有什么特殊处理逻辑？ A：自动剔除 Markdown，跳过代码块、表格，按句子调度合成，避免算力争抢。 -
Q：三条技术路线（ML Kit / MediaPipe / LiteRT）怎么选？ A：Android 旗舰优先 ML Kit；快速跨平台选 MediaPipe；底层自定义、自研模型用 LiteRT。
作者：Google AI Edge 团队、Android ML 团队
2026 年 11 月 10 日
今天，我们正式在Google AI Edge Gallery中推出**端侧自动语音识别（ASR）与文本转语音（TTS）**能力。语音往往是手机、可穿戴设备上和 AI 交互最自然的方式。紧凑语音模型架构领域的最新进展，如今让高精度语音模型可以完全在设备本地运行，内存占用小、延迟低，并且全程离线可用。我们将这些轻量化语音模型搭配端侧小语言模型（SLM），例如 Gemini Nano、Gemma 4，开发者由此可以打造应用：一边实时转写用户语音，一边在本地生成自然的语音回复。
本次发布融合了谷歌自研系统语音模型与开源权重生态两大方向的重大进展：
Android 平台：ML Kit 带来更快、更精准的系统语音模型
依托谷歌最新端侧语音模型，ML Kit 支持超 100 种语言的高精度多语言转写，转写速度可达实时音频的 10 倍。配套的多步扩散式 TTS 模型，首音响应仅约 100 毫秒，可生成 24kHz 音频，合成速度最高可达实时音频的 50 倍。两套模型都内置在系统中，不会增加你的 APK 安装包体积。
Web 端、桌面端及其他平台：基于 MediaPipe Tasks 与 LiteRT 的跨平台开源语音方案
面向跨平台应用，我们优化了全新的 .litertlm 语音模型包，包括 Parakeet-TDT 0.6B、PocketTTS 100M、Kokoro-82M、Phonon 31M。它们支持实时流式转写与低延迟语音合成，内存占用紧凑，能够和端侧小语言模型并行稳定运行，不会出现算力争抢。
下文将介绍这套本地语音链路如何驱动全新示例应用XR 语言学习助手、升级 Google AI Edge Gallery 的 AI 对话功能，以及开发者当下如何基于这些 API 和模型进行开发。
多模态语音教学：XR 语言学习助手
在外出旅行时学习外语，场景往往在地铁站、热闹集市或是境外地区，经常没有 Wi‑Fi 和漫游网络。为展示视觉、语言、语音模型可以完全在手机本地协同工作，无需联网，我们在 Google AI Edge Gallery 中开发了 XR 语言学习助手示例。你只需把摄像头对准陌生物品或者菜单，开口提问：“这是什么？我要怎么点这个？”，就能立刻听到母语解释，同时听到地道的目标语言发音。
纯端侧完成视觉识别、语音交互与语言学习
-
实时视觉关联 + 流式语音输入：将摄像头对准路牌、菜单、物品，直接语音提问。在 Android 设备上，端侧 ASR 会把你的语音问题连同画面帧，实时流式送入 Gemini Nano；其他平台则送入 Gemma 4，一次性完成处理。 -
结构化输出，支持双语 TTS 自动语码切换：模型按照结构化输出格式，用你的母语描述场景，同时单独标记外语短语。TTS 链路可以在同一句话里无缝切换音色与口音，从母语切换到目标语言，界面同步展示单词卡片。
适配智能眼镜
推理计算在配对手机上本地完成，该体验既可以独立在手机上使用，也自然延伸到免手持智能眼镜场景。如果你想了解我们如何把语言学习助手适配智能眼镜，可以观看我们在 Android 开发者峰会的分享：https://youtu.be/tW3mg0iyi_w?si=Qg5lsPUiYCRNg4_y
AI 对话：流式语音听写与朗读播放
除 XR 语言学习助手之外，我们还把 ASR 和 TTS 直接内置到 Google AI Edge Gallery 的核心 AI 对话功能中，让 Gemini Nano、Gemma 4 这类端侧小模型拥有离线语音交互入口，随时随地语音对话。
配套演示视频：AI 对话语音输入 + 语音输出
句子级同步朗读、语音参数可配置
-
在模型管理页统一管理 ASR/TTS：在这里选择可用的语音识别、语音合成链路、预设音色，下载对应语言包。 -
高亮同步朗读：开启「自动 TTS 朗读」，或者点击回复旁的喇叭按钮，唤起悬浮朗读控件。朗读时实时高亮正在播报的句子，点击句子即可跳转播放。 -
对话语音输出参考实现：开源代码库提供方案，自动剔除 Markdown 格式、跳过代码块、表格这类不需要朗读的内容，按句子调度语音合成，避免大模型生成 token 时争抢算力和内存。
底层方案：基于 ML Kit、MediaPipe Tasks 与 LiteRT 开发
Gemma 4 这类多模态模型虽然可以直接处理音频输入，但我们提供模块化方案：把大语言模型和独立轻量化语音模型级联，以此优化延迟、提升灵活性。Google AI Edge Gallery 开源仓库给出了推荐方案：Android 旗舰机型优先使用 ML Kit；跨平台、需要接入开源模型时选用 MediaPipe Tasks 和 LiteRT。
面向 Android 旗舰设备：ML Kit 开发
面向 Android 开发者，ML Kit 的生成式语音识别与语音合成 API 开箱即用，是平台原生标准化方案。底层语音模型由 AICore 和谷歌端侧语音服务托管，开发者不需要手动管理模型下载，也不用担心安装包膨胀。应用还能自动享受 NPU、TPU（设备支持时）的硬件加速，并且模型可以在后台静默升级。
-
端侧语音识别（Android）：实时流式返回中间候选文本与最终识别结果，支持设备麦克风输入，也支持智能眼镜等外部音频流。最新端侧 ASR 在 FLEURS 数据集上，100 + 语言的词错误率（WER）达到 8.0%–9.0%；转写速度是音频实时速度的 10 倍（3 秒语音大约仅需 300 毫秒），端到端语音翻译等待时间缩短 35%–44%。 -
端侧语音合成（Android）：基于紧凑多步扩散模型，NPU 加速运行。首音响应约 100 毫秒，提供 8 种富有表现力的音色、覆盖 21 个地区语言，最高合成速度可达实时音频的 50 倍。一段 27 秒的文本仅需约 500 毫秒即可生成；对比传统自回归 TTS，设备功耗降低 50% 以上，内置提示音（earcon）能力。
跨平台开发：MediaPipe Tasks
跨平台应用接入 ASR/TTS，通常需要自行处理音频分帧、语音活动检测（VAD）和复杂解码链路。MediaPipe Tasks 提供一站式统一 ASR、TTS API，覆盖 iOS、macOS、Windows、Linux、网页端，把音频预处理、音频流路由、平台音频管理封装成简洁高层接口：
-
音频转写器：自动处理音频分帧、可配置 VAD、解码逻辑。支持实时流式识别、整句批量识别、混合模式（边说边出字，说完后修正整句结果），原生支持 Parakeet-TDT 0.6B 等开源模型，浏览器内可直接运行示例。 -
文本转语音：开箱即用的合成接口，支持音色选择、低延迟流式音频输出，原生搭载多款开源模型：多语言模型 PocketTTS 100M、Kokoro-82M；超轻量英文模型 Phonon 31M，多数设备上首音延迟低于 100 毫秒，浏览器内可直接运行示例。
LiteRT：支撑跨平台语音、灵活接入各类模型
ML Kit 与 MediaPipe Tasks 底层都依托 LiteRT—— 谷歌高性能端侧 AI 推理框架。如果你需要对语音链路做更精细的控制、使用自定义模型结构，可以直接基于 LiteRT 开发。
语音模型通常包含多个子图与配套资源：ASR 需要编码器 / 解码器子图、分词器；TTS 需要音素字典、音色嵌入、声码器。现在所有依赖资源打包为单个 .litertlm 文件，部署十分便捷。我们已经提供可直接使用的模型包：Parakeet-TDT 0.6B（多语言 ASR）、PocketTTS（多语言 TTS）、Phonon 31M 英文轻量 TTS、Kokoro-82M（多语言 TTS）。除此之外，Hugging Face 上的 litert-community 社区已有上万关注者，模型库持续扩充，包含 Whisper、Qwen3-ASR、Moonshine 语音识别，以及 Qwen3-TTS、Matcha 语音合成等模型。想要自定义开发、接入更多开源语音模型，LiteRT 提供丰富开发套件，后续还会持续更新。
即刻上手
本地语音链路，让端侧小模型不再局限于文字对话，打造随时随地可用、完全离线的语音优先交互。你现在就可以体验这些能力，或是集成到自己应用中：
-
体验全新语音功能：在 Google Play、App Store 下载最新版 Google AI Edge Gallery，体验 XR 语言学习助手与语音版 AI 对话。 -
查阅、改造开源代码：访问 GitHub 仓库查看参考实现；你也可以把仓库地址交给 AI 编程助手，快速复用流式 ASR、双语 TTS 语码切换、句子同步朗读链路。 -
开始开发：Android 集成查阅 ML Kit 语音文档；跨平台一站式 API 看 MediaPipe Tasks；想要底层灵活控制，使用 LiteRT，并从 Hugging Face litert-community 下载现成 .litertlm模型包。你还可以在谷歌云开发者设备平台上，在 200 多款真实硬件上测试、基准评测你的端侧语音链路。 -
观看 Android 开发者峰会分享：前往 YouTube Android Developers 频道，了解智能眼镜适配方案和工程实践技巧。
致谢（按字母排序）
特别感谢为本项目做出重要贡献的各位：Alice Zheng, Ajay Dudani, Alex Kanaukou, Amy Zeppenfeld, Byungchul Kim, Cheng Yang, Chintan Parikh, Chris Parsons, Cormac Brick, David Chou, Dong Chen, Geonsun Lee, Glenn Cameron, Hriday Chhabria, Ian Ballantyne, Ireneu Pla, James O’Donnell, Jamieson Pryor, Jason Poon, Jenn Lee, Jianing Wei, Jing Jin, Jingxiao Zheng, Jingyu Shi, Karthik Thirumalai, Kristen Wright, Lu Wang, Marius Kintel, Matthias Grundmann, Miao Wang, Mogan Shieh, Na Li, Paul Hsia, Qiumin Xu, Ravi Shankar, Rishika Sinha, Ronald Wotzlaw, Sachin Kotwani, Sandeep Patil, Sebastian Schmidt, Shao-Fu Shih, Shuangfeng Li, Suril Shah, Tiger Souvannakoumane, Tzu-Ping Chen, Weiyi Wang, Wentao Tu, Yang Yang, Yi-Chun Kuo, Yishuang Pang, Yu-che Liu, Yu-hui Chen, Yuling Liang, Zhihao Yang, Zichuan Wei.