10 个关键问题 Q&A
Q1：v0.8.0 最重要的更新是什么？ A1：MoE 稀疏模型、Realtime 语音闭环、ggml 底层引擎升级三大核心。
Q2：MoE + 稀疏注意力有什么好处？ A2：激活部分参数参与计算，减少算力消耗，更适合本地设备跑大模型。
Q3：Realtime 模块实现什么能力？ A3：端到端实时语音对话，语音输入→推理→TTS 语音输出，主打低延迟。
Q4：ggml v0.28.0 起到什么作用？ A4：底层推理后端，优化算子与内存，提升 CPU、端侧设备运行速度。
Q5：mtmd 是什么？ A5：配套工具链，用来打包、分发、调试模型，简化部署流程。
Q6：这套方案适合云端还是本地端侧？ A6：重点面向本地离线端侧，也支持轻量实时云端场景。
Q7：Realtime 自带 TTS 吗？ A7：是的，版本内置 TTS 模块，完成语音闭环。
Q8：稀疏注意力会影响输出质量吗？ A8：在设计目标范围内保持效果，换取更低延迟、更小显存占用。
Q9：主要落地场景有哪些？ A9：本地语音助手、端侧智能体、嵌入式设备离线交互。
Q10：本次更新核心目标是什么？ A10：降低实时语音大模型的落地门槛，平衡性能、延迟、部署成本。
一句话定位：这是 llama.cpp 里程碑式的多模态实时语音版本，正式对齐 OpenAI Realtime 协议、原生支持 TTS，一次性接入 LiquidAI LFM3 全系列多模态模型，同时在 MoE、稀疏注意力、多后端性能、Web UI 上做了大规模重构升级。
一、亮点（Highlights）
- LiquidAI LFM3 全家桶落地
（本次最大亮点） -
LFM3-1.7B（文本）、LFM3-VL-2B（图文）、LFM3-Audio-2B、LFM3-Omni-2B（语音 ASR+TTS + 语音对话一体化），已经对齐 HF 官方参考实现； -
LFM3-Omni 单模型同时处理语音输入、语音输出、理解，配套全新流式音频 mtmd 接口。 - 服务器新增两大重磅端点
/v1/realtime兼容 OpenAI Realtime 协议，实时对话 + 语音转录； /tts独立 POST 文本转语音接口，支持 Soprano、LFM3A 等 TTS 模型； -
意味着本地部署 llama.cpp 可以直接做和 OpenAI 一致的实时语音通话。 - 一大批新模型架构支持
DeepSeek V4.1 Flash、SenseNova U1、Beam (Reflection)、Kolibri-1、Flint、Muse Spark Open（文本 / 视觉 / 音频）、Granite Switch Decision（256 路决策头）、LiquidAI d1 决策模型、MiniCPM-OCR 1.0、Nemotron Embedding、H2O-Lightning-4B 决策模型等，覆盖推理、OCR、向量、决策路由类模型。 - ggml 升级 v0.28.0
新增 GGML_OP_TOP_K_MASK融合稀疏注意力算子；-1作为专家索引语义（跳过该专家、输出置 0）；CUDA、SYCL、OpenCL、Vulkan、Hexagon、KleidiAI 全后端大量性能优化。
二、API & mtmd 多模态接口变更（重点）
mtmd 是 llama.cpp 的多模态解码模块，本次改动非常大，面向开发者做了状态化重构
mtmd_audio_stream实验性流式音频 API，边接收 PCM 边生成 embedding，支撑实时语音； -
音频生成改为状态化： mtmd_gen_state替代旧版裸 buffer，适合长连续语音会话； mtmd_caps增加 gen_audio，新增 TTS 类型 Soprano / LFM3A，支持音频码重复惩罚；mtmd_helper_get_capabilities()：代码侧直接查询 mmproj 多模态能力； -
Chat API：支持延迟工具调用、 tool_reference内容块； -
聊天模板的 reasoning effort（推理强度）暴露给 API 可动态选择； -
CLI 强制要求：必须传 --model/-hf参数，不再隐式加载。
三、内核 Core 底层优化（MoE / 稀疏注意力 / 内存）
- MoE 缓存升级
：主机内存驻留的 MoE 专家，从简单 LRU → 50/50 SLRU 缓存，对 MoE 本地部署内存命中率提升明显； - 稀疏注意力 QSA/DSA 重构
：融合 mask 算子，剥离对 kq_mask的依赖，层间共享 k-pool 视图，是 GLM5、Qwen4exp 这类稀疏模型的关键优化； -
内存： no_alloc在全部缓存中统一生效，移出 hparams，废弃过时n_pad； -
词汇表加载优化、d2t 张量尽量留在 GPU； -
Grammar 语法约束：增加递归深度上限，防止 JSON 嵌套过深栈溢出； -
推测解码：持久化 ngram 缓存、DFlash2 概率草稿、可选 DFlash FC 输入缩放； -
Tensor Parallel：stepfun、laguna 现在支持 4–10 卡并行； -
GGUF 工具：split/export-lora/merge 校验截断张量，防止损坏 GGUF 文件。
四、多模态（mtmd）配套改动
-
音频：流式 PCM 输入、Soprano TTS、LFM3-Omni 语音链路； -
OCR：MiniCPM-OCR 1.0、lightonocr 默认原生分辨率，不再强制长边 1540； -
图像预处理对齐 torchvision：LFM2、Qwen-VL resize、分块布局对齐 HF； -
LFM2 分块参数从 GGUF 元数据读取，不再硬编码； -
修复 Gemma-4 FFN 激活问题、temporal merge 逻辑下沉到 mtmd 基类。
五、Server 服务端增强（生产部署重点）
-
Realtime 协议： response.done在缓存音频全部输出完成后发送，保证音频流完整性；同时 Realtime 支持工具调用； -
路由 Router：可配置设备内存余量，自动动态卸载模型；客户端断开信号传递给子任务，修复睡眠唤醒时重复叠加 mmproj 内存余量； -
新增 --connect参数：支持 P2P，局域网外直接访问服务； -
兼容层：Anthropic /v1/messages转发采样参数、rerank 支持结构化输入； -
修复： n>1时 completion_tokens 计数偏低、SSE 事件缺失 output_index、SWA 校验失效等 bug； -
支持 logprobs + 推测解码同时启用。
六、Web UI 大升级（开箱即用体验）
- 内置 HF Hub 模型浏览器
：直接在 UI 里浏览、下载 GGUF 模型，无组织账号的模型优先展示； -
对话能力：对话搜索、对话压缩（conversation compaction），长对话自动压缩控制上下文长度； -
模型管理器独立路由，模型详情抽屉式弹窗，不跳转页面； -
推理强度菜单从 chat template 自动生成，UI 切换； -
支持 OGG 音频附件自动转 WAV；新增 “显示工具调用中” 开关； -
大量移动端适配：修复表格、列表截断、附件预览溢出、WebKit 布局 bug；侧边栏可拖拽缩放。
七、ggml v0.28.0 后端优化清单
-
新算子： GGML_OP_TOP_K_MASK； -
算子增强：SCALE 支持非连续行视图、SUM 在 CPU/CUDA/Vulkan/WebGPU 支持非连续输入； -
CUDA：MoE top-k 融合、FFN gate/up+GLU 融合、chunked graph launch，降低图启动开销；支持 384 专家 MoE； -
SYCL：Graph record/replay； -
OpenCL：Q2_K/Q3_K 权重支持、topk、depthwise conv2d； -
Vulkan：subgroup reduction、src1 精度控制； -
Hexagon HTP：整体重构、新增 SGN/CEIL、KV-head 分片、FlashAttention 扩展； -
WebGPU：Q2_0 支持； -
KleidiAI：SVE GEMV/GEMM 内核，ARM 平台加速。
八、落地价值
✅ 对开发者：本地私有化 Realtime 语音对话、TTS 服务方案成熟，直接兼容 OpenAI 实时客户端，不用依赖云端；
✅ 对多模态：LFM3 Omni 单模型语音 + 视觉 + 文本全链路，本地端侧一体化语音聊天；
✅ 对 MoE 用户：SLRU 专家缓存、稀疏注意力融合，MoE 在 CPU / 低显存 GPU 上可用性大幅提升；
✅ 对普通用户：UI 原生 HF 下载、对话压缩、移动端修复，开箱即用体验强很多； ⚠️ 注意：CLI 强制 --model参数，旧脚本不升级会报错；mtmd 音频接口目前标记为实验 API，后续可能微调。