35B参数的MoE模型，在手机上也能流畅运行？答案是肯定的。
在断网状态下，iPhone 17 Pro Max通过MiniCPM-V 4.7模型，不到1分钟即可解析拿破仑远征路线图中的气温数据并完成单位换算。经优化后，该模型解码速度可达每秒13个Token以上，仅占用约3G内存。
面壁智能与OpenBMB正式开源MiniCPM-V 4.7，包含两个版本：
-
35B-A3B：总参数35B，推理激活3B，是系列首个MoE模型，约3G内存即可在iOS、安卓设备流畅运行。 -
1B：实际参数1.3B，主打极小体积，在OCR、数学和视频理解方面表现优异。
性能表现：端侧大模型的新标杆
MiniCPM-V 4.7在多项基准测试中表现突出：
- 通用视觉：MMBench得分91.72，MMStar得分80.67。
- 理科能力：MMMU得分80.22，MathVista得分88.00。
- 视频理解：Video-MME得分76.40，LongVideoBench得分68.90。
- 文档理解：OmniDocBench v1.6得分94.24，领先同类模型12分以上。
值得注意的是，即使将视觉压缩倍数开至16倍，MMBench和OCRBench分数下降幅度极小，实现了算力节省与精度保留的平衡。
在纯文本能力方面，中文知识CMMLU得分90.21，工具调用τ²-Bench得分84.65，均处于领先地位。
实测场景：复杂任务本地化处理
家庭用电账单分析
面对包含多种电器功率、时长及电费账单的复杂图表，35B-A3B模型在断网状态下准确完成了电量估算、排序、账单占比分析及省电方案推荐。它能精准识别空调每月耗电144度，并计算出最佳省电方案为减少空调使用时长。
论文转Markdown
1B版本模型在不到半分钟内，将论文图片转换为Markdown格式，还原了标题层级、段落、表格及LaTeX公式，排版与原文高度一致，满足了本地化笔记整理的需求。
API场景应用
通过API调用，模型在处理超市小票记账和复杂停车规则判断时表现稳定。它能准确提取商品信息、核对金额，并根据具体时间、证件及规则限制，给出合规性判断。
技术突破：低功耗下的高效能
前瞻专家调度（LES）
针对手机内存无法装载全部专家的问题，团队开发了前瞻专家调度技术。利用相邻层输入特征相似性，提前预测并加载下一层所需专家权重，实现计算与数据读取并行。测试显示，该方法可提前备好超80%所需专家，无需额外训练，显著提升解码速度。
权重优化与视觉压缩
通过逐层混合精度量化和连续存储布局，减少数据加载量并提升闪存读取效率。同时，沿用LLaVA-UHD v4的ViT内早期压缩技术，支持4倍至16倍视觉Token压缩，在大幅降低算力需求的同时保持高精度。
自回放微调（Self-Replay Fine-Tuning）
为解决微调导致的通用能力遗忘问题，引入自回放微调技术。在微调前筛选模型对原有高质量问题的回答，混入新任务训练数据。这种方法无需修改模型结构，降低了定制成本，同时保留了模型的通用表现。
行业展望：端侧AI规模化落地
2026年被视为端侧AI规模化落地元年。IDC预计中国新一代AI手机出货量将达1.47亿台，渗透率突破53%。MiniCPM-V 4.7以低内存占用（约3G）实现对高参数模型的支持，降低了厂商硬件成本压力。
目前，该模型已适配iOS、安卓、鸿蒙系统及瑞芯微、Intel、AMD等芯片平台，支持SGLang、vLLM等多种推理框架。随着“密度定律”的验证，大模型正朝着更高效率、更低门槛的方向发展，让高性能AI真正触手可及。