大数跨境

M5 Max跑本地大模型,一个设置差4.7倍!苹果用户99%不知道这个「隐藏开关」

M5 Max跑本地大模型,一个设置差4.7倍!苹果用户99%不知道这个「隐藏开关」 未来跃迁
2026-04-06
0
导读:M5 Max跑本地大模型,一个设置差4.7倍!苹果用户99%不知道这个「隐藏开关」

导读
【导读】一位开发者用M5 Max实测本地大模型,发现「低功耗」和「高功耗」模式下推理速度相差近5倍——预填充从1100 tok/s飙到3500 tok/s,功耗从30W拉到140W。更可怕的是,绝大多数Mac用户根本不知道这个开关在哪。你的M5 Max,可能一直在「残血」状态跑AI。

一个推文,炸出苹果AI性能的「封印」

4月5日,AI开发者Ivan Fioravanti在X上发了一条帖子,瞬间引爆了本地AI圈。

他用M5 Max(128GB统一内存)跑Unsloth最新的动态量化模型gemma-4-26b,分别测试了macOS三种功耗模式的性能差异。

结果令人震惊。

▲ Ivan Fioravanti实测M5 Max三种功耗模式下的LLM推理性能,引发热议(97赞/7转/7412阅)

"M5 Max difference in Low Power, Automatic and High Power is huge! Be sure to set High Power when plugged in during LLM usage."

「M5 Max在低功耗、自动和高功耗模式下的差距是巨大的!跑大模型时插电一定要开高功耗模式。」

他贴出的三张基准测试图表,直接把差距摆在了所有人面前。

数据说话:低功耗只有高功耗的37%

先看最核心的数字。

预填充速度(Prefill,决定「首个token」响应快不快):

  • 高功耗模式
    :3500+ tokens/秒(2k-8k上下文)
  • 自动模式
    :约3000 tokens/秒
  • 低功耗模式
    :仅1100-1300 tokens/秒

文本生成速度(Decode,决定「打字」有多快):

  • 高功耗
    :100-110 tok/s
  • 自动
    :90-100 tok/s
  • 低功耗
    :40-50 tok/s

换算一下:低功耗模式下,你只用到了高功耗模式37-44%的性能。自动模式好一些,但也只有88-96%。

而功耗差距呢?高功耗峰值约140W,低功耗仅30W,相差4.7倍。

有评论直接感慨:

"nice find! mac actually throttles the GPU frequency when it detects sustained high temps, so you might hit thermal limits way before hitting the 140W ceiling"

「好发现!Mac检测到持续高温时会降频GPU,所以你可能还没到140W就被限制了。」

Ivan回复:

"No if you start immediately with High Power, no thermal throttling ever so far."

「如果一开始就设置高功耗,目前没出现过降频。」

这意味着:不是硬件不行,是软件在「封印」你的芯片。

为什么差距这么大?macOS的「能量模式」在干什么

打开你的Mac,进入系统设置 > 电池,你会看到一个叫「能量模式」的选项。它有三个档:

低功耗模式:激进降频,把功耗压到30W以下,CPU和GPU时钟频率大幅下降。目标是省电、静音、续航。

自动模式:根据电源、负载、温度动态调整。这是大多数用户的默认设置。问题在于——跑大模型这种持续满载GPU的任务时,自动模式依然会降频限速。

高功耗模式:解锁全部性能,GPU和CPU跑满频率,优先计算而非省电。仅在M5 Pro/Max的MacBook Pro上可用。

▲ Apple官方文档明确标注:High Power Mode可在M5 Pro/M5 Max机型上使用,专为「密集持续负载」优化

关键在于:大模型推理是典型的持续并行、带宽密集型负载。预填充阶段需要高频GPU+神经加速器全力计算,生成阶段则疯狂吃内存带宽。低功耗模式下,动态电压频率调节(DVFS)直接把芯片从3.5-4GHz以上的峰值拉到远低于此的水平。

结果就是:同一台电脑、同一个模型,只因为一个设置,性能天差地别。

M5 Max:苹果为AI推理「量身定做」的怪兽

这不是偶然。M5系列(2026年3月发布)是苹果有史以来对AI最「认真」的一代芯片。

M5 Max的核心参数:

  • GPU
    :40个核心,每个核心内嵌神经加速器(专用矩阵乘法硬件)
  • 统一内存
    :最高128GB,峰值带宽614 GB/s(比M4 Max提升28%)
  • CPU
    :18核,取消了传统能效核心,全部面向高吞吐
  • 峰值功耗
    :高功耗模式下可超140W

苹果官方机器学习研究博客的数据更加夸张:

模型
TTFT加速比(M5 vs M4)
生成加速比
Qwen3-8B 4-bit
3.97x
1.24x
Qwen3-14B 4-bit
4.06x
1.19x
Qwen3-30B-A3B 4-bit
3.52x
1.25x

首个token响应速度提升4倍,这不是挤牙膏,这是换了一台机器。

而Ivan测试用的模型——Unsloth的gemma-4-26b-a4b-it-UD-MLX-3bit——正是为这种硬件量身打造的。Unsloth的动态量化技术(UD-MLX格式)采用激活感知量化、分组打包等手段,在3-bit精度下依然保持高质量输出,同时完美适配Apple Silicon的统一内存架构。

▲ Unsloth:专注高效量化和微调的开源项目,其UD-MLX格式已成为Mac本地AI的首选量化方案

社区炸锅:「我的M5 Max一直在低功耗跑!」

Ivan的帖子引发了连锁反应。

一位叫Ien Zhang的用户回复:

"Nice, thanks for sharing. I was wondering the same thing and auto switched to low power when not plugged in. Things slowed down a lot"

「谢谢分享!我一直在纳闷,不插电时自动切到低功耗,速度慢了很多。」

Ivan回复:"Yes, but battery thanks you."(「是啊,但你的电池会感谢你。」)

另一位用户Jarod Taylor说:

"When I get mine here in a couple of weeks, I'll be diving in head first on all your tweets."

「我的M5 Max几周后到货,到时候你发的每条帖子我都要仔细研究。」

而在更早的社区讨论中,科技博主Aakash Gupta一条关于M5架构的长推获得了1836个赞和1033个收藏:

"Apple just told you laptops are now AI inference machines and nobody's repricing what that means."

「苹果刚刚告诉你:笔记本电脑现在就是AI推理机器。但没人重新评估这意味着什么。」

还有用户晒出M5 Max的实际速度:Qwen3.5-35B-A3B跑到74 tok/s,Llama 3.3 8B跑到99 tok/s。一台笔记本,跑出了去年服务器级的速度。

更疯狂的是,有人在M5 Max 128GB上尝试跑1万亿参数的Kimi-K2.5,通过Flash SSD流式加载,竟然达到了6 tok/s。这在一年前完全不可想象。

插电开「高功耗」,你的Mac才真正醒过来

这件事的本质是什么?

苹果设计了一颗为AI优化到极致的芯片,但默认设置把它的力量封印了大半。

大多数用户买了M5 Max,插上电源,跑起Ollama或LM Studio,发现速度「还行」——然后就满足了。他们从未打开过「高功耗模式」,从未见过这颗芯片的真正实力。

就像一位社区成员说的:这不是硬件的问题,是「用户不知道」的问题。

具体怎么做?

1. 打开「系统设置」→「电池」 2. 找到「能量模式」 3. 在「使用电源适配器时」选择「高功耗」4. 就这样。速度翻倍。

不需要装驱动,不需要改配置文件,不需要重启。一个下拉菜单,解锁全部性能。

当然,代价是功耗从30W飙到140W、风扇会转起来、电池也会加速消耗。但你都插着电了——为什么不让芯片全力奔跑?

2026年,一台MacBook Pro已经能在本地跑260亿参数的大模型,速度媲美云端API,不需要网络、不需要订阅、不需要把数据交给任何人。

但前提是:你得记得按下那个开关。


— END —

— END —

【声明】内容源于网络
0
0
未来跃迁
1234
内容 602
粉丝 0
未来跃迁 1234
总阅读2
粉丝0
内容602