作者|胡磊
编辑|靖程
今年8月,NVIDIA公布了与Rubin GPU协同的Groq 3 LPX异构推理方案,由GPU承担Attention等计算,基于片上SRAM的Groq 3 LPX则加速FFN与MoE专家运算,将同一条推理链路拆交给不同芯片协同处理。
这一量产信号表明,单靠一种通用芯片架构已经很难通吃整条大模型的推理链路,头部玩家早已将“算子拆分异构”推向焦点位。
时至11月,这一信号背后的行业命题已经进入更现实的工程跑道:当推理任务被拆解之后,除了高成本的 SRAM 方案,承载FFN与MoE权重的芯片还能有什么样的解法?
当中国日均Token消耗量逼近500万亿,限制AI推理的瓶颈已经从单纯的算力不足转向能效与成本。在熵旋芯智创始人雷坤看来,降低每个 Token 背后高昂的数据搬运与存储成本,正是他们现阶段最核心的切入点。
熵旋芯智选择切入权重搬运这一关键环节,推出首代MRAM存内计算架构 MITA(MRAM In-Memory Tensor Architecture),并将对应处理单元定义为 MPU(MRAM-based Processing Unit)。在 MPU 中,量化映射后的模型权重驻留于片上 MRAM 阵列,输入激活进入后,权重在原位直接参与矩阵运算,省去反复读取的搬运开销,重点攻克大模型中的权重密集型线性运算,尤其是 MoE 模型的专家前馈网络(FFN)。
熵旋芯智的团队技术积累源于中国科学院半导体研究所,研究背景涉及自旋电子学和半导体器件。团队成员来自AMD,高通,格芯,字节,寒武纪,昆仑芯等芯片设计大厂和中国科学院半导体研究所、清华大学、中国科学技术大学、北京航空航天大学等高校和科研机构,研发覆盖器件、芯片架构、算法映射及软件工具链。
以下为财经网科技与雷坤的访谈实录(经编辑):
财经网科技:从您的角度看,AI 计算的能耗开销,主要在哪些地方?
雷坤:AI 推理的能耗主要分计算本身和数据搬运两块。在处理输入的 Prefill 阶段,多个 Token 并行计算,算力单元吃得饱,能耗主要花在有效计算上;但进入逐个生成 Token 的 Decode 阶段,尤其在低批量、低延迟场景下,一次读入的权重只能服务少数 Token,大量功耗都消耗在反复读取和搬运权重上。此外,长上下文下的 KV Cache 访存、多芯片间的跨设备通信也会带来可观开销。相比之下, Decode 阶段反复搬运静态权重的痛点最集中,也是我们现阶段最先切入的方向。
财经网科技:GPU 已经有成熟的软硬件生态,今年市面上也出现了多种专用推理芯片。熵旋芯智为什么选择这个时间点切入?
雷坤:主要是商业账、制造工艺和模型结构三个条件刚好交汇。首先是商业账算过来了。推理服务进入长期运行阶段,客户最关心的不再是买卡时的峰值算力,而是同等精度与延迟下每生成一个 Token 的综合成本,专门针对权重搬运做架构优化开始具备经济性。
其次是制造工艺具备了量产基础。头部晶圆代工厂正在推进 eMRAM 的量产与演进:三星 28nm 早已商业量产,14nm 进入汽车客户供货,8nm 今年也通过了硅片良率实测并已有客户 AI 芯片流片,5nm 发布了实测研究;台积电的 22nm 和 16nm eMRAM 也已量产,并正持续向 12nm 和 5nm 推进。
同时,MoE 架构的普及提供了清晰的切入场景。MoE 专家池权重规模很大,每个 Token 仅由路由器动态选出少数专家参与计算,而每个专家本质上就是包含大量线性投影的前馈网络。这些权重放在哪里、调用时要走多远,直接决定了整段计算的效率——这恰恰是存内计算最容易体现收益的环节。
财经网科技:MITA 具体改变了哪一段数据路径?
雷坤:改的是从“读取权重”到“完成乘加运算”这一段。我们先将适合的模型权重量化并映射到片上 MRAM 阵列中,让权重留在存储原位;推理时,把输入激活送进阵列,利用 MRAM 器件的不同阻态直接完成乘加,再经过读出、模数转换和数字处理电路输出计算结果,交给后续单元。也就是说,进出阵列的只有输入激活和计算结果,权重本身不再被反复搬运到独立的计算单元。这样既省去了重复传输的数据开销,也直接改善了计算密度与执行能效。
财经网科技:MRAM 和存算一体是什么关系?MRAM 在这套架构里承担什么工作?
雷坤:存算一体是一种把存储与计算融合的计算范式,而 MRAM(磁性随机存取存储器)则是我们用来实现这一范式的底层器件介质。在 MITA 架构里,MRAM 既当“存储器”也当“计算阵列”,在保存静态权重的同时直接在阵列内部完成部分矩阵运算,把“存”和“算”合在同一个物理空间里。落到系统层面,基于 MITA 打造的 MPU 处理单元专门承接权重密集型线性运算,与 GPU 等通用算力协同完成整条推理链路。
财经网科技:为什么选 MRAM?它的器件优势能直接变成芯片的能效优势吗?
雷坤:相较于 SRAM,MRAM 具备非易失性、极低静态功耗和更高的存储密度,同时兼容成熟逻辑晶圆工艺、易于控制制造成本,这就决定了片上能驻留多少静态权重,也决定了方案能否实现规模化量产。但客观地说,器件优势不能直接等同于芯片优势,到了芯片层面必须算综合账。一方面,器件间的一致性偏差、读出误差和量化精度会直接制约计算可靠性;另一方面,模数转换(ADC)、数字处理电路与数据缓存等外围电路都会占用面积和功耗,最终表现还得看阵列利用率、数据吞吐和片上互联设计。只有在完整芯片层面做出有竞争力的有效算力密度与能效,阵列省下来的开销才算真正落地。
财经网科技:GPU、LPU 和 MPU 都在做推理优化,它们对权重访问的处理有什么差别?
雷坤:三者的本质差别,在于“权重放哪里、离计算有多近”。GPU 依然是存算分离,权重放在片外 HBM 显存里,计算时再读入核心,主要靠高带宽显存和增大批处理(Batch)来摊薄每次读取的开销。Groq LPU 则把权重放进片上高速 SRAM 以减少片外访问;但面对超大模型,单颗芯片的容量都是不够的,这类路线本质上都是通过多芯片专家并行(EP),用片间互联代价去换片内数据搬运的代价,受限于 SRAM 的面积与成本,芯片数量一多,互联压力和系统代价就会迅速放大。MPU 则是让权重直接驻留在片上 MRAM 阵列里原位参与计算。依托成熟晶圆工艺,MRAM 在与标品晶圆(Wafer)相当的制造成本下,能把单芯片存储容量提升两倍,从而显著降低多芯片 EP 扩展时的互联压力。放到异构推理系统里,MPU 专门承接权重密集型线性运算,Attention 与 KV Cache 等动态负载仍交由 GPU 协同完成。
财经网科技:这套架构具体怎么接入大模型推理?为什么先看 FFN 和 MoE 专家层?
雷坤:接入上我们走的是异构协同路线,并不要求推倒原有生态。推理系统依然由 GPU 处理 Attention 与动态 KV Cache,我们通过配套的编译器和运行时软件,把权重密集型的线性算子切分、映射到单卡或多卡 MPU 阵列上执行,再与 GPU 完成数据同步。之所以优先切入 FFN 和 MoE 专家层,是因为这两部分集中了大量的静态线性投影权重,搬运开销最重;尤其在 MoE 稀疏激活下,只要把专家权重预先驻留在对应阵列的 MRAM 中,被路由选中的专家就能就地完成计算,省去反复读取。对于超大规模模型,系统软件会结合阵列容量和量化精度做多芯片切分与调度,控制好片间通信和同步开销。
财经网科技:制造工艺和计算架构分别能把能效往前推多少?
雷坤:其实,在完整芯片和真实负载跑通之前,很难把工艺和架构的贡献拆开给出一个精确比例。工艺决定了阵列的密度与良率底线,架构负责在物理约束内减少搬运与外围损耗,系统里还要扣除跨设备通信开销。接下来,我们会持续打磨器件良率、外围电路和架构协同这些具体环节,一点点把实际能效往上推,最终交给真实模型和实测数据来回答。
财经网科技:熵旋芯智的技术门槛在哪里?
雷坤:真正的门槛并不在于存储介质本身,代工厂的 eMRAM 工艺大家都能看到。长期来看,核心的壁垒是软件生态、算法与硬件的协同设计,以及供应链的量产规模。从器件、电路到系统,单看某一项阵列指标很难判断系统级收益。我们需要在器件与电路层面把精度和一致性做稳,在软件和算法协同层面把算子切分、权重映射和任务调度安排到对应硬件上,比如 MoE 的专家放得太散,跨设备通信开销会飙升;放得太集中,又会出现负载失衡。把这些软硬件细节放到同一个系统里统筹解决,再依托成熟晶圆代工生态持续打磨良率、跑通供应链规模,最后才能真正转化为吞吐、延迟和成本上的优势。
财经网科技:公司提出了把单位 Token 推理成本降低 90% 的目标,具体会按什么口径去测?
雷坤:这个目标是成立的,也是我们基于存内计算物理特性和标品晶圆成本做出的中长期测算。也就是说,在低批量、权重搬运占主导的推理负载里,省去反复读取静态权重的能耗与带宽开销,配合芯片级能效提升,确实具备把这部分算力账压缩一个数量级左右的空间。
但在实际测算口径上,我们会把标准拉齐到同一套对照基准里,不拿单颗芯片的理论峰值去算。比对时必须对齐同等模型、量化精度、并发规模、上下文长度和延迟要求(SLA);在此基础上,除了芯片本身的有效算力密度与能效,GPU 与 MPU 间的通信损耗、多芯片协同效率、整机吞吐,以及硬件采购、电耗和运维成本(TCO)都会一并纳入核算,最终通过后续流片验证、异构联调和客户真实负载一步步去校准。
财经网科技:如果这条路线跑通,客户最先能感受到什么变化?
雷坤:最先感受到变化的,是对响应时间敏感、批量又上不去的推理服务,比如实时交互或长周期运行的 Agent 任务。这类业务很难靠扩大批量来摊薄权重读取开销,把权重密集型线性运算交给 MPU 分担后,客户在同等延迟要求下能看到整机功耗降下来、单机吞吐提上去,进而直接反映在每生成一个 Token 的实际花费上。至于具体能省多少,会因模型结构、部署规模和业务负载而异。芯片研发没有捷径,我们日常要做的,就是把单芯片的PPA再拉高一点,把多芯片协同的通信损耗再压低一点。我们想传递的态度也很简单:在存内计算和算子异构这条路上,坚持一种可能性,然后通过一次次工程迭代,不断提升这个可能性的百分比。
AI具身智能访谈新栏目招募
深耕机器人、自动驾驶、智能硬件、空间计算等具身智能创业者看过来!
诚邀做客「AI 具身智能会客厅」,可扫描下方二维码,备注:方式 + 项目简介,我们即刻对接!
微信号丨nini-papa
推荐阅读
END
微信号|Taigeeker
新浪微博|财经网科技
财经网科技

