2月12日，字节跳动豆包大模型Foundation团队推出UltraMem架构，解决稀疏模型计算和参数解耦的推理访存问题，保持模型效果。该架构使MoE推理时的访存问题得到有效解决，推理速度提升2-6倍，最高降低成本83%。