国产开源：单卡RTX 5090实时运行游戏世界模型
昆仑万维旗下Skywork AI近日发布Matrix-Game 4.0，号称全球首款可在单张消费级显卡上实时运行的游戏世界模型。该模型具备国产、开源两大标签，在RTX 5090显卡上可实现60帧流畅运行，显存峰值占用约18.5GiB，按键响应延迟低于0.15秒。
与以往仅生成画面的Demo不同，Matrix-Game 4.0实现了真正的游戏逻辑运行。例如玩家中弹时，系统会依据代码规则先扣除盾牌耐久，盾碎后再扣血量，血量归零则游戏结束。此外，开发者可通过自然语言指令修改游戏规则，如将计时赛调整为追击战，底层代码与视觉表现同步更新。
技术架构：给视频模型套上Harness
针对传统视频生成模型难以维持游戏一致性与规则稳定性的痛点，团队提出“给视频模型套上Harness”的核心思路，将任务拆解为代码逻辑与视觉生成两部分：
- Coding Agent（编剧）：将用户的自然语言想法转化为游戏代码；
- 游戏引擎（裁判）：维护世界状态、执行游戏规则，并生成包含结构、位置及运动轨迹的3D结构草图；
- 视频模型（画师）：基于结构草图和动态描述，实时渲染出具备材质、光影的高保真画面。
这种分工使得世界状态由代码明确记录，而非隐式存储在像素中。即使视觉生成出现微小偏差，也不会影响血量、道具归属等核心游戏逻辑，确保了交互的确定性。
工程优化：三大减负策略实现单卡实时运行
相较于英伟达StreamRender-H3需8张GB200 GPU且端到端延迟约545ms的方案，Matrix-Game 4.0通过以下工程优化，在单张RTX 5090上实现了约112ms的低延迟和60 FPS的稳定帧率：
1. 减少模型猜测负担
团队利用UE5构建配对数据，训练视频模型从“结构草图”到“精细画面”的能力。引擎提供仅含几何结构的低复杂度画面，视频模型负责补充材质与光影。同时，系统读取引擎中的对象状态生成动态Caption，明确告知模型物体属性与行为，大幅降低推理难度。
2. 减少记忆依赖
基于Wan2.2 5B Fun Control改造的V2V模型，在生成时不仅参考当前结构图，还调用空间记忆参考图、首帧衔接图及缓存中的近期历史信息。这种多线索提示机制有效避免了长序列生成中的画面漂移与逻辑断裂。
3. 削减计算量
采用少步自回归蒸馏技术，将扩散过程压缩至1-2步，每次仅生成四帧。结合CUDA Graph、FP8融合算子、KV环形缓存及轻量编解码器等技术，最大化减少数据搬运与冗余计算，使文本编码器、DiT和VAE能全部常驻于单张RTX 5090显存中。
开源生态：推动游戏世界模型技术标准化
目前，多数游戏世界模型仅提供API或演示，缺乏底层代码开放。Matrix-Game 4.0坚持从1.0版本开始的开源路线，向社区公开模型权重与推理代码。这一举措旨在应对尚未收敛的技术路线，通过开发者社区的广泛测试与反馈，加速探索世界模型在交互性、长期记忆及复杂场景下的最佳实践。
尽管目前480p的画质仍有提升空间，但“代码守规矩，AI画世界”的技术范式已为行业提供了新的解题思路。随着硬件门槛的大幅降低与开源生态的建立，游戏世界模型正从实验室走向开发者的桌面。
项目地址：
GitHub: https://github.com/SkyworkAI/Matrix-Game
Hugging Face: https://huggingface.co/Skywork/Matrix-Game-4.0
Project Page: https://matrix-game-v4-0.github.io/page/