星辰通用人工智能实验室
星辰通用人工智能实验室(Xingchen AGI Lab）是中国电信星辰基础大模型的研发单位，将“基于国产芯片训练国际一流模型”作为自己的使命目标，开展战略性、引领性、系统性的通用人工智能全栈技术研发，推动国产生态成为通用人工智能原始创新和规模应用的重要力量。实验室于2026年3月在北京成立，历经前身近五年建设，团队成员超230人，平均年龄31岁，技术方向牵头人及骨干均毕业于清华、中科院、斯坦福、哥伦比亚等国内外知名高校，核心基模研发团队90%来自阿里、腾讯、百度等互联网大厂。当前，实验室基于中国电信国产万卡集群，已完成视觉、语音、语义和多模态四大方向布局，模型参数覆盖十亿/百亿/千亿/万亿，在GitHub、huggingface等主流开源社区下载次数突破60万，入选2025年“央企十大国之重器”。
Science Technology
近年来，视频生成模型快速发展，Sora、Wan、Seedance等模型不断刷新生成质量。然而，如何让模型不仅生成逼真画面，更能准确理解和复现运动，仍是当前可控视频生成领域的重要挑战。当前主流方法大多依赖2D姿态图控制动作，本质上只是学习人物运动在二维画面中的“投影”。当角色体型、视角发生变化时，模型容易出现动作变形、身份漂移等问题。
面向AGI时代可控视频生成的核心需求——如何让AI真正“看懂运动”，并实现对任意人物、任意场景的精准动作迁移，星辰通用人工智能实验室与中国科学院深圳先进技术研究院联合提出MTVCraft（Motion Tokenization Video Crafter）框架，以「4D运动标记化 + 运动感知视频DiT」为技术主轴，首次让AI从“识别姿态图”迈向“理解真实运动”，推动可控视频生成从“2D姿态驱动”进入“4D运动建模”阶段。
该项成果已被国际顶级会议 ICLR 2026 接收： 相关内容在Twitter、小红书、B站等平台累计传播量突破 5 万次; 在TikTok、Fashion等权威基准测试中全面超越现有主流方案，其中TikTok数据集FVD指标相比第二名提升约30%，展现出领先的泛化能力与生成稳定性。
ICLR（International Conference on Learning Representations）是机器学习与表示学习领域的国际顶级会议之一，与 NeurIPS、ICML 并列为人工智能方向最具影响力的学术会议。
2D姿态图驱动的局限
现有动作可控视频生成方法普遍以2D姿态图像作为运动引导，在标准人体场景下能够生成看似合理的动作。然而，当角色体型、位置或镜头视角发生变化时，模型便容易出现肢体扭曲、身份漂移等问题，其原因主要来自两个方面。第一，运动信息被“压扁”了。真实运动本质上是一个包含空间和时间变化的4D过程，而2D姿态图只是运动在平面画面中的“投影”，大量深度信息和动作连续性都会丢失，因此模型学到的更多只是“姿态截图”，而不是运动本身。第二，角色与动作被强行绑定了。传统的2D姿态驱动要求姿态图像与参考角色之间保持严格的像素级对齐，这是一种极其僵化的硬性约束。这意味着姿态骨架必须与角色比例接近，角色结构必须接近真实人体。一旦换成动漫角色、动物或拟人化物体，模型往往会生硬地套用人体动作模板，最终导致角色变形、动作不自然等问题。
从2D驱动到4D运动建模
当下主流动作可控视频生成方法普遍采用“姿态图像引导+扩散生成”的范式。问题的根源已经清晰：模型缺乏对真实运动的深度感知，且像素级姿态约束过于刚性。 传统驱动方式从未真正理解“4D运动”本身，只是学习如何对姿态图像进行像素重映射。
为了解决这样的问题，研究团队跳出固有思路，尝试摆脱对2D姿势渲染图像的依赖，从根源重构可控视频生成的底层运动表征：用4D运动标记化取代2D姿态图像，让AI直接读懂运动的“四维母语”。MTVCraft通过直接建模原始运动信息，对4D运动进行离散标记化，并结合运动感知DiT进行生成控制，真正实现先理解“4D运动”本身，再无缝迁移到任意角色——提升可控性与泛化性的正确切入点，从来不是优化图像质量，而是重构对“运动”本身的表征范式。
MTVCraft：4D运动建模与解耦控制
如何让生成视频既保留任意角色的身份特征，又能精准迁移任意4D运动？MTVCraft给出一套两阶段答案：先标记化运动，再基于运动标记可控生成视频。
阶段一：
4DMoT——运动语言化
MTVCraft首先提出4DMoT（4D Motion Tokenizer），一个专为4D运动设计的分词器。它采用“编码器-量化-解码器”结构，将连续的4D骨骼运动映射到离散标记空间，并通过重建任务进行训练。借助EMA向量量化技术，4DMoT将高维运动编码为紧凑的离散标记序列，同时保留关键的4D信息（三维空间坐标+时间连续性）。这一步骤相当于为运动建立了“词汇表”，让模型能够像处理文本一样理解运动，为每个运动单元赋予高层次的语义信息。
阶段二：
MV-DiT——可控视频生成
在获得 4D 离散运动标记之后，MTVCraft进一步提出MV-DiT（Motion-aware Video DiT）。与传统依赖2D姿态图像的方法不同，MV-DiT直接基于运动标记可控生成视频。其核心在于设计了运动感知注意力机制，通过在注意力过程中建模4D时空关系（时间、高、宽、深度），使模型真正感知四维运动中的连续变化。参考图像负责提供角色身份，4D运动标记作为上下文条件对视觉生成过程进行调制，从而实现身份与运动的解耦可控。
实验结果
一、权威基准评估全面领先
在 TikTok 和 Fashion 权威基准测试中，MTVCraft全面领先于主流动作可控视频生成方法，包括RealisDance-DiT，Animate-X，Unianimate-DiT、ControlNeXt、MimicMotion等，有力验证了“4D运动标记驱动”相较于“2D姿态渲染图驱动”的范式优越性。MTVCraft不仅大幅提升了可控视频生成的通用质量，更在泛化能力、身份保真度、动作一致性上实现了质的突破。此外，该框架在从CogVideoX-5B到Wan-2.1-14B等不同规模模型上，均展现出优秀的可扩展性与稳定性能。
二、零样本泛化能力实现突破
大量定性对比实验结果表明，MTVCraft展现出前所未有的零样本泛化能力，无需额外训练，即可实现任意动作迁移到任意角色——无论是全身还是半身，单人还是多人，甚至跨越不同绘画风格（动漫、水墨、像素）、动物角色，乃至非生命体（如椅子），均能实现稳定、自然的动作可控视频生成。
左右滑动查看更多
结 语
长期以来，动作可控视频生成始终建立在“2D姿态驱动”范式之上。它能够生成动画，却压扁了信息，也阻碍了泛化。MTVCraft通过“4D运动标记化 + MV-DiT运动感知”，首次为动作可控视频生成构建“理解—生成”的闭环，实现从“姿态驱动”迈向“运动智能”的范式跃迁。
在视频生成逐渐迈向全场景覆盖、深度融入AGI生态的今天，“泛化性”与“可控性”正在成为决定系统真正落地的核心能力。未来，动作可控视频生成将不再依赖复杂绑定与模板调节，而会像语言生成一样自然、可控、可泛化。当AI真正理解运动，视频生成也将第一次具备跨角色、跨风格、跨场景的自由驱动能力。MTVCraft正在为AGI时代可控视频智能打开新的可能。
“
主要作者介绍
星辰大模型全尺寸开源地址：
星辰语义基础大模型TeleChat已开源1B、3B、7B、12B、35B、36B、39B（MoE）、52B、105B（MoE）、115B的不同参数模型的训练和推理代码，链接如下：
https://github.com/Tele-AI
https://huggingface.co/Tele-AI
https://modelscope.cn/organization/TeleAI
https://modelers.cn/user/TeleAI
推荐阅读
