生数科技正式发布 Vidu S2 模型，实现数字人与视频的实时深度互动。该模型支持对播放中的视频进行即时换装、换人、换背景及风格迁移，同时数字人可依据指令完成复杂肢体动作并响应中途输入的参考图。
Vidu S2 在发布当日即全量开放，无需内测。此次升级包含三大核心能力：
- S2-Editing：实时视频编辑，支持更换服装、角色、背景及艺术风格；
- S2-Avatar：实时交互数字人升级为 720P 分辨率，支持接收参考图以执行拿取物品、更换着装等精细动作；
- 实时空间视频：将生成或编辑的内容转换为左右眼立体画面，适配 VR 头显设备，探索沉浸式交互体验。
实测表现：从“口头答应”到“身体力行”
Vidu S2 包含两个细分模型：负责实时交互的 Vidu S2-Avatar 和负责实时视频编辑的 Vidu S2-Editing。
数字人交互全面升级
相较于上一代 S1，S2-Avatar 在执行大幅度身体动作指令（如跳舞、转圈）时表现更为精准，解决了此前“只动口不动身”的问题。画质方面，实时输出分辨率从 540p 提升至 720p，面部表情与衣物细节更加丰富，确保在持续互动中保持高清晰度。
此外，模型具备强大的参考图响应能力。用户可在互动过程中随时发送图片，数字人能立即换上指定服装、拿起特定物品或切换场景，实现了真正的“边聊边演”。
实时视频编辑功能演示
Vidu S2-Editing 展示了惊人的实时修改能力。在人物采访视频中，模型可秒级切换多套服装，且衣物随动作产生的形变自然真实，光影融合度高。除换装外，该模型还支持：
- 实时更换背景：人物在不同场景中无缝切换，如同拍摄精良 MV；
- 实时更换主体：可将视频中的人物替换为其他角色甚至物体，并保持透视与遮挡关系正确；
- 实时风格渲染：在不破坏画面一致性的前提下，灵活迁移视频整体艺术风格。
这些功能为直播互动、虚拟演出及创意视频制作提供了广阔的临场发挥空间。
69 天迭代：实时视频技术的跨越
距离 Vidu S1 发布仅 69 天，生数科技便完成了从 S1 到 S2 的重大版本跃迁。Vidu 系列由清华大学朱军教授团队核心成员研发，致力于将 AI 视频从“离线生成”推向“实时交互”。
实时交互视频要求模型生成速度必须快于播放速度。团队通过 SageAttention 等技术优化计算链路，利用多 GPU 协同调度减少等待，确保了流畅的实时体验。S2 版本在此基础上，进一步提升了画质、动作复杂度及多模态指令跟随能力，并率先将空间视频技术落地为可体验产品。
在空间视频领域，Vidu S2 支持基于双目立体视觉原理生成三维沉浸内容，适配 Apple Vision Pro 等设备。用户不仅可将普通视频实时转为空间视频，还能以真实物理世界为画布进行 AI 创作。尽管目前头显设备对分辨率和延迟仍有极高要求，但团队正朝着全景空间视频方向持续优化。
技术揭秘：如何实现“边播边改”
Vidu S2 的惊艳表现背后，是一套复杂的技术架构与创新训练策略。
数据与标注策略优化
团队引入了舞蹈、二维及三维动画等多样化训练素材，并对视频进行背景稳定处理。标注方式上，采用基于事件边界的连续互动描述，明确记录动作起止时间与状态变化，为模型提供清晰的时序学习依据。
流式训练与自我纠错
针对流式生成中误差累积的难题，Vidu S2 引入 Self-Replay Forcing 机制。模型先连续生成视频，再对结果分块加噪并进行因果回放训练，使后续片段的学习反馈能修正较早片段的表示，确保长视频生成的连贯性与稳定性。
架构创新与智能体协作
模型采用 Backbone-Refiner 两阶段异步流水线架构。Backbone 负责低分辨率下的主体结构与运动生成，Refiner 并行处理细节重建，从而在保证 720P 高画质的同时实现不掉帧。
为实现“边播边改”，团队设计了时间戳对齐的位置编码，确保参考图指令在准确的时间点生效，保持光照与运动的连续性。同时，引入基于视觉语言模型的 VLM Agent 作为“执行导演”，实时解析画面状态与用户意图，动态规划生成策略。
最后，通过双向阶段的 DPO 与流式阶段的 Streaming NFT 强化学习策略，进一步优化了画质、动作自然度及指令遵循能力。
从语音互动到高保真实时演绎，再到空间视频探索，Vidu S2 标志着人与 AI 交互迈向了更加自然、丰富的新阶段。