近日，由北京智源人工智能研究院、华中科技大学、南洋理工大学、清华大学智能产业研究院及浙江大学研究者合作完成的研究成果 ArtHOI：基于视频先验和4D重建的人体-铰链物体序列联合生成（Articulated Human-Object Interaction Synthesis by 4D Reconstruction from Video Priors）获IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）接收。
该研究面向人体与可活动部件之间的交互合成，提出基于单目视频先验的四维重建框架。在不使用配对三维运动监督的条件下，恢复铰链物体与人体交互，为开合柜门、冰箱门等交互建立显式的几何表示，并改善运动过程中的接触一致性。
图1：任务演示 展示初始三维资产与文本描述，以及对应的人-物交互合成结果
关节式人-物交互中的结构与运动耦合难在哪里
人-物交互合成需要同时描述人体姿态、物体运动及接触关系。对于柜门、冰箱等关节式物体，运动发生在具有相对连接关系的部件之间，整体刚体表示难以完整刻画其运动结构。因此，合成过程不仅需要恢复人体动作，还需要区分固定与活动部件，并保持部件运动与人体接触的协调。
这一问题在单目条件下尤为困难：二维观测缺少直接的深度约束，人体与物体运动又相互耦合。仅依靠图像重建误差进行联合优化，可能出现部件偏移、接触错位等现象。针对上述问题，ArtHOI将交互合成转化为具有结构约束的四维重建，并通过分阶段优化降低求解中的歧义。
以物体重建引导人体运动优化的路径创新
ArtHOI以随时间变化的三维场景描述交互过程，通过逆向渲染将视频中的外观与运动证据转化为场景参数的优化目标。其核心设计是先恢复物体部件运动，再利用固定的物体几何细化人体动作，为接触约束提供稳定的空间参照。
该框架利用生成模型提供的视频先验，并结合初始三维资产与预训练模型完成场景初始化，这里的零样本设置指不依赖配对三维运动数据进行任务训练。
图2：两阶段重建流程—先恢复物体部件运动，再以固定的物体几何优化人体动作
运动线索驱动的部件划分与结构约束
首先，系统通过点跟踪获取物体区域的二维运动线索，区分活动区域与相对静止区域，并利用SAM将点级线索转化为部件掩码。随后，二维分割结果被映射至三维高斯表示，结合空间连通性优化形成部件划分，为各部件的独立运动建模提供基础。
在此基础上，ArtHOI从活动区域中识别位移较小的准静态点，并在其对应的三维高斯与邻近静态高斯之间建立绑定关系。该约束与部件刚性、图像重建及时间平滑约束共同作用，维持活动部件与主体之间的局部连接，抑制重建过程中的部件漂移。
基于重建几何的接触估计与人体细化
物体部件运动恢复后，系统固定其几何与运动参数，进一步优化人体的SMPL-X表示。三维接触目标由候选接触时段、人体与物体轮廓、投影关节及物体表面深度共同推导，随后用于约束手部位置，并结合碰撞、脚部滑动与时间平滑等约束细化人体动作。
通过这一顺序，物体重建与人体细化承担不同的优化目标，减少联合求解时两类运动参数之间的相互干扰，使交互合成同时受到视频证据与三维几何关系的约束。
实验结果显示交互质量与部件运动精度均显著改善
研究从交互质量与物体部件运动两个方面开展评估。在主实验设置下，相比零样本基线ZeroHSI，ArtHOI在腕部接近率、脚部滑动和阈值穿透指标上均取得改善，体现了显式部件建模与接触优化对交互质量的作用。
图3：多场景结果 从正面与俯视角度展示多种物体交互
在基于ArtGS场景渲染单目视频的部件运动评测中，ArtHOI的平均旋转误差为6.71°，显著低于D3D-HOI的25.13°与3DADN的21.17°。该结果表明，在所采用的单目评测设置下，结构约束有助于提高物体部件运动的恢复精度。
图4：基线对比 在相同场景中对比不同方法的部件运动、人体动作与接触关系
消融分析：验证分阶段优化的有效性
为分析各模块的贡献，研究进一步比较了联合优化与两阶段优化，以及移除不同约束后的结果。将两阶段流程替换为人体与物体的联合优化后，腕部Contact%从75.64%降至61.45%，平均部件旋转误差从6.71°增至12.34°；移除关节正则约束后，平均旋转误差增至15.67°。
上述结果支持两阶段求解与结构约束的有效性：物体运动的稳定恢复为人体优化提供了几何基础，而接触的目标将人体动作与物体表面联系起来，二者共同影响最终交互的空间一致性与时间连续性。
图5：约束消融 分别展示关节正则与运动学约束对部件连接和人体接触的影响
总结与展望：为具身智能交互数据构建提供新参考
作为面向AI进入物理世界的开放创新平台，智源研究院开展ArtHOI研究，旨将视频生成先验与显式三维重建相结合，拓展了零样本人-物交互合成对关节式物体运动的建模能力，视频中的动作信息可以通过部件表示、结构约束和接触优化转化为具有几何一致性的四维交互，为具身智能数据构建、机器人操作学习、虚拟人物动画及交互式数字场景提供可复用的方法参考。
当前方法仍受视频可见性、跟踪质量和初始化精度影响，低纹理或反光表面、严重遮挡及长序列等场景仍可能导致误差，移动相机输入需要运动补偿，复杂层级机构仍需进一步建模运动关系。后续，智源将继续围绕Physical AI的真实交互与系统评测需求，联合产学研力量推进方法迭代、数据构建与开放协作，为AI进入物理世界提供公共科研基础设施支撑。
论文链接：https://arxiv.org/abs/2603.04338
项目主页：https://arthoi.github.io/
开源代码：https://github.com/Inso-13/ArtHOI
