2024年7月16日至19日，以“重塑：数字遗产新质生产力”为主题的2024文化遗产保护数字化国际论坛在北京中关村国际创新中心成功举办，大会开设了四个联办国家专场，以及历史城镇、人工智能、数字石窟、考古遗址、三山五园等多个学术专场，带来了近百篇精彩的学术报告。
7月18日，在考古遗址专场上，ICOMOS国际执委、希腊国立雅典理工大学教授安德烈亚斯·乔治欧普罗斯作题为《开发适用于公众艺术培训的数字工具》的报告。
安德烈亚斯·乔治欧普罗斯
ICOMOS国际执委
希腊国立雅典理工大学教授
非常感谢邀请我参加本次论坛。接下来，我想转换一下情景，为大家介绍一个与“无形遗产”相关的合作项目。这是我们实验室与一家公司的合作成果，我将向大家简要说明我们是如何开展这项合作的。
该项目是欧盟计划的一部分，名为“适用于公共艺术培训的数字工具”，与我的报告内容紧密相关。项目要求是研究并设计一种工具，帮助编舞者能够指导舞者以及非舞者学习舞蹈动作，并可结合VR技术使用。这些舞蹈动作将被视为概念性集合，不作区分、一视同仁。我们很高兴能成为该项目的合作方，称之为“数字化动作计划”，旨在开发数字工具以辅助编舞者进行舞蹈教学。
目前我们探索了三种解决方案：一是基于动作捕捉系统MoCap；二是使用动态传感器；三是采用已商业化的软件Rokoko。
对该项目而言，核心要求是使用开源软件、成本可控，旨在帮助编舞者向大众传授舞步，因此不适合采用昂贵的解决方案。
首先看MoCap系统。左侧是一名舞者，穿着特制服装，身上设有多处节点；周围是一个配备多个镜头的专用空间，用于记录舞者动作并对节点进行定位。右侧为配套软件，可将动作数据编译并转化为3D模型。然而该系统成本高达数万欧元或美元，不符合本项目对低成本的要求，因此未被采用。
于是我们考虑了Kinect Sensor 2.0传感器。这是微软的产品，最初用于电视互动，后来苹果也将其技术集成到最新iPhone中。该传感器具备RGB镜头和深度感知能力，能通过不同焦段镜头的结合生成3D模型。价格约为150欧元。我们对其进行了深入研究，探讨如何利用Kinect完成项目所需工作。
相关软件如Kinect Studio能基于舞者动作建立人体框架，但框架较为简单，仅包含约25个节点。Kinect能感知深度并构建人体骨架，但在动作复杂时，其框架无法完全还原动作细节，例如手部和头部的细微动作难以精确呈现。受成本限制，这样的效果已属合理。
在软件方面，除了Kinect Studio和Kinect Animation Studio，我们还尝试了如iPi Recorder 4.0和iPi Mocap Studio等其他动作捕捉软件。需要尝试不同软件组合，以找到最适合的配置。获取骨骼动作数据后，我们可在Unity 3D游戏引擎中进行编辑，并使用开源免费的Mixamo软件进行骨骼绑定与蒙皮处理。此前步骤仅生成骨骼运动，需再为其添加皮肤与服装，最终形成完整的3D模型。该模型可完全模拟舞蹈动作，并接入VR环境，使编舞者能通过VR指导学习者。
我们的工作流程主要包括以下几个步骤：首先对舞者进行背景纯色拍摄并全程捕捉动作；接着通过软件将视频解析为人体骨架动作数据，实际是在三维空间中重现初始视频中的运动；由于背景为纯色，便于Kinect进行动作数据采集。
程序内部运算将舞者动作转换为骨架运动，符合我们的需求。捕捉完成后，在Unity中为骨架添加服饰模型，经渲染后即可接入VR环境。Unity作为跨平台引擎，可在电脑、平板及手机上运行。渲染后，只需使用成本约15欧元的简易手机VR纸板架，即可观看效果。相比昂贵的展厅VR设备，这种纸板方案更经济，可用于多次自主练习，并支持同步音频指导。
项目推进过程中，我们还发现一种更简易的方案。项目初期我们曾认为需要昂贵设备，而Rokoko公司提供了免费方案：仅需手机拍摄视频，无需摄像机或传感器。使用其在线工具，步骤基本不变——先捕捉骨架运动数据，上传至Rokoko网站进行渲染。
我的发言到此结束，谢谢大家聆听。
中国古迹遗址保护协会数字遗产专委会 | 秘书处
ICOMOS-CHINA Scientific Committee of Cultural Heritage Conservation by Digitalization | Secretariat
李浚 杜寇 习熠飞
邮箱：lijun@thid.cn；dukou@thid.cn；xiyifei@thid.cn
电话：15010082521 18074104213
