元宇宙的数字化身-虚拟数字人

➤ 数字人（Digital Human / Meta Human）

又称虚拟人或虚拟数字人，是运用数字技术创造出来的、 它是一种通过计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等数字技术所创造出的、与人类形象接近的、被赋予特定人物身份的、在视觉上拉近和人的心理距离并为人类带来更加真实的情感互动的数字化形象。

➤ 狭义的数字人

是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。其研究过程包括四个交叉重叠的发展阶段，“可视人”，“物理人”，“生理人”，“智能人”，最终建立多学科和多层次的数字模型并达到对人体从微观到宏观的精确模拟。

➤ 广义的数字人

是指数字技术在人体解剖、物理、生理及智能各个层次，各个阶段的渗透。需要注意的是，数字人是正在发展阶段的相关领域的统称。

➤ 20 世纪 80 年代，人们开始尝试将虚拟人物引入到现实世界中，虚拟数字人步入萌芽阶段。

该时期虚拟数字人的制作技术以手工绘制为主，应用极为有限。1982 年，日本动画《超时空要塞》播出后，制作方将女主角林明美包装成演唱动画插曲的歌手，并制作了音乐专辑，该专辑成功打入当时日本知名的音乐排行榜 Oricon，林明美也成为了世界上第一位虚拟歌姬。

1984 年，英国人 George Stone 创作出一个名为Max Headroom 的虚拟人物，MAX 拥有人类的样貌和表情动作，身穿西装，佩戴墨镜，曾参演了一部电影，拍摄了数支广告，一度成为英国家喻户晓的虚拟演员。由于技术的限制，其虚拟形象是由真人演员通过特效化妆和手绘实现。

➤ 21 世纪初，传统手绘逐渐被 CG、动作捕捉等技术取代，虚拟数字人步入探索阶段。

该阶段的虚拟数字人开始达到实用水平，但造价不菲，主要出现在影视娱乐行业，如数字替身、虚拟偶像等。电影制作中的数字替身一般利用动作捕捉技术，真人演员穿着动作捕捉服装，脸上点上表情捕捉点，通过摄像机、动作捕捉设备将真人演员的动作、表情采集处理，经计算机处理后赋予给虚拟角色。

2001 年，《指环王》中的角色咕噜就是由 CG 技术和动作捕捉技术产生，这些技术后续还在《加勒比海盗》、《猩球崛起》等电影制作中使用。2007 年，日本制作了第一个被广泛认可的虚拟数字人“初音未来”，初音未来是二次元风格的少女偶像，早期的人物形象 主 要 利 用 CG 技 术合成 ， 人物声音采用雅马哈的VOCALOID系列语音合成，呈现形式还相对粗糙。

➤ 近五年，得益于深度学习算法的突破，数字人的制作过程得到有效简化，虚拟数字人开始步入正轨，进入初级阶段。

该时期人工智能成为虚拟数字人不可分割的工具，智能驱动的数字人开始崭露头角。2018 年，新华社与搜狗联合发布的“AI合成主播”，可在用户输入新闻文本后，在屏幕展现虚拟数字人形象并进行新闻播报，且唇形动作能与播报声音实时同步。

2019 年，浦发银行和百度共同发布的数字员工“小浦”，也是利用自然语言处理、语音识别、计算机视觉等人工智能技术制作的虚拟数字人，可通过移动设备为用户提供“面对面”的银行业务服务。

➤ 当前，虚拟数字人正朝着智能化、便捷化、精细化、多样化发展，步入成长期。

2019 年，美国影视特效公司数字王国软件研发部负责人 Doug Roble 在 TED 演讲时展示了自己的虚拟数字人“DigiDoug”，可在照片写实级逼真程度的前提下，进行实时的表情动作捕捉及展现。今年，三星旗下的STAR Labs在CES国际消费电子展上展出了其虚拟数字人项目 NEON，NEON 是一种由人工智能所驱动的虚拟人物，拥有近似真人的形象及逼真的表情动作，具备表达情感和沟通交流的能力。

➤ 真人驱动型

主要是通过真人演员（二次元世界中也称为中之人）驱动数字人，在这种模式下虚拟数字人的语言、表情及动作等展现都与中之人的表现所对应，中之人通过佩戴面部捕捉、动作捕捉等设备实时获取面部、动作参数，并传递给对应的数字人进行相对应的口型、表情与动作驱动。由于真人驱动型数字人是通过真人传递操作，因此在动作灵活度和互动效果等方面有着明显的优势，被广泛应用于影视内容创作以及互动直播等领域。

真人驱动型数字人技术流程如下：

形象设计—>建模及绑定—>表情动作捕捉—>实时驱动—>渲染生成

➤ 计算驱动型

也被称为TTSA（Text To Speech & Animation）人物模型：主要通过深度学习技术、卷积神经网络等新型计算能力对虚拟数字人的语音、表情及动作等进行预测，根据计算结果驱动数字人模型，以生成相应的动画。由于虚拟数字人天生需要具有高度拟人化的特征，除了外观要求高度拟人化以外，在行为互动上也需要具备高度拟人化，具体来说包括：①在发音流畅度、韵律以及情感等方面需要符合真人发声习惯，②能准确识别用户需求，③能正确高效地理解用户的需求。因此，其驱动最终效果受到语音合成、语音识别以及自然语言处理等多种技术的共同影响。

计算驱动型数字人技术流程如下：

设计形象—>建模及绑定—>训练驱动模型—>内容制作—>渲染生成