使用姿势估计和地标生成技术的自动 3D 角色动画
源代码
http://www.gitpp.com/digital-twin/digitalhuman
DigitalHuman 是一个旨在根据相机输入在 3D 角色模型上 自动生成全身姿势动画 + 面部动画的项目。
关于数码人
DigitalHuman 是一个用于在 3D 虚拟角色上实现动画生成自动化的系统。它使用姿势估计和面部标志生成器模型在 3D 虚拟角色上创建整个身体和面部动画。
DigitalHuman 是使用MediaPipe和Unity3D开发的。MediaPipe 生成人体全身和面部的 3D 地标，Unity3D 在处理 MediaPipe 生成的地标后用于渲染最终动画。下图显示了应用程序的整体架构。
项目的示例输出
项目演示|教程
手动画
全身动画
人脸动画
安装
按照说明运行程序！
后端服务器安装
安装 MediaPipe python。
pip install mediapipe
安装 OpenCV python。
pip install opencv-python
转到
backend目录并安装其他要求：
pip install -r requirements.txt
您需要下载COCO 数据集的预训练生成器模型并将其放入
backend/checkpoints/coco_pretrained/.
Unity3D安装
按照以下指南安装 Unity3D 及其要求（如果已安装 Unity3D，请跳过 1-3）。
下载并安装 UnityHub
在UnityHub中添加新许可证并注册
在UnityHub内安装Unity编辑器（推荐
LTS版本和更高版本）。2020.3.25f1在 Unity 项目设置中，在播放器设置中允许 HTTP 连接。
下载以下包并将其导入到您的项目中，以启用 FFmpeg 提供的录制选项（下载
.unitypackage文件并将其拖到您的项目中）。
FFmpegOut 包（MIT 许可证）
FFmpegOutBinaries 包(GPL)
用法
backend使用以下命令 在目录中运行后端服务器：python server.py运行 Unity 项目并打开主场景
Assets\Scenes\MainScene.unity通过从 Unity 项目上传视频到后端来测试程序（您可以通过从右侧菜单中选择提供的动画来测试应用程序！）。
使用姿势估计和地标生成技术的自动3D角色动画，是一种先进的动画制作技术。这种技术通过捕捉和分析视频中人物的动作，然后映射到3D角色模型上，从而生成逼真的动画效果。具体来说，姿势估计技术用于识别和跟踪视频中的人体姿态，而地标生成技术则用于在3D空间中定位这些姿态，以便准确地将它们映射到3D角色上。
这种生成动画的技术具有多个优势：
效率与自动化：传统的3D动画制作需要动画师手动调整角色的每一个动作和表情，这是一个耗时且劳动密集的过程。而使用姿势估计和地标生成技术的自动3D角色动画可以大大简化这一过程，提高制作效率。通过自动捕捉和分析视频中的人体动作，系统能够快速生成相应的3D动画，极大地减少了手动调整的工作量。
真实性与逼真度：由于这种技术是基于真实的人体动作进行捕捉和映射的，因此生成的3D动画在动作和表情上具有高度的真实性和逼真度。这种真实性不仅能够提升观众的观看体验，还有助于更好地传达动画中的情感和故事。
灵活性与可定制性：使用姿势估计和地标生成技术的自动3D角色动画可以根据不同的视频输入生成不同的动画效果。这意味着动画师可以根据需要选择不同的视频源来创建具有独特风格和动作的3D角色动画。此外，这种技术还可以与其他动画制作工具和软件进行集成，提供更大的灵活性和可定制性。
成本效益：相比传统的3D动画制作方式，这种自动化技术可以降低制作成本。由于减少了大量手动调整的工作，因此可以节省人力和时间成本。同时，这种技术还可以提高动画制作的速度和质量，从而帮助动画师更快地完成项目并满足客户需求。
总的来说，使用姿势估计和地标生成技术的自动3D角色动画为动画制作带来了革命性的变化。它不仅提高了制作效率和质量，还增强了动画的真实性和逼真度，为观众带来了更好的视觉体验。
使用姿势估计和地标生成技术的自动 3D 角色动画
源代码
http://www.gitpp.com/digital-twin/digitalhuman