大数跨境
0
0

「奇妙元」实现技术新突破:AI数字人自如行走,逼真度再升级!

「奇妙元」实现技术新突破:AI数字人自如行走,逼真度再升级! 出门问问AIGC
2024-05-08
0
导读:「奇妙元」数字人支持在室外实景中自如行走并流畅沟通。


随着市场需求的不断多元化,「奇妙元」基于最新2.5D数字人系统WetaAvatar 4.0,推出实景行走数字人,让数字人从此“走起来”。

在此之前,AI数字人技术多局限于静态展示或基础动作模拟。而「奇妙元」的最新技术突破了这些限制,不仅使数字人能够超越室内环境的束缚,还在动作表现上实现了显著进步。现在,数字人可以在室外实景中自如行走并流畅沟通,呈现出更加自然和逼真的交互效果

「奇妙元」持续丰富
数字人表现形式

在不断更新的2.5D数字人系统基础上,我们的技术团队已经在WetaAvatar3.0数字人系统中对数字人的多样化表现形式进行了深入研究与开发。2023年,技术团队第一次在2.5D数字人技术中整合了3D建模功能,这一重大革新允许系统深度学习并精确复原形象的面部特征,无论是牙齿、嘴唇还是最细微的表情纹路,都能实现精确到1:1的高保真还原。

在3D模型的加持下,即便在复杂的动态场景中,如人物移动,我们的系统也能确保数字形象的整体一致性和自然呈现。这不仅标志着我们技术上的一个重要突破,也为WetaAvatar4.0数字人系统在更复杂环境中的运动和交互打下了坚实的技术基础。

2023年推出的前后走动数字人效果演示

一个突破点

两大技术整合

在基于WetaAvatar 3.0数字人系统的前后走动数字人之后,我们的技术团队取得了新的突破,创建了一种动态性更强、逼真度更高的数字人表现形式——实景行走数字人。

一般而言,数字人拍摄通常在绿幕背景的专业摄影棚进行。在这种环境下,背景条件得以控制,光线分布均匀,且所拍摄的形象通常处于坐姿或站姿,极大减少了动作变量。

数字人通常为站姿或坐姿

相比之下,室外实景行走数字人的拍摄和制作面临着更加复杂的挑战。室外环境本身变化多端且干扰元素众多,这不仅要求数字人在更广泛的空间中进行更加自然连贯的肢体动作,而且其面部表情、视角、部分着装,乃至背景光线等都可能会随之变化。这些变数极大提升了室外实景数字人形象克隆任务的难度和技术要求。

为解决这一难点,我们的技术团队采纳了一种结合3D建模技术和 Alpha 参数细调的方法通过这一技术整合,「奇妙元」能够创造出外观自然且嘴型同步的数字形象。利用3D建模技术,我们的算法能够仅凭数分钟的视频数据,全面捕捉到个体特征的细微差异,例如牙齿排列、皮肤皱纹,以及不同的面部表情——比如快乐、放松或担忧。此外,通过引入 Alpha 参数调整的技术,增设简化的模型分支,可让系统区分人物特征的前景与背景,确保即使在动态真实场景中人物也能保持自然的表现。

Alpha 参数调整技术简要示意

支持多语言

赋能多行业应用

在实景行走数字人技术基础上,「奇妙元」将进一步扩展其多语言功能的应用范围。得益于「魔音工坊」MeetVoice Pro技术的先进支持,「奇妙元」的用户现在可以选择至臻发音人,实现同一发音人在中英文之间的无缝切换,在进行双语口播时保持一致的音色,极大地提升了用户体验。

此外,「奇妙元」还提供了数十种小语种的发音人支持,包括但不限于德语、法语、韩语、日语、西班牙语和阿拉伯语等,这不仅丰富了产品的多语言能力,也为用户在不同语言环境中的内容输出提供了便利,有效助力用户实现内容的国际化传播。

通过结合「魔音工坊」的多样化发音人和「奇妙元」的实景行走数字人技术,我们成功塑造一个具备自由行动能力和掌握多音色多语言的AI数字人。这一创新成果将在多个行业中发挥重要作用,推动行业进步和革新。

  • 教育领域的个性化教学 
在教育领域,AI数字人能够作为数字导师,提供个性化的学习体验。通过定制化的学习计划和互动式教学方法,AI数字人能够提高学习效率,激发学生的学习兴趣和参与度。
  • 娱乐产业的沉浸式互动 
在娱乐产业,AI数字人的自如行走能力和逼真的数字角色表现,将为用户带来更加丰富和真实的沉浸式体验。这不仅增强了数字角色的吸引力,也为娱乐内容的创作和消费提供了新的可能性。
  • 客户服务领域的高效互动 
在客户服务领域,AI数字人能够提供24x7的不间断服务,通过在真实环境中与客户互动,提供更加直观和个性化的服务体验,提升客户满意度和忠诚度。
  • 旅游和展览领域的数字导游 
在旅游和展览领域,AI数字人能够作为数字导游,提供多语言的导览服务,在真实景区内介绍景点和展品信息,增强游客的体验感和满意度。
  • 新闻媒体领域的实时报道 
在新闻媒体领域,AI数字人能够进行实时新闻报道和事件解说,提供基于室外实景的多角度、多语言的新闻内容,满足不同受众的信息需求。

展望未来

在近期的技术进展中,「奇妙元」成功集成了众多前沿技术,包括照片驱动、换脸技术以及视频翻译等。借助WetaAvatar 4.0算法的卓越性能,其数字人的表现力得到了显著提升,拓展了在各个领域的应用潜力。

目前,「奇妙元」的技术团队正致力于开发新一代的、更具吸引力的应用——多情感数字人。这一创新技术支持用户即便在视频中保持静态表情,也能通过输入一段带有积极情感色彩的文本,实现生成一个情感丰富的数字人视频内容。这不仅体现了「奇妙元」利用技术赋予数字内容以生命力的愿景,更让情感的表达在屏幕上栩栩如生,为用户带来了前所未有的互动体验。

对于室外实景行走数字人感兴趣的客户

可联络👇

用户福利来袭
注册「奇妙元」后,
点击我的 - CDK兑换码,
输入兑换码:AIGC2024
免费获得数字人合成时长
目前,出门问问 AIGC 产品累计服务的用户数量已超 1200 万,注册用户数量超 800万,其中付费的用户数量超 60 万。据灼识咨询行业报告,出门问问是亚洲起步最早、收入规模最大的专注于生成式 AI 的人工智能公司。

 


【声明】内容源于网络
0
0
出门问问AIGC
出门问问是一家以生成式AI与语音交互为核心的人工智能公司,主要产品包括:魔音工坊 AI配音平台(moyin.com) ,奇妙元 AI数字人平台(weta365.com),DupDub 魔音工坊海外版(dupdub.com)。
内容 209
粉丝 0
出门问问AIGC 出门问问是一家以生成式AI与语音交互为核心的人工智能公司,主要产品包括:魔音工坊 AI配音平台(moyin.com) ,奇妙元 AI数字人平台(weta365.com),DupDub 魔音工坊海外版(dupdub.com)。
总阅读67
粉丝0
内容209