大数跨境

《Animate Anyone》预示着全动态深度伪造技术的到来

《Animate Anyone》预示着全动态深度伪造技术的到来 海外洞察
2023-12-04
2
导读:如果说静态深度伪造(deepfake)已经够糟糕了,那么我们可能很快就要面对这样一个现实:任何敢于在网上发布自己照片的人,都可能成为生成视频的素材。

仿佛静态深度伪造还不够糟糕,我们可能很快就要面对由任何人敢在网上发布照片而生成的视频:Animate Anyone让恶意行为者比以往任何时候都能更好地操控他人。

这项新的生成式视频技术由阿里巴巴集团智能计算研究所的研究人员开发。与之前的图像到视频系统(如 DisCo 和 DreamPose)相比,这是一个巨大的进步;这些系统在夏季曾令人印象深刻,但如今已显得过时。

Animate Anyone 所实现的功能绝非前所未有,但它已经跨越了从“笨拙的学术实验”到“如果不仔细看还算过得去”这一艰难阶段。正如我们所知,下一个阶段就是纯粹的“足够好”,人们甚至懒得仔细查看,因为他们会假设它是真实的。目前,静态图像和文本对话正处于这一阶段,对我们的现实感造成了巨大冲击。

此类图像到视频模型首先从参考图像(例如展示待售连衣裙的模特时尚照片)中提取细节,如面部特征、图案和姿态。然后创建一系列图像,将这些细节映射到略微不同的姿态上,这些姿态可以通过动作捕捉获得,也可以从其他视频中提取。

先前的模型证明了这是可行的,但存在许多问题。幻觉是一个主要问题,因为模型必须发明合理的细节,例如当人转身时袖子或头发可能如何移动。这导致产生大量非常奇怪的图像,使得最终的视频远不具说服力。但这种可能性依然存在,而 Animate Anyone 有了显著改进,尽管仍远非完美。

新模型的技术细节对大多数人来说过于深奥,但论文强调了一个新的中间步骤,“使模型能够在一致的特征空间中全面学习与参考图像的关系,这显著有助于提升外观细节的保留。”通过改善基本和精细细节的保留,后续生成的图像拥有更可靠的真实依据,从而效果更佳。

图片版权:阿里巴巴集团

他们在几种场景中展示了他们的成果。时装模特摆出任意姿势,而不会发生变形或服装图案丢失。一个二维动漫人物活灵活现地跳舞,convincingly(令人信服地)。莱昂内尔·梅西做出了一些通用的动作。

它们远非完美——尤其是在眼睛和手部方面,这对生成式模型构成了特别困难。而且,表现最好的姿态是那些最接近原始姿态的;例如,如果人物转身,模型就难以跟上。但与之前的最先进水平相比,这是一个巨大的飞跃,后者产生了更多的伪影,或者完全丢失了重要细节,如人物的发色或服装颜色。

想到只需一张高质量的个人照片,恶意行为者(或制作方)就能让你做任何事,再加上面部动画和语音捕获技术,他们还能让你同时表达任何内容,这令人不安。目前,该技术过于复杂且存在缺陷,不适合普通用户使用,但在人工智能领域,情况往往不会长期保持如此。

至少团队尚未将代码公之于众。尽管他们有一个GitHub页面,但开发者写道:“我们正在积极准备用于公开发布的演示程序和代码。虽然目前无法承诺具体的发布日期,但请确信我们提供演示程序和源代码访问权限的意图是坚定的。”

当互联网突然被大量舞蹈伪造视频淹没时,是否会引发混乱?我们将拭目以待,而且可能比我们希望的更早到来。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14239
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读46.0k
粉丝0
内容14.2k