大数跨境

Sora的视频生成效果为什么不行?

Sora的视频生成效果为什么不行? Agent的潜意识
2024-12-10
0
导读:视频相对于文本,根本区别是像素值是连续变量,而语言是离散变量。sora的技术范式是要从几十万个候选token里预测出正确的语义token,这无异于大海捞针。因此收敛到局部鞍点也在所难免


今天,鸽了12个月的openai放出了sora的在线体验版。20刀的Plus最多生成50个视频,最多720P、5s,还有水印。尊贵的200刀的Pro会员就比较香了,最多快速生成500个视频,还能无限慢速跑,1080P、20s,还有无水印。

这里我们放一个200美元玩家的视频:


可以看到很多人在飘着走,还有人有倒着走的感觉。动作也极其不协调。

从玩家放出来的视频来看,效果很一般。尤其是涉及到运动场景motion的表达能力太弱了。一旦视频生成时间长一点,就开始切换镜头,生成的视频没有连续感。那么,为什么耗资巨大的视频生成模型效果这么弱呢?为啥视频生成不能像SD生成图片一样效果好呢?我们来从算法视角解刨这个问题。


一、视频相对于文本,根本区别是像素值是连续变量,

而语言是离散变量

我们都知道,RGB像素值(255,255,255)是白色,(0,0,0)是黑色。RGB 0-255这个像素值(整数),每个值都代表一个通道颜色的逐级变化。这表明这个像素值是连续有大小关系的,而语言文字,是对世界的抽象表达,每个汉字都是独立个体,每个汉字两两之间并没有大小之别,因此,将语言分割为一个个独立的token,然后用超大规模transformer做一个(输入text加下一个token的联合概率分布的)分类预测,这在底层数学原理上是make sense的。

当LLM取得巨大成功之后,将这种tokenize的方式硬加到图像视频生成领域。这一做法有利有弊。先说原理,sora这种视频生成算法,本质是将视频切割为图片,对图片中的像素值进行视觉语义token化,分割成一个个视觉token。这一过程有点像传统计算机视觉中的超像素分割,不过这个过程比他高级,因为视觉的token更加抽象化更加高维的特征。然后,用一个超大规模transformer来预测这些语义token即可。整个范式看似浑然天成,其实存在非常大的缺陷。第一、图像视觉语义token化后,预测生成的是语义token,然后在token序列的基础上,类似反卷积升维为一个正常的RGB视频,这两个过程会丢失很多视觉的细粒度信息,这一就会导致生成的视频不够逼真,这个是天然缺陷。第二,文本是世界的高度抽象压缩表达,因此天然具有低秩属性,一般分词器(包含符号、英语、汉语、代码等)最大的shape也就几万维。但视频是客观世界的直接表达,这个表达没有任何压缩的。从学术界的研究来看。最好的语义分词器,视觉的token列表也有二三十万大小。这个大小相对于GPT的几万维来说,训练收敛的计算量不是十倍关系,而是指数级增长,2的10次分1024都是保守估计了。因为这个shape的大小最终落地在softmax的分类预测上。我们都知道,两个类别分类,最低都有50%的准确率,单选题四选1,也有25%的准确率,但如果是100里面选择出正确答案,这个难度就非常大了。而sora的技术范式是要从几十万个候选token里预测出正确的语义token,这无异于大海捞针。因此收敛到局部鞍点也在所难免。

【声明】内容源于网络
0
0
Agent的潜意识
1234
内容 287
粉丝 0
Agent的潜意识 1234
总阅读0
粉丝0
内容287