你可能不知道Viggle AI，但你很可能见过它创作的病毒式传播迷因。这家加拿大AI初创公司制作了数十段视频，将说唱歌手Lil Yachty在夏季音乐节舞台上蹦跳的画面进行混剪。在其中一段视频中，Lil Yachty被替换成了华金·菲尼克斯饰演的小丑；在另一段视频中，耶稣似乎正在为观众打气。用户制作了无数版本的这段视频，而背后推动这些迷因的正是Viggle。其首席执行官表示，YouTube视频为其AI模型提供了燃料。
JST-1：具备物理理解的3D视频基础模型
Viggle训练了一个名为JST-1的3D视频基础模型，据该公司新闻稿称，该模型具备“对物理学的真正理解”。Viggle首席执行官Hang Chu表示，与其他AI视频模型的关键区别在于，Viggle允许用户指定角色应采取的动作。其他模型通常会生成不符合物理定律的不真实动作，但Chu声称Viggle的模型有所不同。
我们本质上是在构建一种新型图形引擎，但完全基于神经网络。该模型本身与现有的视频生成器有很大不同，后者主要基于像素，并不真正理解结构和物理属性。我们的模型旨在具备这种理解能力，这也是为什么它在可控性和生成效率方面显著更优的原因。——Hang Chu
例如，要制作小丑扮演Lil Yachty的视频，只需上传原始视频（Lil Yachty跳舞）和一张角色图像（小丑），让角色执行该动作。或者，用户可以上传角色图像及包含动画指令的文本提示。作为第三种选择，Viggle允许用户仅通过文本提示从头创建动画角色。
但迷因仅占Viggle用户的一小部分。Chu表示，该模型已被广泛采用为创意人员的可视化工具。尽管视频画面抖动且面部表情呆板，但已证明对电影制作人、动画师和视频游戏设计师有效，能将想法转化为视觉内容。目前，Viggle的模型仅能创建角色，未来希望支持更复杂的视频。
Viggle目前在Discord和其网页应用上提供AI模型的免费有限版本，并提供每月9.99美元的订阅服务以增加使用额度，同时通过创作者计划向部分创作者提供特殊访问权限。CEO表示，Viggle正在与电影和视频游戏工作室洽谈技术授权事宜，但也观察到独立动画师和内容创作者正在积极采用该产品。
融资与合作伙伴
周一，Viggle宣布完成由Andreessen Horowitz领投、Two Small Fish参投的1900万美元A轮融资。本轮融资将帮助Viggle扩大规模、加速产品开发并扩展团队。Viggle告诉TechCrunch，它与Google Cloud等其他云提供商合作以训练和运行AI模型。这些合作伙伴关系通常包括访问GPU和TPU集群，但通常不包括用于训练AI模型的YouTube视频。
训练数据来源争议
在TechCrunch对Chu的采访中，关于Viggle AI视频模型的训练数据问题引发了关注。
“到目前为止，我们一直依赖公开可用的数据，”Chu说道，其回应与OpenAI首席技术官Mira Murati关于Sora训练数据的回答类似。当被问及训练数据集是否包含YouTube视频时，Chu直截了当地回答：“是的。”
这可能构成合规风险。今年四月，YouTube首席执行官Neal Mohan告诉彭博社，使用YouTube视频来训练AI文本生成视频模型将构成对平台服务条款的“明确违反”。Mohan澄清称，拥有YouTube的Google可能与某些创作者签订了合同，允许在其视频用于Google DeepMind的Gemini训练时使用；然而，根据服务条款，未经公司许可不得从该平台抓取视频。
在采访后，Viggle发言人最初通过邮件澄清称，CEO就此事发言过早，无法透露训练数据详细信息。但在指出Chu此前的言论是公开记录并要求明确表态后，Viggle发言人最终确认：
Viggle利用包括YouTube在内的多种公开来源来生成AI内容。我们的训练数据经过精心筛选和优化，确保在整个过程中符合所有服务条款。我们重视与YouTube等平台保持良好关系，并致力于遵守其条款，避免大量下载或任何其他涉及未经授权视频下载的行为。
截至目前，YouTube和Google发言人尚未对此作出回复。
该初创公司加入了其他将YouTube用作训练数据并因此处于灰色地带的公司行列。据报道，许多AI模型开发者——包括Nvidia、Apple和Anthropic——都使用YouTube视频转录或片段进行训练。这是硅谷中一个并非秘密的秘密：每个人可能都在这么做，真正罕见的是将其大声说出来。