大数跨境

Stability AI 进军视频生成领域

Stability AI 进军视频生成领域 海外洞察
2023-11-21
1
导读:生成式AI初创公司Stability AI宣布推出了一款名为Stable Video Diffusion的视频生成模型。

尽管OpenAI的动荡占据媒体头条,其他AI初创公司仍在稳步推进产品路线图。Stability AI于今日下午宣布推出Stable Video Diffusion,这是一款通过动画化现有图像生成视频的AI模型。

作为少数开源可用的视频生成模型之一,Stable Video Diffusion基于现有的Stable Diffusion文生图模型构建,在商业领域同样开放。但需注意,该模型目前处于“研究预览”阶段,用户须同意使用条款,明确其预期用途(如教育、创意设计)及非预期用途(如真实人物或事件的呈现)。

鉴于过往AI研究预览常在暗网流传,且该模型未内置内容过滤器,存在被滥用于制作深度伪造等恶意内容的风险。正如Stable Diffusion发布后曾被用于生成非自愿色情内容一样,这一隐患不容忽视。

模型规格与训练数据

Stable Video Diffusion包含两个版本:

  • SVD:将静态图像转换为576×1024分辨率、14帧的视频;
  • SVD-XT:架构相同,帧数提升至24帧。

两者均支持每秒3至30帧输出。据白皮书披露,模型先在数百万视频数据集上预训练,再在数十万至一百万片段上微调。由于数据来源未完全公开(部分来自公共研究数据集),若涉及受版权保护内容,可能引发法律与伦理争议。

图片来源:Stability AI

生成效果与局限性

尽管尚处早期,SVD和SVD-XT生成的四秒短片质量较高,样本表现可与Meta、Google、Runway及Pika Labs的产品相媲美。但Stability也坦承当前局限:无法生成无运动或慢平移镜头、不支持文本控制、难以清晰渲染文字,且面部与人物生成稳定性不足。

不过,模型具备较强可扩展性,未来可适配物体360度视图等场景。Stability计划推出更多衍生模型及网页端“文生视频”工具,目标覆盖广告、教育、娱乐等领域,加速商业化进程。

公司运营压力加剧

投资者施压下,Stability正全力打造爆款产品。今年4月Semafor报道其现金流紧张,需引入高管提振销售;《福布斯》亦指出公司多次延迟甚至拖欠薪资及税款,导致AWS威胁暂停GPU实例访问权限。

图片来源:Stability AI

近期,Stability通过可转换票据筹集2500万美元,总融资额超1.25亿美元,但未完成新一轮高估值融资(上次估值为10亿美元)。尽管收入低迷、烧钱率高,公司仍计划在未来数月将估值提升四倍。

此外,音频副总裁Ed Newton-Rex在任职仅一年后离职。他在公开信中表示,因在版权数据使用问题上与公司存在根本分歧而离开,此前他曾主导音乐生成工具Stable Audio的开发。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14239
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读46.0k
粉丝0
内容14.2k