在Collider对《复仇者联盟：终局之战》导演乔·鲁索（Joe Russo）的访谈中，他预测两年内AI将能制作完整电影。尽管这一时间表较为乐观，但我们正逐渐接近该目标。
Gen-2：首批商业可用的文本到视频模型
本周，由Google支持、曾参与开发Stable Diffusion的AI初创公司Runway发布了Gen-2。作为今年2月推出的Gen-1的后续产品，Gen-2是首批商业可用的文本到视频模型之一，能够从文本提示或现有图像生成视频。（此前Gen-2仅处于有限等待名单访问状态。）
“商业可用”是关键区别。文本到视频被视为继图像和文本之后生成式AI的下一个前沿领域，科技巨头们过去一年虽演示过相关模型，但大多仍处于研究阶段，仅限少数数据科学家和工程师访问。
实测体验：限制与不足
出于好奇及服务读者，我通过Gen-2运行了多种提示词以测试其能力边界（目前Runway提供约100秒免费生成额度）。测试涵盖多种角度、类型和风格，旨在模拟专业导演或业余爱好者的创作需求。
帧率过低：Gen-2生成的4秒视频帧率极低，部分画面几乎如幻灯片般卡顿。这或是技术瓶颈，或是为节省算力所致，导致其对希望减少后期工作的编辑缺乏吸引力。
画质伪影：片段普遍存在颗粒感或模糊感，类似老式Instagram滤镜。当镜头环绕物体或快速推进时，还会出现像素化现象。
物理与解剖结构失真：如同超现实主义幻象，视频中人物肢体可能融合又分离，物体会融化进地板，倒影扭曲变形。人脸常呈现玩偶般的塑料质感，眼神空洞苍白。
语义理解偏差：Gen-2难以把握细微差别，常随机执着于某些描述符而忽略其他。例如提示“水下乌托邦伪纪录片”，仅生成第一人称潜水画面；明确要求“缓慢推镜头”却未执行；宇航员外观还原度也较差。
训练数据与偏见问题
上述问题或源于训练数据集。Gen-2采用扩散模型架构，基于包含2.4亿张图像和640万个视频片段的内部数据集训练。若数据集缺乏特定素材（如动画），模型便难以生成合理内容。
在偏见测试方面，Gen-2表现略优于DALL-E 2等模型。输入“CEO走进会议室”，生成了男女混合场景（男性居多）；输入“医生在办公室工作”，输出了亚裔女性医生形象。
但涉及“护士”或“等待服务人员”时，仍固化为年轻白人女性刻板印象，改进空间尚存。
定位与展望
总体而言，Gen-2目前更像新奇玩具而非实用工具。虽然输出经剪辑或可连贯叙事，但工作量可能超过实拍素材。
不过不应过分轻视该技术。Runway抢先实现文本到视频商业化令人印象深刻，其CEO Cristóbal Valenzuela表示Gen-2旨在帮助艺术家优化流程。实测显示，它在动漫、黏土动画等低帧率友好风格上表现尚可，串联片段创作叙事作品并非不可能。
针对深度伪造风险，Runway正结合AI与人工审核防止违规内容生成。实测证实存在严格的内容过滤器，但实际效果仍需观察。
至少目前，电影制作人、动画师及伦理学家可稍作安心。距离生成电影级画质，Gen-2仍需数代迭代。