由快手科技、北京大学及北京邮电大学联合打造的Kling AI平台孕育了专注于视频生成的AI模型Pyramid Flow，该模型可提供长达10秒的高质量视频片段。
模型细节
基于金字塔流匹配概念，Pyramid Flow利用新技术通过单个AI模型逐步生成视频。尽管大多数生成视频分辨率较低，但模型仅在最后阶段保存全分辨率版本。该技术将标记数量减少四倍，显著提升训练效率；同时具备分阶段压缩优化能力，实现更快的收敛速度，并能在每个批次中生成更多样本。关于“金字塔流匹配”的详细内容，可参阅文章《Pyramidal Flow Matching for Efficient Video Generative Modeling》。
训练数据
使用开源数据集训练后，该模型能以768p分辨率和每秒24帧的速度生成5至10秒视频。其训练集涵盖多模态研究数据集LAION-5B、图像文本对数据集CC-12M、高质量无模糊图像集SA-1B，以及文生视频常用数据集WebVid-10M和OpenVid-1M等。
研究人员共策展约1000万个单镜头视频。需注意，数据集的开源性质可能引发版权侵权及非法内容生成等风险。
推理方面，模型仅需56秒即可生成5秒长的384p视频，性能媲美或优于其他扩散模型。相比之下，Runway Gen 3-Alpha Turbo测试用时不到一分钟，多数情况10到20秒内即可完成，树立了极高的速度标杆。总体而言，开源的Pyramid Flow正有力挑战Runway（Gen-3 Alpha）、Luma（Dream Machine）、Kling及Haulio等订阅制竞品。
不过，Pyramid Flow仍存在局限，缺乏如Runway Gen-3 Alpha般的高级微调能力，难以对镜头角度、关键帧及人物动作等电影元素进行精细控制。
目前，模型源代码已在Hugging Face和Github开放下载，支持在本地推理shell中运行。项目采用MIT许可证发布，保留版权声明即可用于商业应用、修改及再分发。所有代码和模型权重均通过官方项目页面免费提供。