在当今数字化时代，视频内容的需求呈爆炸式增长，但传统视频制作流程复杂、成本高昂且耗时。香港大学数据科学实验室推出的ViMax，作为一款开源的多智能体视频生成框架，为创作者提供了一种全新的解决方案，能够将创意、剧本或小说自动转化为完整视频，极大地简化了视频创作流程。

一、项目概述

ViMax 是一个端到端的多智能体视频生成框架，整合了导演、编剧、制片人和视频生成器的功能。它支持 Idea2Video、Novel2Video、Script2Video 和 AutoCameo 等模式，能够生成分钟级长视频并保持人物与场景一致性。通过智能分镜、多摄像机模拟和自动化一致性检测等技术，ViMax 实现了从创意到成片的高效自动化流程。

二、核心功能

（一）Idea2Video：创意一键成片

ViMax 的 Idea2Video 功能能够将简单的创意概念直接转化为完整的视频故事。用户只需输入一个核心创意，系统会自动完成从叙事构建到角色设计、场景规划以及视频制作的全流程。这一功能非常适合那些只有初步想法但尚未形成详细剧本的创作者，极大地降低了创意落地的门槛，让灵感迅速可视化。

（二）Novel2Video：小说自动影视化

Novel2Video 是 ViMax 的智能文学改编引擎，能够将长篇小说自动转化为分集视频内容。它通过智能叙事压缩、角色追踪和逐场景视觉化改编，将小说中的文字描述转化为生动的视频画面。这一功能为文学作品的影视化提供了全新的解决方案，让小说内容以视频形式呈现，拓展了文学作品的传播形式。

（三）Script2Video：剧本精准生成视频

Script2Video 功能允许创作者根据详细的剧本生成视频。用户可以自由创作任意剧本，从个人故事到史诗冒险，ViMax 能够精准地将剧本内容转化为视频画面。创作者可以全面掌控视觉叙事的每个细节，包括镜头设计、场景切换和角色表现，确保视频内容与剧本高度一致。

（四）AutoCameo：个性化视频互动

AutoCameo 是 ViMax 的个性化互动功能，用户只需上传一张照片，系统就能生成包含用户形象的视频。用户可以将自己或宠物融入各种创意剧本、影级镜头和互动剧情中，成为视频中的主角。这一功能不仅增加了视频的趣味性和互动性，还为用户提供了全新的个性化体验。

三、技术揭秘

（一）多智能体协作架构

ViMax 采用多智能体协作架构，将视频生成任务分解为多个模块，由不同智能体分工完成。包括输入解析、脚本理解与分镜设计、视觉资产规划、一致性检查、并行生成与合成等环节。

（二）关键技术创新

• 智能长剧本生成：基于 RAG 的长剧本设计引擎，能够智能分析长篇小说般的叙事结构，并自动将其分割为多场景剧本格式。

• 多机位拍摄模拟：模拟多摄像机拍摄，为观众提供沉浸式观看体验，同时保持场景内角色定位和背景的一致性。

• 智能参考图像选择：自动选择当前视频第一帧所需的参考图像，包括之前时间线中出现的分镜头，确保视频角色和环境元素的准确性。

• 自动化一致性检查：通过 MLLM/VLM 并行生成多张图像，并选择与之前时间线最一致的图像作为第一帧。

• 高效并行镜头生成：对同一摄像机捕获的连续镜头进行并行处理，实现高效的视频生产。

四、应用场景

（一）内容创作与自媒体

在内容创作和自媒体领域，ViMax 是创作者的得力助手。创作者可以快速将创意转化为短视频，用于抖音、B站等社交媒体平台。Idea2Video 功能尤其适合快速生成创意内容，大大提升了内容生产效率，帮助创作者在竞争激烈的内容市场中快速产出高质量视频。

（二）教育与培训

在教育领域，ViMax 能将复杂的教学内容转化为生动的视频，帮助学生更好地理解和记忆。例如，通过 Script2Video 功能，教师可以将教学大纲或知识点编写成剧本，生成教学视频，提升学生的学习兴趣和参与感。

（三）广告与市场营销

对于广告和市场营销行业，ViMax 可以根据营销概念或产品故事快速生成具有叙事性的广告短片。Idea2Video 功能能够快速将品牌理念转化为吸引人的视频内容，用于社交媒体传播，提升品牌影响力和产品推广效果。

（四）编剧与独立制片

编剧和独立制片人可以利用ViMax 作为前期制作的可视化工具。通过 Script2Video 功能，将剧本快速转化为视频预览，评估故事节奏和视觉效果，优化剧本内容，降低制作成本，提高项目成功率。

（五）个人娱乐与社交

在个人娱乐和社交方面，AutoCameo 功能为用户提供了全新的互动体验。用户可以上传照片，生成包含自己形象的趣味短视频，用于分享和娱乐。这种个性化的视频内容不仅增加了互动性，还为用户带来了全新的娱乐方式。

五、快速使用

（一）环境准备

在开始使用ViMax 之前，需要确保本地环境已正确配置。推荐使用 Python 环境管理工具（如 `uv`）来安装项目依赖。根据项目提供的 `requirements.txt` 或 `environment.yml` 文件，安装所需的 Python 库和依赖项。

（二）项目克隆

从ViMax 的官方 GitHub 仓库克隆项目到本地计算机。运行以下命令：

git clone https://github.com/HKUDS/ViMax.gitcd ViMax

这将下载项目代码到本地目录，为后续操作做好准备。

（三）配置文件

在`configs` 目录下，找到对应的配置文件（如 `idea2video.yaml` 或 `script2video.yaml`）。根据需要填写 AI 模型的 API 密钥信息，包括大语言模型、图像生成模型和视频生成模型的配置。例如：

chat_model:  init_args:    model: google/gemini-2.5-flash-lite-preview-09-2025    model_provider: openai    api_key: <YOUR_API_KEY>    base_url: https://openrouter.ai/api/v1 image_generator:  class_path: tools.ImageGeneratorNanobananaGoogleAPI  init_args:    api_key: <YOUR_API_KEY> video_generator:  class_path: tools.VideoGeneratorVeoGoogleAPI  init_args:    api_key: <YOUR_API_KEY>

（四）运行脚本

根据您的需求，选择合适的Python 脚本运行。例如，使用 `main_idea2video.py` 将创意转化为视频：

# 在 main_idea2video.py 中配置输入idea = """If a cat and a dog are best friends, what would happen when they meet a new cat?"""user_requirement = """For children, do not exceed 3 scenes."""style = "Cartoon"

运行脚本：

python main_idea2video.py

脚本将根据输入的创意生成视频，并保存到指定的工作目录。

对于基于剧本生成视频，可以使用`main_script2video.py`。在脚本中输入详细的剧本内容和创意要求，然后运行：

python main_script2video.py

这将根据剧本生成对应的视频。

（五）查看输出

生成的视频和相关日志将保存在配置文件中指定的工作目录（如`.working_dir/idea2video`）。您可以在此目录中查看生成的视频文件和调试日志，评估生成效果。

六、结语

ViMax 作为一款强大的多智能体视频生成框架，为创作者提供了一个高效、便捷的视频创作工具。它不仅解决了传统视频制作中的诸多痛点，还极大地降低了视频创作的技术门槛，让每个人都能轻松实现创意到视频的跨越。未来，随着技术的不断进步和社区的持续贡献，ViMax 有望在更多领域发挥更大的作用。

GitHub 仓库：https://github.com/HKUDS/ViMax

点亮“关注”，设为“星标”，精彩不迷路！与你携手探索AI的无限可能，精彩内容持续更新！🚀