最近在研究“用 AI 制作 3D 视频”时,很容易撞上一道结构断层。如果直接用像素级文生视频模型出片,画面虽然能动,却很难精确控制机位轨迹,也几乎无法单独修改某一个零件的位置或颜色;如果先用文生网格(Text-to-Mesh)工具生成 3D 模型,拿到的往往是一整块粘连在一起的三角面片,没有层级树和机械关节,后续想在视频里做拆解动画或零件联动依然很困难;而让大模型直接写代码搭建 3D 场景,又常常只停留在网页浏览器里,既容易写偏尺度或穿模,也不容易直接输出给原生渲染器和离线管线复用。
Google 开源的 Three-Live 正是针对这个断层给出的工程方案。先明确它的定位:它不是文生视频模型,也不是非线性视频剪辑工具,而是一个以 Three.js 为可移植 3D 中间表示(IR)的跨平台沙箱编译器与运行时。 根据该项目 docs/why-three-live.md 及仓库官方文档,它能把人类或大模型编写的标准 Three.js 脚本,在隔离沙箱中编译为标准 .glb 与 .usdz 资产文件、无头多视角检验图,以及 Android Filament、Apple RealityKit 和 WebGL2/WebGPU 原生场景。
为什么把 Three.js 当成 3D 中间表示?
传统的 3D 内容管线通常只有两条路:一条依赖 Blender、Maya 等桌面建模软件导出静态二进制资产(.glb、.fbx、.usdz),另一条则把命令式渲染代码绑死在某个单一引擎里。当工作流中引入大语言模型(LLM)、编程 Agent 或运行时参数化定制时,这两条路都会暴露出明显短板。
在 why-three-live.md 中,作者列出了三个核心原因:
大模型无法可靠地直接输出二进制 3D 文件:无论是原始顶点缓冲区、四元数数据,还是字节对齐的压缩归档格式,都不适合让模型逐 Token 拼装,稍微算错几个字节就会导致整个文件损坏。
文生网格扩散模型缺少场景结构:文本生成网格(Text-to-Mesh)的输出通常是一张合并后的单表面三角网,缺少部件层级、命名节点、机械关节约束、精确参数化尺寸和分离的物理渲染(PBR)材质。在制作 3D 视频时,没有层级结构就意味着很难按零件独立驱动运动或做爆炸拆解。
大模型已经非常擅长写 Three.js 语法:诸如
THREE.Mesh、THREE.Group、THREE.BoxGeometry和THREE.MeshStandardMaterial等标准构造器在公开代码语料中覆盖率极高,大模型生成这类代码的准确率明显高于动辄数百行的平台原生 3D 与着色器样板代码。
Three-Live 的思路是把 Three.js 从“浏览器专属的渲染接口”重新定位为“编译器输入语言”。注意下方流程图中从顶部蓝色入口到底部绿色终点的四段流转:脚本不再直接操作浏览器 DOM,而是先经过沙箱编译与配额校验,再下沉为标准化资产文件或直接送入各端原生渲染器。
Three-Live 将标准 Three.js 脚本经过沙箱编译,下沉为 .glb/.usdz 资产与多端原生场景
这意味着,只要大模型能够用清晰的代码描述“底座在哪里、齿轮半径多少、谁绕哪根轴旋转、表面采用什么材质”,整套结构化信息就可以在编译链路中完整保留下来,而不必被压扁成一团无法拆分的网格。
它和传统 3D 方案有什么区别?
把 Three.js 放在服务端或端侧沙箱里编译,和直接在网页里裸跑 Three.js、用静态播放器展示 .glb,或者搬出完整游戏引擎有什么本质差异?看下面对比表的左右两栏对照,Three-Live 在生成门槛、场景结构、AI 自检能力、不可信代码隔离以及跨端交付五个维度补齐了中间层缺口。
对比传统 AI 3D 路线,Three-Live 在结构保留、安全隔离与无头校验上补齐了工程缺口
如果把其中对 AI 创作管线影响最大的部分拆开来看,Three-Live 做了三层关键隔离与统一:
沙箱化的脚本执行:在 Android(通过 JNI)、Apple 平台(通过 C FFI)以及 CLI 工具中,Three.js 脚本运行在嵌入式 Rust
Boa引擎里;在浏览器中则运行在剥离了fetch、WebSocket、indexedDB等权限的独立 Web Worker,或隔离宿主页 Origin、Cookie 与本地存储的匿名源<iframe sandbox="allow-scripts">中。两者都会强制执行超时保护、内存限制和几何体配额(例如 Web 端文档明确标注了3~5秒级别的脚本超时看门狗,以及单场景最多 1,000 个网格、10 万个顶点、30 万个索引和 16 张纹理),避免大模型写出死循环或超大几何体拖垮宿主应用。无环节点着色器与跨端 PBR 材质:对于需要自定义材质动画的场景,Three-Live 支持无循环的
THREE.TSL节点图(限制最多 128 个 SSA 节点和 16 个 Uniform 变量,禁止TSL.Loop),同一份材质定义可分别编译至 Android Filament、Apple.usdz的 MaterialX(UsdShade)、WebGL2 GLSL、WebGPU WGSL 和 CPU 软件光栅化器。同时内置了wood、marble、brick、concrete、brushedMetal、rust、leather、fabric、carbonFiber、checkerboard、grid共 11 种程序化 PBR 材质预设。标准
.glb与.usdz资产导出:编译后的场景可以直接在本地打包为包含层级节点、PBR 材质、刚体物理属性和交互行为图的标准文件,既可以交由系统原生引擎渲染,也可以作为标准 3D 中间件输入其他 DCC 软件。
对“AI 制作 3D 视频”最实用的三项能力
回到做 3D 视频的实际需求,无论是用代码驱动动画镜头,还是让 Agent 辅助生成三维分镜与零件模型,Three-Live 中有三组能力最值得关注。
1. 无头视觉与空间自检闭环(解决 AI 盲写 3D 的顽疾)
大模型写 3D 代码最常见的翻车现场不是语法报错,而是“代码能跑,但画面根本没法看”:相机一不小心放在盒子里面、模型跑出镜头视野、用毫米做单位导致模型比楼还大、高金属度材质忘了加环境光而一团黑,或者零件互相重叠、悬在半空。
Three-Live 将一套免 GPU、单二进制的原生工具 three-live-cli(同时也提供零依赖的 MCP stdio 服务 three-live-cli mcp)直接做进了工作流里。注意下面状态流转图中右侧的琥珀色虚线回环:Agent 并非写完脚本就结束,而是必须经过空间静态检查与 CPU 无头光栅化渲染,一旦捕捉到异常就会依据结构化 JSON 诊断自动修改 scene.js。
three-live-cli 通过空间 Linter 与无头四视图渲染,为 AI Agent 建立自动排错闭环
根据项目文档 docs/llm-guide.md 与 README.md 的说明,典型验证命令包含三类动作(以下为官方示例命令,实际运行需预先安装 three-live 套件或独立的 three-live-cli 二进制工具):
# 1. 运行空间静态检查,输出 JSON 诊断(检测相机穿盒 TL302、出画 TL303、缺光发黑 TL305、重叠穿模 TL306、浮空/陷地 TL307 等)
npx three-live-cli validate scene.js --json
# 2. 纯 CPU 渲染四宫格工程视图(透视 + 正视 + 右视 + 顶视),附带 1 米网格和包围盒标注
npx three-live-cli render scene.js --view=quad --grid --annotations -o preview.png
# 3. 按时长切片渲染多帧序列图,验证 animate(t) 动画与交互状态过渡
npx three-live-cli render scene.js -o anim.png --frames=4 --duration=2.0
此外,如果你手头已经有一张参考图、产品草图或蓝图,还可以传入 --reference=blueprint.png,CLI 会输出包含参考图、渲染图、50/50 叠加图以及轮廓差异图(Diff)的对照表,并计算尺度平移不变的轮廓交并比(silhouetteIou),辅助 Agent 对齐机位与比例。对想用 AI 自动化生产 3D 动画分镜预演的人来说,这套“无需打开显卡渲染器或重型桌面软件即可在毫秒至秒级完成自检”的能力,比单纯提供一个 Web 播放器更有工程价值。
2. 参数化领域零件、骨骼与物理关节,直接导出复用
如果用纯基础几何体(盒子、球体、圆柱)拼装复杂物体,大模型写出来的模型往往显得很粗糙。Three-Live 在基础三维基元和 CSG 布尔运算(union、subtract、intersect)之外,还提供了一组按需加载的领域套件(Domain Kits),包含 57 个水密(2-manifold)参数化构件,覆盖五个常见门类:
机械工程(
THREE.Mechanical,15 类):直齿轮、锥齿轮、齿条、带轮、公制螺栓螺母、轴承、弹簧等。建筑设计(
THREE.Architecture,9 类):带开洞的墙体、楼板、直梯/螺旋梯、屋顶、门窗、立柱与栏杆。工业厂房(
THREE.Industrial,10 类):带法兰的三维管线、阀门、离心泵、货架、传送带、储罐等。科学可视化(
THREE.Science,14 类):分子结构、蛋白丝带图、晶体点阵、等值面、流线场、双螺旋等。电子硬件(
THREE.Electronics,9 类):PCB 板、带散热孔机壳、散热片、常见芯片封装与接插件等。
更重要的是运动与物理层。在动画和仿真方面,Three-Live 支持节点平移/旋转/缩放(TRS)关键帧、最多 64 关节的 GPU 骨骼蒙皮、变形目标(Morph Targets)、解析两骨骼与 FABRIK 逆运动学(THREE.IKSolver),以及 60Hz 确定性刚体物理与机械关节约束(铰链 hinge、滑块 slider、弹簧 spring、球头 ball;Web 端由同仓库 xr-live-sim 模块提供,原生移动端与 CLI/MCP 直接内置)。
下面是一段依据项目文档接口编写的示意脚本,展示了如何用极少的代码声明一个带名称、PBR 材质、轨道运动和运动学刚体属性的组件,并导出为 .glb 或 .usdz:
// 示例 scene.js:定义一个带轨道运动与运动学刚体属性的机械零件(文档语法示意)
const gear = new THREE.Mesh(
new THREE.CylinderGeometry(0.4, 0.4, 0.12, 32),
new THREE.MeshStandardMaterial({
color: 0x38bdf8,
metalness: 0.8,
roughness: 0.25,
})
);
gear.name = 'main-rotor';
gear.userData.xr = {
orbit: { speed: -0.4 },
physics: { body: 'kinematic', shape: 'cylinder' },
};
scene.add(gear);
const keyLight = new THREE.DirectionalLight(0xffffff, 2.0);
keyLight.position.set(2, 4, 3);
scene.add(keyLight);
scene.add(new THREE.AmbientLight(0xffffff, 0.5));
写完脚本并经过 validate 校验后,执行文档提供的转换命令即可把场景打包成携带完整层级、材质和物理/交互元数据的标准资产:
npx three-live-cli convert scene.js -o model.glb
npx three-live-cli convert scene.js -o model.usdz
一旦有了标准 .glb 或 .usdz,后续无论是送进 Blender、Unreal Engine 做高精材质渲染与运镜合成,还是直接放到网页 <three-live> 组件中用代码录制镜头,都有了结构清晰的原材料。
3. 图生场景(compileFromImage)与局部自然语言微调
在原型阶段,Three-Live 还支持两条 AI 辅助路径:
从参考图重建程序化场景:CLI 提供的
from-image(以及 Web/移动端 APIcompileFromImage)能够让模型根据照片、草图或蓝图生成 Three.js 脚本,并通过至少 2 个网格、有限包围盒、非空视锥体覆盖和零严重重叠等门禁检查;设置--visual-turns(0 到 5 轮)后,系统会拿无头渲染出的“参考图 | 渲染图 | 50/50 叠加图”与四视图回喂给模型进行多轮闭环修正。在手机端,它还支持接入 Android ARCore 或 Apple RoomPlan 的平面与物体尺寸先验,把生成结果锚定到真实物理尺度。局部语音或文字热更新:在 Web 组件中开启
three-live-ai模块后,可以通过editScene('把屋顶改成红色并加一个烟囱')或点击/语音选中(selectByVoice)对已有场景做局部编辑。每次修改都会先在沙箱重新编译并校验,只有通过后才会热替换当前画面,一旦失败则保持原场景不变并支持回退(undoEdit)。
能力边界:什么时候不该用 Three-Live?
看清一个工具“能做什么”之后,更关键的是知道它在哪几件事上并不合适。综合 docs/why-three-live.md 给出的取舍说明,以下三类场景建议改用其他工具:
追求电影级写实光追、体积光雾与复杂流体特效的终极出片:Three-Live 的设计目标是轻量、确定性、跨移动端与网页一致的实时渲染与快速无头光栅化,无法取代 Blender Cycles 路径追踪或 Unreal Engine Movie Render Queue 的影视级离线渲染。如果你做的是需要极端光影写实度的短片,更合理的用法是让 Agent 借助 Three-Live 完成结构化建模、尺度与重叠穿模验收并导出
.glb/.usdz,再把资产导入重型 DCC 工具渲染成片。只需要在网页上展示现成的静态美工模型:如果模型已经由三维设计师建好并导出为
.glb,项目中没有动态生成几何体、CAD 布尔运算、物理交互或 Android/iOS 原生 SDK 同步的需求,使用传统的<model-viewer>或 Three-Live 最精简的静态查看器three-live-viewer.min.js(gzip 后小于 31 KB)就足够了。重度依赖浏览器特性或大规模开放世界管线:由于 Three-Live 采用“默认拒绝(Fail-Closed)”的沙箱策略,场景脚本内部无法调用网络请求(
fetch)、操作宿主网页 DOM,也不能编写带任意循环的自定义着色器或计算管线;同时,它也不适合需要流式加载数 GB 大世界资源、复杂寻路网格或主机平台构建的完整大型游戏项目。
如果你正在探索的 3D 视频方向属于机械原理拆解、技术架构动画演示、建筑/产品多角度展示或程序化科普短片,Three-Live 非常有研究价值——它提供了一套让 AI Agent 能够安全写出带零件层级的 3D 脚本、自己看图纠偏并稳定输出 .glb/.usdz 的基础工具链。把它当成 AI 3D 视频管线里的“结构化场景编译器与空间质检员”,而不是直接替代后期渲染器,会更容易发挥出它的工程优势。

