大数跨境

李飞飞的世界模型上新:打开网页,就能逛 AI 生成的世界

李飞飞的世界模型上新:打开网页,就能逛 AI 生成的世界 AI范儿
2026-11-06
5
导读:Frameboy 把 Atlas 的生成画面变成了可交互探索的网页场景。公开版能逛精选世界,自有素材仍需 Viewfinder 内测。最高 15 帧之外,响应、成本和空间一致性还要分别看。

World Labs 把 AI 生成的世界,装进了一台网页里的“掌机”。

今天上线的 Frameboy,允许你控制相机,在场景里实时移动。画面由云端 GPU 生成,再传回浏览器,官方称最高可到 15 帧每秒。

这个入口已经公开。不过,现在能直接逛的是官方挑好的场景。想拿自己的图片搭世界,还得申请 Viewfinder 内测。

▲ 图:网页里的掌机

▲ 图:网页里的掌机

从一张图开始,走到画面之外

Frameboy 背后是 Atlas,World Labs 两个月前介绍的世界模型。

这里的“世界模型”,可以先理解成:给它一些画面,再告诉它相机往哪里走,它生成那个位置应该看到的画面。

官方展示了一组从单张图片出发的场景。但这张图并非直接变成一段可以随便走的视频。

▲ 视频:官方单图场景演示

Atlas 先生成一组额外视角,把场景补出来。这些视角进入 Frameboy 的空间上下文后,用户才能控制相机,连续探索。

▲ 图:单图补出更多视角

▲ 图:单图补出更多视角

这个过程里,原图没拍到的地方,需要模型生成。走出原有画面之后,看到的是模型对空间的补全,不能当成现实现场的证据。

真实地点,也能换个角度看

另一组官方案例从真实地标的多视角照片出发。模型已经看过这个地方的不同方向,再生成移动相机所需的新视角。

这和单图想象世界,输入条件不同。前者有更多真实画面约束,后者需要补出更多未知空间。

▲ 视频:官方地标探索演示

▲ 图:多视角约束相机探索

▲ 图:多视角约束相机探索

World Labs 去年做过 RTFM。官方说,RTFM 主要在已有视角之间插值,Atlas 则能用单图或文字等少量上下文生成新场景。

Frameboy 这次使用的是高度优化的 Atlas 变体。官方强调更快的推理,但没有公布具体 GPU 型号或优化细节。

自己的世界,要从 Viewfinder 进去

Frameboy 的公开地址是:

https://frameboy.worldlabs.ai/

网页用掌机外壳包住画面,两侧有方向和视角控制。这个造型容易让人想到游戏设备,官方这次发布的产品形态是网页研究预览。

Viewfinder 承担的是前面的搭建工作。用户从自己的输入出发,逐帧生成不同角度的场景;Atlas 同时生成颜色和深度,帮助查看空间。

▲ 图:Viewfinder 场景编辑

▲ 图:Viewfinder 场景编辑

场景搭好后,可以打开 Frameboy 叠加层,进入实时探索。编辑和漫游连在一起,迭代方式也变了:相机走到哪,就继续看那里。

▲ 视频:官方场景编辑演示

不过,Viewfinder 仍是封闭测试。官方提供了候补入口,不能把公开的 Frameboy 演示理解成“所有人都能上传图片造世界”。

候补名单地址:

https://worldlabs.ai/waitlist

15 帧之外,还有几个没回答的问题

实时交互最直接的变化,是少了一次次等待生成的停顿。

官方用同一个客厅作对照:手动方式先摆相机关键点,生成后再修改、再等待;实时方式则直接移动相机,连续观察。

▲ 图:相机输入与云端回传

▲ 图:相机输入与云端回传

“最高 15 帧每秒”给的是帧率上限。按下方向键后多久画面才响应,是另一个问题。

World Labs 研究人员 Chongjie Ye 在 X 上补充:其测试中,模型响应约 70 毫秒,含网络的按键到屏幕延迟不到 200 毫秒。

这是团队成员的自述,硬件、网络和测试样本没有交代,不能当作独立测速,也不能保证每个用户都能复现。

World Labs 还主动提到,Frameboy 必须运行在强力云 GPU 服务器上,相比本地渲染,成本并不便宜。

这段话说的是算力成本。官方没有给出实时探索的用户价目表,也没有公布这次演示的流分辨率。

▲ 图:公开体验与自建权限

▲ 图:公开体验与自建权限

游戏方面,官方举的用途是构思 3D 关卡。镜头能在生成场景里移动,不足以证明它已经具备碰撞、任务、角色行为和完整游戏规则。

虚拟取景、建筑查看、机器人环境,也都出现在官方的用途说明里。这些方向值得继续验证,目前不能把演示直接算成可交付的生产工具。

Frameboy 已经把“看一段生成结果”推进到“自己控制相机探索”。接下来要看的,是离开参考视角、走得更远、再回头时,这个世界还能保留多少。

参考资料

01|World Labs:Frameboy: Atlas in Real-time
https://www.worldlabs.ai/blog/atlas-realtime

02|World Labs:官方发布帖串
https://x.com/theworldlabs/status/2118424455873741028

03|World Labs:Frameboy 公开演示
https://frameboy.worldlabs.ai/

04|World Labs:候补名单
https://worldlabs.ai/waitlist

05|Chongjie Ye:实时交互与延迟自述
https://x.com/ychngji6/status/2118429957110341943

【声明】内容源于网络
0
0
AI范儿
只讲人话,带你玩转AIGC。
内容 82
粉丝 0
AI范儿 只讲人话,带你玩转AIGC。
总阅读3.1k
粉丝0
内容82