大数跨境

突发!李飞飞最新 AI 成果发布,把世界模型装进复古掌机,单张图实时跑出 15 帧

突发!李飞飞最新 AI 成果发布,把世界模型装进复古掌机,单张图实时跑出 15 帧 APPSO
2026-11-06
6
导读:世界模型迎来实时交互

李飞飞团队发布Frameboy:Atlas世界模型迈入实时交互时代

过去,用户在体验3D世界模型或视频生成时,往往需要面对漫长的渲染等待。今日,由李飞飞创办的World Labs正式发布研究预览版Demo——Frameboy,将其自回归世界模型Atlas带入实时交互新阶段。
用户只需通过浏览器访问,云端GPU即可以最高15 fps的帧率实时串流画面。这种低延迟体验允许用户像操作游戏一样自由操控镜头,在由单张图片生成的3D世界中自由探索。即使试错,也无需长时间等待,可随时调整视角继续探索。
此次技术更新也是AMD宣布以82亿美元(约合人民币550亿元)全股票收购World Labs后,李飞飞团队交出的重要技术答卷。

优化推理效率,实现单图实时15帧渲染

两个月前亮相的Atlas作为自回归世界模型,具备逐帧生成画面及像素级相机视角控制能力,广泛应用于虚拟3D世界构建、真实地标还原及电影勘景等场景。然而,其生成速度较慢曾是主要瓶颈,创作者在调整机位时需等待数十秒甚至数分钟,严重影响创作效率。
为解决这一痛点,团队对Atlas进行了深度推理优化,并推出搭载该优化模型的实时交互Demo Frameboy。其复古掌机式的设计风格致敬了经典的Game Boy。随着生成速度提升至最高每秒15帧,用户不再感知到点击生成的割裂感,只需在浏览器中推拉摇移,云端即可实时推送新视角画面。
以官方客厅演示为例,传统慢速模型需用户手动设定关键帧并等待渲染,反复调整耗时费力;而在Frame实时模式下,用户可直接操控虚拟相机旋转,视野所及之处画面同步更新。
相较于去年主要进行视角插值的轻量级模型RTFM,如今的Atlas模型规模更大、数据量更多,能力边界显著拓展。它不仅能基于单张静态图片或文字描述从零构建周边场景,还保留并升级了多视角新视图合成能力,支持通过多角度照片在浏览器中实现实景漫游。

结合Viewfinder应用,打造个性化3D空间

除了预设场景,World Labs还将实时串流能力整合至网页端应用Viewfinder中,目前该功能处于封闭测试阶段。在Viewfinder中,用户上传图片作为起点,操控虚拟相机逐步扩展,一帧帧搭建3D空间。Atlas在生成每一帧时同步输出色彩与深度信息,确保三维空间结构的视觉对齐。
场景主体构建完成后,用户可一键唤起Frameboy叠加层,将静态工程瞬间转化为实时串流的3D互动空间。团队旨在将Atlas打造为下一代生成式渲染器。
尽管现阶段Frameboy依赖云端高性能GPU服务器,成本较高,但随着软硬件协同演进,实时生成式3D渲染有望成为普及工具。

AMD收购加速软硬协同,布局物理AI赛道

9月28日,AMD宣布以82亿美元全股票交易收购成立仅两年的World Labs,创下其历史上第二大收购纪录。交易预计年底完成,李飞飞将出任AMD执行副总裁兼首席科学家,直接向苏姿丰汇报;原研发团队由Justin Johnson和Ben Mildenhall带领,继续深耕空间模型与物理AI。
此次收购体现了双方战略互补。对AMD而言,物理AI是继大语言模型后的关键战场。通过整合World Labs,AMD能深入理解下一代世界模型的算力负载特征,反向指导GPU架构、AI芯片及ROCm软件栈规划,从而在机器人与空间计算领域增强竞争力。
对李飞飞团队而言,与芯片底层团队的紧密协作有助于降低算力成本,推动实时生成式3D渲染技术从云端实验室走向终端普及。
我们正在招募伙伴
简历投递邮箱hr@ifanr.com
邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)
更多岗位信息请点击这里

【声明】内容源于网络
0
0
APPSO
AI第一新媒体,「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al
内容 15907
粉丝 0
APPSO AI第一新媒体,「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al
总阅读581.2k
粉丝0
内容15.9k