大数跨境

扔掉COLMAP吧!这个前馈模型20FPS实时重建3D世界

扔掉COLMAP吧!这个前馈模型20FPS实时重建3D世界 AI大风歌
2026-07-21
0
导读:前馈式3D基础模型,视频喂进去,3D场景实时出来,每秒20帧。

扔掉COLMAP吧!这个前馈模型20FPS实时重建3D世界


说到3D重建,搞过的人都知道那个痛:COLMAP跑一组图要等半天,NeRF训练一晚上,3DGS稍微好点但也要反复迭代优化。你拍个视频想转成3D场景?对不起,先泡杯咖啡等着吧。

现在有个中国团队的项目,直接把这个流程颠覆了——视频喂进去,3D场景实时就出来了,每秒20帧,一口气能跑一万多帧。

这个项目叫 LingBot-Map,GitHub 一天涨了831颗星,总计已经1.3万星。


它到底干了什么

一句话概括:LingBot-Map 是一个前馈式3D基础模型,你给它视频流,它实时输出3D点云地图,不需要任何迭代优化。

传统方法是什么路子?先提取特征点,再匹配,再做SfM稀疏重建,然后Dense重建,最后mesh或者点云。每一步都要全局优化,慢得要死。

LingBot-Map 的思路完全不同:它用了一个叫「几何上下文Transformer」的架构,把坐标定位、几何线索、漂移校正三件事统一在一个流式框架里。模型看到一帧就处理一帧,处理完就往前推,不需要回头。

这就像是你走路的时候边走边画地图,而不是走完整个楼再回头凭记忆画。


三个核心亮点

1. 几何上下文Transformer

这个架构设计是精髓。它解决了流式3D重建的三个老大难问题:

• 坐标定位:用anchor context机制,让模型知道"我在哪"

• 密集几何线索:每一帧都提取稠密的几何信息,不是稀疏特征点

• 长程漂移校正:用trajectory memory做长距离的累积误差修正

传统SLAM系统也需要这三样东西,但LingBot-Map把它们全塞进了一个Transformer里,用学习的方式统一解决。

2. 流式推理,20FPS

用了paged KV cache attention(类似LLM推理里的分页KV缓存),模型可以高效处理超长序列。在518x378分辨率下稳定跑20FPS,序列长度超过10000帧。

10000帧是什么概念?按10FPS算,就是16分钟的连续视频。项目里有个demo是25000帧、13分钟的室内 walkthrough,一口气跑完。

3. 精度State-of-the-Art

在KITTI、Oxford Spires、TUM-D、ETH3D等主流benchmark上,LingBot-Map的表现超过了现有的流式方法和迭代优化方法。也就是说,它不仅快,还准。


上手试试

安装很简单,conda环境一把梭:

conda create -n lingbot-map python=3.10 -y
conda activate lingbot-map
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
pip install -e .
pip install --index-url https://pypi.org/simple flashinfer-python

然后下载模型权重(HuggingFace或ModelScope都有),一行命令跑起来:

python demo.py --model_path /path/to/lingbot-map-long.pt \
--image_folder example/courthouse --mask_sky

浏览器打开 http://localhost:8080 就能看到实时3D重建的可视化效果。

如果显存不够,可以加 --offload_to_cpu 把中间结果卸载到CPU,或者用 --keyframe_interval 2 减少KV缓存占用。

对于超长视频(>3000帧),用windowed模式:

python demo.py --model_path /path/to/lingbot-map-long.pt \
--video_path video.mp4 --fps 10 \
--mode windowed --window_size 128 --overlap_keyframes 16 --keyframe_interval 2

老司机辣评

优势:

• 真正的前馈式,不需要per-scene优化,推理速度碾压传统方案

• 流式架构天然适合机器人、自动驾驶等实时场景

• 中国团队出品,文档和模型权重对国内友好(ModelScope有镜像)

• Apache 2.0 开源,商用无压力

局限性:

• 目前主要输出点云,不直接输出mesh,下游应用需要额外处理

• 推理依赖GPU,显存占用不低(项目有RTX 4060 8G的适配参考,但体验会打折扣)

• 训练最长320帧,更长的序列需要keyframe策略,超出一定距离还是需要状态重置

• 作为基础模型,泛化到极端场景(弱纹理、强反光)的效果还需要观察

适用场景:

• 机器人导航中的实时建图

• 自动驾驶场景的在线3D感知

• 大尺度场景的快速数字化

• AR/VR内容快速采集

不适合的场景:需要极致精度的工业级逆向工程、对mesh质量要求很高的影视级资产制作。


项目地址:https://github.com/Robbyant/lingbot-map

论文:https://arxiv.org/abs/2604.14141

模型下载:HuggingFace (robbyant/lingbot-map) / ModelScope (Robbyant/lingbot-map)

 

【声明】内容源于网络
0
0
AI大风歌
1234
内容 373
粉丝 0
AI大风歌 1234
总阅读0
粉丝0
内容373