扔掉COLMAP吧!这个前馈模型20FPS实时重建3D世界
说到3D重建,搞过的人都知道那个痛:COLMAP跑一组图要等半天,NeRF训练一晚上,3DGS稍微好点但也要反复迭代优化。你拍个视频想转成3D场景?对不起,先泡杯咖啡等着吧。
现在有个中国团队的项目,直接把这个流程颠覆了——视频喂进去,3D场景实时就出来了,每秒20帧,一口气能跑一万多帧。
这个项目叫 LingBot-Map,GitHub 一天涨了831颗星,总计已经1.3万星。
它到底干了什么
一句话概括:LingBot-Map 是一个前馈式3D基础模型,你给它视频流,它实时输出3D点云地图,不需要任何迭代优化。
传统方法是什么路子?先提取特征点,再匹配,再做SfM稀疏重建,然后Dense重建,最后mesh或者点云。每一步都要全局优化,慢得要死。
LingBot-Map 的思路完全不同:它用了一个叫「几何上下文Transformer」的架构,把坐标定位、几何线索、漂移校正三件事统一在一个流式框架里。模型看到一帧就处理一帧,处理完就往前推,不需要回头。
这就像是你走路的时候边走边画地图,而不是走完整个楼再回头凭记忆画。
三个核心亮点
1. 几何上下文Transformer
这个架构设计是精髓。它解决了流式3D重建的三个老大难问题:
• 坐标定位:用anchor context机制,让模型知道"我在哪"
• 密集几何线索:每一帧都提取稠密的几何信息,不是稀疏特征点
• 长程漂移校正:用trajectory memory做长距离的累积误差修正
传统SLAM系统也需要这三样东西,但LingBot-Map把它们全塞进了一个Transformer里,用学习的方式统一解决。
2. 流式推理,20FPS
用了paged KV cache attention(类似LLM推理里的分页KV缓存),模型可以高效处理超长序列。在518x378分辨率下稳定跑20FPS,序列长度超过10000帧。
10000帧是什么概念?按10FPS算,就是16分钟的连续视频。项目里有个demo是25000帧、13分钟的室内 walkthrough,一口气跑完。
3. 精度State-of-the-Art
在KITTI、Oxford Spires、TUM-D、ETH3D等主流benchmark上,LingBot-Map的表现超过了现有的流式方法和迭代优化方法。也就是说,它不仅快,还准。
上手试试
安装很简单,conda环境一把梭:
conda create -n lingbot-map python=3.10 -y
conda activate lingbot-map
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
pip install -e .
pip install --index-url https://pypi.org/simple flashinfer-python
然后下载模型权重(HuggingFace或ModelScope都有),一行命令跑起来:
python demo.py --model_path /path/to/lingbot-map-long.pt \
--image_folder example/courthouse --mask_sky
浏览器打开 http://localhost:8080 就能看到实时3D重建的可视化效果。
如果显存不够,可以加 --offload_to_cpu 把中间结果卸载到CPU,或者用 --keyframe_interval 2 减少KV缓存占用。
对于超长视频(>3000帧),用windowed模式:
python demo.py --model_path /path/to/lingbot-map-long.pt \
--video_path video.mp4 --fps 10 \
--mode windowed --window_size 128 --overlap_keyframes 16 --keyframe_interval 2
老司机辣评
优势:
• 真正的前馈式,不需要per-scene优化,推理速度碾压传统方案
• 流式架构天然适合机器人、自动驾驶等实时场景
• 中国团队出品,文档和模型权重对国内友好(ModelScope有镜像)
• Apache 2.0 开源,商用无压力
局限性:
• 目前主要输出点云,不直接输出mesh,下游应用需要额外处理
• 推理依赖GPU,显存占用不低(项目有RTX 4060 8G的适配参考,但体验会打折扣)
• 训练最长320帧,更长的序列需要keyframe策略,超出一定距离还是需要状态重置
• 作为基础模型,泛化到极端场景(弱纹理、强反光)的效果还需要观察
适用场景:
• 机器人导航中的实时建图
• 自动驾驶场景的在线3D感知
• 大尺度场景的快速数字化
• AR/VR内容快速采集
不适合的场景:需要极致精度的工业级逆向工程、对mesh质量要求很高的影视级资产制作。
项目地址:https://github.com/Robbyant/lingbot-map
论文:https://arxiv.org/abs/2604.14141
模型下载:HuggingFace (robbyant/lingbot-map) / ModelScope (Robbyant/lingbot-map)

