大数跨境

速度飙升7倍!Meta发布SAM 3.1,一张GPU同时追踪128个目标,视频AI的成本账彻底变了

速度飙升7倍!Meta发布SAM 3.1,一张GPU同时追踪128个目标,视频AI的成本账彻底变了 未来跃迁
2026-03-30
0
导读:速度飙升7倍!Meta发布SAM 3.1,一张GPU同时追踪128个目标,视频AI的成本账彻底变了

速度飙升7倍!Meta发布SAM 3.1,一张GPU同时追踪128个目标,视频AI的成本账彻底变了


导读
【导读】Meta昨天悄悄放了个大招:SAM 3.1。没换模型架构,没堆更多参数,就加了一个叫「object multiplexing(对象复用)」的技术——结果?单张H100上,128个目标追踪速度从1.57 FPS飙到11.46 FPS,快了整整7倍。高性能视频AI,正式从"实验室能跑"迈向"便宜硬件也能跑"。

同一个模型,聪明了7倍

3月27日,Meta AI官方账号发了条看上去很"低调"的推文:

"We're releasing SAM 3.1: a drop-in update to SAM 3 that introduces object multiplexing to significantly improve video processing efficiency without sacrificing accuracy."

「我们发布了SAM 3.1:这是SAM 3的即插即用升级,引入对象复用技术,在不牺牲精度的前提下大幅提升视频处理效率。」

drop-in update——直接替换就能用,不用重新训练,不用改代码。听起来是个小版本?那我们来看看数字。

▲ 开发者Rohan Paul的深度解读:SAM 3.1在16个目标时约30 FPS,SAM 3不到10 FPS;128个目标时差距更夸张——11.46 FPS vs 1.57 FPS

你没看错。同一台机器,同一个任务,128个目标追踪,速度差了7倍多。

Rohan Paul说了一句特别到位的话:

"Looks like this is a systems upgrade more than a vision upgrade, but super important, as these are often the changes that decide whether a model is usable outside a demo."

「这更像一次系统级升级——但极其重要,因为往往就是这种改进,决定了一个模型能不能走出demo环境。」

以前的SAM有多"蠢"?

要理解SAM 3.1为什么牛,得先知道以前的方案有多浪费算力。

SAM 3(2025年11月发布)已经很强了:支持文字提示、概念级分割、视频追踪。但它有一个致命的效率瓶颈——每追踪一个目标,都要完整跑一遍模型。

什么概念?假设视频画面里有10个人在走动,你想同时追踪。SAM 3会把同一帧画面重复处理10次。每次只为了追一个人。

画面一样,backbone计算一样,只是目标不同。超过90%的算力都在做重复功。

Vaibhav Sisinty总结得最直白:

"Meta just shipped a 7x speed upgrade for their video AI. They didn't change the model. They just stopped wasting it."

「Meta给视频AI提了7倍速。他们没换模型,只是不再浪费算力了。」

▲ Vaibhav Sisinty:同样的模型,更聪明的执行方式。附SAM 3.1 vs SAM 3架构对比图——左边一次搞定全部目标,右边每个目标都要单独跑一遍

这就是为什么SAM 3.1可以"什么都没改"就快7倍——它改的,是模型使用计算资源的方式。

Object Multiplexing:一次算完全部目标

SAM 3.1的核心叫object multiplexing(对象复用/多路复用)。

原理说起来不复杂:把最多16个目标的查询打包,一次前向传播全部处理完。共享特征提取、共享全局上下文推理,backbone只跑一次。

Pengchuan Zhang的评价更技术化:

"SAM 3.1 is a significant improvement on video grounding: shifting from SAM2-like per-object propagation to MOT-style multi-object propagation. This change significantly reduces the computational cost, while maintaining the tracking accuracy!!!"

「SAM 3.1在视频理解上有重大改进:从SAM 2式的逐目标传播,转向了MOT(多目标追踪)式的多目标传播。计算成本显著降低,追踪精度保持不变!」

▲ Pengchuan Zhang:这是从逐目标传播到多目标传播的范式转变。附H100基准测试图

具体数据汇总一下:

  • 中等目标数量(5-16个)
    :吞吐翻倍,16 FPS → 32 FPS(单张H100)
  • 高目标数量(128个)
    :速度提升约7倍,1.57 FPS → 11.46 FPS
  • 精度
    :不降反升——拥挤场景下因为全局推理,遮挡区分更准

还有一个细节特别有意思。Meta放出了一位实习生的推文:

▲ Rex Cheng(@hkchengrex):我在Meta实习期间参与了对象复用的研发,很高兴看到它正式发布!感谢团队

一个实习生参与的项目,产出了SAM系列最重要的效率突破之一。最关键的创新,有时候恰恰藏在"让已有模型停止做傻事"这种看似朴素的改进里。

全球开发者沸腾了

Ed(@Eduardopto)给出极高评价:

"Meta's new SAM 3.1 just changed computer vision. Track up to 128 objects with ~7x faster inference on a single H100. This is the future of AI video editing, AR, and robotics."

「Meta的SAM 3.1刚刚改变了计算机视觉。单张H100追踪128个目标,推理速度提升约7倍。这就是AI视频编辑、AR和机器人的未来。」

▲ Ed:128个目标、7倍加速、单卡搞定——这是视频编辑、增强现实和机器人的未来

韩国开发者Sailon的视角更冷静,也更深刻:

"에이전트 비전과 로보틱스는 frontier IQ 경쟁보다 이런 효율 개선이 먼저 현장에 깔린다. 작은 하드웨어에서 돌아가는 스택이 결국 더 빨리 퍼진다."

「在智能体视觉和机器人领域,比起前沿IQ竞赛,这种效率提升会更先落地到现实场景。跑在小硬件上的技术栈,最终普及得更快。」

▲ 韩国开发者Sailon:SAM 3.1展示的是部署经济学的变化——效率改进比模型智力竞赛更先影响现实

这个观点打到了要害。全世界的AI公司都在卷谁更聪明,但真正先进入千家万户的,永远是那个跑得动、用得起的方案。

为什么"跑得快"比"看得懂"更值钱?

想象一下这些场景:

  • 视频编辑
    :CapCut、剪映里实时抠像10个人物
  • 体育分析
    :同时追踪球场上22个球员的跑位
  • 安防监控
    :一个摄像头画面里标注几十个行人
  • AR/VR
    :实时感知并分割环境中的所有物体
  • 机器人感知
    :在复杂环境中同时定位多个操作目标

共同特点:目标多、要实时、硬件预算有限。

SAM 3之前,跑16个目标的实时追踪可能需要好几张H200。SAM 3.1让一张H100就能搞定。

Meta官方反复强调的关键信息:

"Help make high-performance applications feasible on smaller, more accessible hardware."

「让高性能应用在更小、更容易获取的硬件上变得可行。」

翻译成商业语言?你的GPU账单可以砍一半以上。

更重要的是,Meta继续走开源路线——模型权重在Hugging Face上免费下载,代码在GitHub上开源。任何开发者今天就能上手用。

SAM三年进化:从"能切"到"切得起"

回头看SAM的时间线,脉络异常清晰:

2023年4月,SAM 1发布。证明了"分割一切"行得通。一年下载量破亿。

2024年7月,SAM 2拓展到视频。开始有时序一致性和实时追踪,但多目标一跑就卡。

2025年11月,SAM 3加入文字提示和概念级分割。从"你点哪我切哪"进化到"你说啥我全找"。很强,但很贵。

2026年3月,SAM 3.1。一个object multiplexing,把多目标视频处理的算力成本打了下来。

当一项技术的"做得到"已经解决,"做得起"就成了唯一的战场。

而这恰恰是今天整个AI行业最大的主题:不在谁更聪明,在谁先能用得起、部署得出去。SAM 3.1给出了一个漂亮的示范——有时候,最大的突破就藏在停止浪费这件小事里。


— END —

— END —

【声明】内容源于网络
0
0
未来跃迁
1234
内容 602
粉丝 0
未来跃迁 1234
总阅读2
粉丝0
内容602