大数跨境
0
0

Segment-and-Track Anything!视频版SAM来了,分割/跟踪/编辑一切,现已开源!

Segment-and-Track Anything!视频版SAM来了,分割/跟踪/编辑一切,现已开源! 极市平台
2023-04-22
0
↑ 点击蓝字 关注极市平台
来源丨Cver
编辑丨极市平台

极市导读

 

SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪,包括街景、AR、细胞、动画、航拍等,可同时追踪超过200个物体,为用户提供了强大的视频编辑能力。>>加入极市CV技术交流群,走在计算机视觉的最前沿

Meta AI的SAM「分割一切」模型展现了强大的图像分割能力但缺乏对视频数据的支持。近期,浙江大学ReLER实验室的科研人员在最新开源的SAM-Track项目中,解锁了SAM的视频分割能力,即:分割并跟踪一切(Segment-and-track anything,SAM-trackSAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪,包括街景、AR、细胞、动画、航拍等,可同时追踪超过200个物体,为用户提供了强大的视频编辑能力。

项目地址:

https://github.com/z-x-yang/Segment-and-Track-Anything

SAM-Track通过将SAM与最新的高效多物体跟踪算法DeAOT(NIPS2022)结合,能够进行高精度的视频目标分割/跟踪,且可支持全自动和交互式的分割方式。

自动化视频目标分割/跟踪Demo:

交互视频目标分割/跟踪:

1. 通过点击或边界框指定单个目标物体进行分割/跟踪

2. 通过点击添加多个物体进行分割/跟踪

此外,SAM-Track项目还将提供了WebUI,方便用户开箱即用:

目前,项目V0版本已开源,支持全自动视频分割,项目V1版本计划于下周更新,支持交互式视频分割。

项目成员均来自浙江大学计算机学院ReLER实验室。ReLER实验室由浙江大学求是讲席教授杨易于2021年创立。项目成员包括:徐源佑(在读博士),程阳铭(在读硕士),李刘磊(科研助理),杨宗鑫(博士后),王文冠(百人计划研究员),杨易(教授)。

公众号后台回复“CVPR2023”获取最新论文分类整理资源

极市干货

极视角动态推进智能矿山建设,极视角「皮带传输系列算法」保障皮带安全稳定运行!

CVPR2023CVPR 2023|21 篇数据集工作汇总(附打包下载链接)

数据集:垃圾分类、水下垃圾/口罩垃圾/烟头垃圾检测等相关开源数据集汇总异常检测开源数据集汇总语义分割方向开源数据集资源汇总

点击阅读原文进入CV社区
收获更多技术干货

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读919
粉丝0
内容8.2k