Meta去年凭借Segment Anything取得显著成功,该机器学习模型能快速可靠地识别并勾勒图像中几乎任何对象。其续作由CEO马克·扎克伯格周一在SIGGRAPH大会发布,将能力拓展至视频领域,展现了技术的飞速发展。
分割(Segmentation)指视觉模型识别图片各部分的技术,例如区分“狗”与“狗后的树”。该技术虽已存在数十年,但近期进步显著,Segment Anything更是其中的重要里程碑。
Segment Anything 2 (SA2)作为原生支持视频的后续产品,相比逐帧运行旧模型,提供了更高效的工作流程。
扎克伯格在与英伟达CEO黄仁勋对话时表示:“科学家利用这些工具研究珊瑚礁和自然栖息地。能在视频中实现这一点,并以零样本(zero-shot)方式告诉模型需求,非常酷。”
处理视频需更高算力,SA2能在不导致数据中心过热的前提下运行,证明了行业效率的提升。尽管仍需强大硬件支持,但在一年前,快速灵活的分割几乎不可能实现。
与首款模型一样,SA2保持开放免费,暂无托管版本计划,但提供免费演示版。
模型训练需要大量数据,Meta发布了包含5万个视频的标注数据库。论文中还使用了超10万个“内部可用”视频进行训练,该库未公开。(推测数据来源为公开的Instagram和Facebook个人资料。)
Meta一直是“开放”AI领域的领导者,通过PyTorch等工具深耕多年。近期发布的LLaMa、Segment Anything等免费模型,已成为衡量AI性能的可及标准,尽管其“开放性”仍有争议。
扎克伯格指出,Meta的开放性并非完全出于善意,而是为了构建生态系统和打造最佳产品:
“这不仅是软件,更需要生态系统。若不开源,它可能无法良好运作。我们这样做是因为认为这将使产品成为最好的,尽管这对生态系统也有帮助。”
该模型预计将被广泛使用。

