大数跨境

扎克伯格与英伟达首席执行官黄仁勋共同推介Meta最新的视频生成AI愿景

扎克伯格与英伟达首席执行官黄仁勋共同推介Meta最新的视频生成AI愿景 海外洞察
2024-07-29
2
导读:Segment Anything 2(SA2)将开放并免费使用。目前尚无托管版本的计划,但提供免费的在线演示。

Meta去年凭借Segment Anything取得显著成功,该机器学习模型能快速可靠地识别并勾勒图像中几乎任何对象。其续作由CEO马克·扎克伯格周一在SIGGRAPH大会发布,将能力拓展至视频领域,展现了技术的飞速发展。

分割(Segmentation)指视觉模型识别图片各部分的技术,例如区分“狗”与“狗后的树”。该技术虽已存在数十年,但近期进步显著,Segment Anything更是其中的重要里程碑。

Segment Anything 2 (SA2)作为原生支持视频的后续产品,相比逐帧运行旧模型,提供了更高效的工作流程。

扎克伯格在与英伟达CEO黄仁勋对话时表示:“科学家利用这些工具研究珊瑚礁和自然栖息地。能在视频中实现这一点,并以零样本(zero-shot)方式告诉模型需求,非常酷。”

处理视频需更高算力,SA2能在不导致数据中心过热的前提下运行,证明了行业效率的提升。尽管仍需强大硬件支持,但在一年前,快速灵活的分割几乎不可能实现。

图片来源:Meta

与首款模型一样,SA2保持开放免费,暂无托管版本计划,但提供免费演示版。

模型训练需要大量数据,Meta发布了包含5万个视频的标注数据库。论文中还使用了超10万个“内部可用”视频进行训练,该库未公开。(推测数据来源为公开的Instagram和Facebook个人资料。)

标注训练数据的示例。图片来源:Meta

Meta一直是“开放”AI领域的领导者,通过PyTorch等工具深耕多年。近期发布的LLaMa、Segment Anything等免费模型,已成为衡量AI性能的可及标准,尽管其“开放性”仍有争议。

扎克伯格指出,Meta的开放性并非完全出于善意,而是为了构建生态系统和打造最佳产品:

“这不仅是软件,更需要生态系统。若不开源,它可能无法良好运作。我们这样做是因为认为这将使产品成为最好的,尽管这对生态系统也有帮助。”

该模型预计将被广泛使用。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k