这个是ICLR2024 的paper with code。
Paper :
LanguageBind: Extending Video-Language Pretraining to N-Modality by Language-based Semantic Alignment
代码:
https://github.com/PKU-YuanGroup/LanguageBind
这是北大和腾讯一起搞的工作。后来我细盘了下,发现这个课题组PKU-YUAN-Lab (袁粒课题组-北大信工)的工作值得认真关注。他们在cvpr2024还发了一个多模态对齐的工作叫做Chat-UniVi: Unified Visual Representation Empowers Large Language Models
with Image and Video Understanding
也是有代码的。然后,我下午才发现这个课题组也是目前在做open-sora的那帮人。并且袁粒非常年轻。17年本科毕业,未来可期。一 总述这个工作核心贡献是将多个模态与文本模态对齐。这样的工作对于text2video是非常重要的。对齐即语义对齐,比如说文本是:一只小鸟在树枝上唱歌。那么如果图片是油菜花地,就是不对的;然后音频,如果是狗叫声,也跟小鸟唱歌不匹配。这就是视频、图片、音频(甚至深度图)跟文本语义对齐的意思。二、来龙去脉 LanguageBind 这个名字也是相对于meta CVPR2023的工作 ImageBind来的。
ImageBind 论文:
IMAGEBIND: One Embedding Space To Bind Them All (CVPR 2023)
代码:
https://github.com/facebookresearch/ImageBind
他们两个的区别是这样的: