Meta宣布开源名为ImageBind的人工智能工具。该工具通过模拟人类感知环境的方式，实现了对多模态数据间关联的预测。
相较于Midjourney、Stable Diffusion和DALL-E 2等基于文本匹配图像的生成式AI工具，ImageBind采取了更广泛的策略。它能够将文本、图像、视频、声音、深度（三维测量）、热力学及运动数据相互关联。
作为早期框架，ImageBind能从文本、视频或语音指令中生成复杂环境，推动机器学习向人类学习方式靠拢。即当AI模拟多感官关联时，可利用有限数据片段构建完整场景。
例如，输入“一只猎犬在蒸汽朋克风格乡间别墅追逐兔子”指令，Midjourney仅生成视觉图像；而ImageBind可将其转化为包含追逐声、吠叫声的视频，甚至呈现客厅场景及室温信息。
此外，该方法还能将静态图像与语音指令匹配以创建视频动画。如将手表图片与公鸡叫声结合，即可生成闹钟铃声为鸡鸣的视频。
ImageBind将在Meta元宇宙愿景中发挥关键作用。Horizon Worlds等VR/MR平台可利用其创造AI支持的环境，游戏设计流程亦可应用该技术。开发者可通过查阅Meta AI团队文档和代码深入了解ImageBind。
图片来源：Deposit Photos