什么是多模态人工智能？完整指南

当操作员要求吃点东西时，一个人形机器人递给他一个鲜红的苹果。这并非科幻场景，而是 Figure AI 演示中的一幕，展示了人工智能（AI）的最新能力之一：多模态 AI。

当机器人将苹果递给操作员时，其多模态模型正在解读多种输入：语音指令、苹果的视觉存在以及操作员的视觉存在。人形机器人是这项技术最引人注目的应用场景，但多模态 AI 也驱动着自动驾驶汽车、交互式虚拟角色、AI 助手以及 Google Lens 等搜索工具。

在电子商务中，多模态人工智能能够赋能视觉搜索、增强现实试穿以及高级客户支持。以下是您需要了解的内容，以释放其对业务的潜力。

什么是多模态人工智能？

多模态 AI 指的是旨在同时接收、解释和处理多种形式数据的机器学习模型。这些模型可以接收不同模态的输入并生成不同模态的输出——而不局限于单一类型，包括文本、图像、音频、视频、数值数据以及 GPS 或加速度计等传感器数据。

例如，给定一个文本提示和一张源图像，多模态人工智能可以生成视频，使图像动起来或重新诠释它（具体取决于提示）。 

多模态人工智能的三个定义特征是：

• 异构性。该术语描述了多样化的数据类型。例如，由 AI 生成的视频输出与提示它的文本输入是不同的。
• 连接。多模态模型在不同模态之间建立联系。例如，Figure AI 的人形机器人链接了多条传感器数据：视觉数据（一个苹果）、语言（“苹果”）和听觉线索（口头请求），从而形成连贯的理解。
• 交互。这指的是不同模态在结合时如何相互响应。在自动驾驶汽车中，停车标志的视觉输入与其 GPS 输入中接近路口的存在相互作用，强化了停车的决定。

多模态与单模态及生成式人工智能对比

多模态 AI 系统能够同时整合多种类型的数据并创建多种类型的输出。当提供文本提示、音频、视频和图像时，多模态模型可以同时解释、分析和响应多种输入（前提是模型设计用于处理这些模态）——就像人脑实时综合其所见、所闻和所感一样。这种多功能性使多模态 AI 比单模态 AI 更准确、敏捷和智能。

单模态 AI 仅限于理解单一类型的数据，通常是文本数据或视觉数据。虽然它仍然强大——聊天机器人中使用的自然语言处理和单模态神经网络是强有力的例子——但它缺乏多模态系统所提供的整体理解能力。

生成式人工智能从海量数据集中学习模式，并利用这些模式生成新内容。它既可以是单模态的（如 MusicLM，它能根据文本生成音乐），也可以是多模态的（如 ChatGPT-4o）。多模态生成式人工智能模型能够生成视觉内容、在不同模态之间进行翻译，并对现实世界的情景做出创造性回应。

多模态人工智能是如何工作的？

多模态人工智能依赖三个主要组件来同时处理多种类型的数据：输入模块、融合模块和输出模块。

输入模块

该过程始于输入模块，在此处，来自各种数据类型——文本数据、客户服务音频数据、产品图片和视频——的原始数据被摄入并由单模态神经网络进行处理。这些网络通常基于大规模 Transformer 架构构建，擅长识别序列中的模式和关系，并针对其各自的模态进行了专门优化。它们共同使人工智能系统能够解释多模态数据，从而实现跨多个来源的不同输入的交互。 

例如，文本模型可能会预测句子中缺失的单词，而视觉模型则可以执行诸如图像修复之类的任务，以推断图像中缺失的部分。 

融合模块

融合模块将相关数据进行组合和对齐。数据被转换为数值表示形式——称为嵌入（embeddings）——以便不同模态能够使用相同的语言进行通信。此过程涉及将单词翻译为标记（tokens）、将图像转换为视觉嵌入，以及将音频转换为基于频率的特征。 

融合模块通过早期融合或晚期融合来对齐不同类型的数据。在早期融合中，每个模态的嵌入在开始时就被组合在一起；而在晚期融合中，它们在独立处理后进行整合。在早期融合中，模型可能会学习苹果的外观以及“apple”这个词的声音——所有这些都与文本“apple”配对。早期融合有助于模型对当前概念形成更丰富、更全面的理解。

输出模块

整合数据后，输出模型利用系统底层的神经网络——通常是 Transformer 解码器——来合成洞察并生成响应。响应的形式多种多样，包括生成式内容、预测或决策。 

为了提升性能并减少有害输出，模型会通过诸如基于人类反馈的强化学习（RLHF）和红队测试（一种对抗性测试练习）等方法进行微调。这有助于确保系统在现实场景中表现良好，并在所有支持的数据模态上以更准确、更安全且更具上下文感知能力的方式作出响应。

多模态 AI 示例

• Gemini
• GPT-4o
• Amazon StyleSnap
• PathAI
• Waymo

只要你在线，无论以何种方式，你可能都在不知不觉间频繁地与大型多模态模型互动。示例包括：

Gemini

谷歌的多模态生成式人工智能平台 Gemini 融合了视觉、音频和文本能力以完成复杂任务。例如，它能够口头描述销售漏斗图表及其配套视频——同时解读多种视觉输入。

GPT-4o

OpenAI 的大型多模态模型能够基于文本和视觉提示执行任务。例如，GPT-4o 可以通过摄入描述你配饰和特征的文本提示（文本模态）以及附带照片（视觉模态），生成一个与你 likeness 相似的动作人偶图像。

Amazon StyleSnap

StyleSnap 是一款利用计算机视觉技术（可分析和解释用户上传的图片）与自然语言处理来推荐时尚单品的 AI 工具。这款直观的电子商务工具在上传的照片与其详尽的服装库存之间建立了联系。

PathAI

PathAI 支持使用多模态 AI 模型进行诊断，以解读医学影像、电子病历和临床数据。例如，其 PathAssist Derm 工具帮助医生快速识别皮肤恶性肿瘤，缓解了皮肤科医生短缺的紧迫问题并改善了患者预后。

Waymo

Waymo 的自动驾驶汽车整合了摄像头和雷达等多种传感器，以实现实时驾驶决策。其端到端多模态模型能够响应传感器数据，如车道标记的视觉线索、雷达检测的距离以及上下文地图数据，从而安全地导航动态环境。

多模态 AI 的优势与挑战

多模态 AI 最具吸引力的优势之一在于其跨格式生成丰富且具备上下文感知内容的能力。这些系统能够从文本提示中创作视频、为图片配音，并提供将语言与视觉或声音相结合的见解。在电子商务领域，商家使用 Shopify Magic 将这些功能应用于产品摄影，包括移除图片背景、生成标志以及为促销活动创建新的主横幅。

多模态 AI 模型能够同时解释多种数据类型，从而实现更类人的交互和更准确的结果。在医疗保健、教育和自主系统等领域，结合来自不同来源的数据可以增强决策和问题解决能力。 

然而，构建稳健的多模态系统面临重大挑战。对齐来自不同模态的数据——例如将语音片段与面部表情匹配——在技术上可能非常复杂。同样困难的是确保模型充分理解每种数据类型的语义及其相互联系。跨多样数据源进行推理，尤其是在解释意图或情绪时，仍是一项不断发展的能力。

此外还有数据问题：训练这些模型需要高质量、具有代表性且符合伦理的多模态数据——而这并非总是 readily available（容易获得）。数据缺失、样本偏差或数据质量低下都会削弱系统性能和用户信任。