基础模型彻底改变了数字世界中的 AI，这已不是什么秘密。像 ChatGPT、LLaMA 和 Bard 这样的大语言模型（LLMs）为语言领域的 AI 带来了革命性变化。虽然 OpenAI 的 GPT 模型并非唯一可用的大语言模型，但它们因能够接收文本和图像输入并生成类人响应而获得了最广泛的公众认可——即使在某些需要复杂问题解决和高级推理的任务中也是如此。
ChatGPT 的病毒式传播和广泛采用在很大程度上塑造了社会对人工智能这一新阶段的认知。
定义未来几代人 AI 发展的下一个进步将是机器人技术。构建能够学习如何与物理世界互动的 AI 驱动机器人，将提升从物流、运输和制造业到零售、农业甚至医疗保健等各个领域中所有形式的重复性工作。它还将释放如同过去几十年我们在数字世界中看到的那样多的物理世界效率提升潜力。
虽然机器人与语言领域面临独特的问题集，但在核心基础概念上存在相似之处。一些 AI 领域最杰出的头脑已在构建“机器人领域的 GPT”方面取得了显著进展。
是什么促成了 GPT 的成功？
要了解如何构建“机器人领域的 GPT”，首先应审视促成 LLMs（如 GPT）成功的核心支柱。
基础模型方法
GPT 是一个在庞大且多样化的数据集上训练而成的 AI 模型。工程师们过去会收集数据并为特定问题训练特定的 AI，然后需要收集新数据来解决另一个问题；再遇到一个新问题？那就再次收集新数据。而现在，采用基础模型方法的情况正好相反。
与其为每个用例构建小众 AI，不如让一个通用模型适用于所有场景。这个非常通用的模型比每一个专用模型都更成功。基础模型中的 AI 在某一特定任务上表现更佳。它能够利用从其他任务中学到的知识，并更好地泛化到新任务，因为它通过必须在多样化的一组任务中表现出色而习得了更多技能。
在大型专有且高质量的数据集上进行训练
要拥有通用 AI，首先需要访问大量多样化的数据。OpenAI 以相当高的效率获取了训练 GPT 模型所需的真实世界数据。GPT 在互联网上收集的大量且多样化的数据集中进行了训练，包括书籍、新闻文章、社交媒体帖子、代码等。
数据集的大小固然重要，但策划高质量、高价值的数据也起着巨大作用。GPT 模型之所以取得前所未有的性能，是因为其高质量数据集主要基于用户关心的任务和最有用的答案进行优化。
强化学习（RL）的作用
OpenAI 采用来自人类反馈的强化学习（RLHF），使模型的响应与人类偏好保持一致（例如，对用户有益的内容）。仅靠纯监督学习（SL）是不够的，因为 SL 只能处理具有清晰模式或一组示例的问题。大型语言模型（LLM）需要 AI 在没有唯一正确答案的情况下实现目标。这就是 RLHF 的用武之地。
RLHF 允许算法通过试错向目标迈进，同时由人类对正确答案给予认可（高奖励）或对错误答案予以拒绝（低奖励）。AI 会找到最能解释人类偏好的奖励函数，然后利用强化学习（RL）来学习如何达成该目标。ChatGPT 能够通过从人类反馈中学习，提供反映甚至超越人类水平的能力的响应。
基础模型的下一个前沿领域是机器人技术
使 GPT 能够看、思考甚至说话的核心技术，同样也使机器具备了看、思考和行动的能力。由基础模型驱动的机器人可以理解其物理环境，做出明智的决策，并根据不断变化的情况调整其行为。
“用于机器人的 GPT”正以与 GPT 相同的方式构建——为又一次重新定义我们所知的人工智能的革命奠定基础。
基础模型方法
通过采用基础模型方法，您还可以构建一个在物理世界的多个任务中都能工作的 AI。几年前，专家建议为负责拣选和包装杂货商品的机器人开发专用 AI。这与能够对各种电子零件进行分类的模型不同，后者又不同于从卡车上卸货托盘的模型。
这种转向基础模型的范式转变，使 AI 能够更好地应对非结构化真实环境中频繁出现的边缘案例场景，而这些场景可能会让训练范围较窄的模型感到困惑。为所有这些场景构建一个通用的 AI 更为成功。正是通过对所有数据的训练，我们才能获得此前几代机器人所缺乏的人类级自主能力。
在大规模、专有且高质量的数据集上进行训练
教机器人学习哪些行为会导致成功、哪些会导致失败极其困难。这需要基于真实世界物理交互的大量高质量数据。单一的实验室环境或视频示例作为来源并不可靠或不具备足够的稳健性（例如，YouTube 视频无法传达物理交互的细节，而学术数据集的范围往往有限）。
与用于语言或图像处理的 AI 不同，目前不存在任何现成的数据集来代表机器人应如何与物理世界互动。因此，在机器人领域，构建大规模、高质量的数据集成为一个更复杂的挑战，而在生产中部署机器人车队是构建多样化数据集的唯一途径。
强化学习的作用
与以人类水平能力回答文本问题类似，机器人控制和操作要求智能体朝着没有单一、唯一正确答案的目标迈进（例如，“拿起这颗红洋葱的成功方法是什么？”）。同样，仅靠纯监督学习是不够的。
你需要运行深度强化学习（deep RL）的机器人才能在机器人领域取得成功。这种自主、自学习的 approach 将强化学习与深度神经网络相结合，从而解锁更高级别的性能——人工智能将自动调整其学习策略，并在经历新场景时继续微调其技能。
充满挑战的爆发式增长即将到来
在过去几年中，一些世界上最杰出的 AI 和机器人专家为机器人基础模型革命奠定了技术和商业基础，这场革命将重新定义人工智能的未来。
虽然这些 AI 模型的构建方式类似于 GPT，但在物理世界中实现人类水平的自主性是一个不同的科学挑战，原因有二：
- 构建能够服务于各种现实世界场景的基于 AI 的产品，需要满足一系列复杂且显著的物理要求。AI 必须适应不同的硬件应用，因为很难想象一种硬件能在各个行业（物流、交通、制造、零售、农业、医疗等）及其内部的各种活动中通用。
- 仓库和配送中心是 AI 模型在物理世界中理想的训练环境。在任何设施中，同时流动着成千上万甚至数百万种不同的库存单位（SKUs）——这提供了训练“机器人领域的 GPT”所需的大规模、专有且高质量的数据集。
AI 机器人的“GPT 时刻”即将来临
机器人基础模型的增长轨迹正在以非常快的速度加速。机器人应用，特别是那些需要精确物体操控的任务，已经在现实世界的生产环境中得到应用——我们将在 2024 年看到大量具有商业可行性的机器人应用规模化部署。