通用人工智能公司发布了机器人基础模型GEN-1.5，支持通过单次演示学习新物理任务。据官方信息，该模型可在上下文中评估3至12秒的演示，无需梯度更新或微调即可完成任务。
核心机制：物理提示与多模态处理
Generalist AI将“传感器数据+动作序列”定义为模型的上下文输入，即“物理提示”。作为大型多模态模型，GEN-1.5不仅处理视频图像，还融合传感器、语言及机器人位姿运动信息。其采用30秒上下文窗口，每秒可生成100个动作指令。
实验表现：从单次演示到高效微调
在10项短期操作任务测试中，GEN-1.5基于单次演示的平均成功率达59%。若使用约50次演示的五分钟数据进行训练并经10步梯度调整，成功率提升至83%；在一分钟数据配合单步梯度测试中，成功率为66.5%。
任务组合与自主纠错能力
GEN-1.5不仅能复现动作，还能结合两个独立物理提示生成长任务序列。例如，分别展示“拉开笔盒拉链”和“取出硬币”后，模型可将其整合为连续动作，并自主创建重定位、错误恢复等未演示的中间步骤。
零样本迁移与人手操作模仿
该模型具备从模拟环境到现实世界的零样本迁移能力。尽管预训练未包含模拟数据，但模拟演示仍可作为真机物理提示。此外，模型可通过观察摄像头中人手操作画面，驱动机械臂复现相同任务。
策略灵活性与意外应对
示例显示，模型面对突发状况能动态调整策略：被演示用刷子扫物入碗后，它会临时用香蕉替代刷子；遇到扫帚时则改用“拿起倒入”方式。同时，模型还能掀开遮挡纸张，或在抓取时用手移除卡住的乐高碎片。
持续预训练与能力涌现
GEN-1.5已连续预训练超八个月。随着大规模物理交互数据的积累，模型适应新任务所需的数据量和算力逐渐降低。值得注意的是，其上下文学习与即兴发挥能力并非通过专项训练获得，而是在预训练中自然涌现。
行业展望：重塑机器人训练范式
Generalist AI坦言当前测试任务较简单且成功率有限，但强调GEN-1.5是首批能从单次或少量演示中学习多样物理任务的通用机器人模型之一。未来，该方法有望取代耗时数月的专家编程流程，实现仅需几秒演示即可完成训练的高效模式。