StackGen 接收用户手绘的草图作为输入，识别出其中不同的方块形状及其姿态，从而构建一个与草图相符的稳定结构。随后，一台UR5机械臂会实际搭建起这一物理结构。

摘要

人类通过观察和与世界互动，自然而然的获得对刚性物体之间相互作用及其稳定性的直觉。正是这种直觉，主导着我们日常环境中物体的摆放方式，使我们能够用简单、常见的物品搭建起复杂的结构。另一方面，传统意义上来说，机器人代理需要一个明确的世界模型，其中包含每个物体的详细几何信息以及环境动态的解析模型，而这些模型难以扩展，并且无法实现泛化。相反，机器人将受益于对直观物理的感知，这使他们能够类似的推理环境中物体之间的稳定相互作用。

为此，我们提出StackGen——一种扩散模型，能够生成与目标轮廓相匹配的多样化稳定积木构型。为验证该方法的性能，我们在仿真环境中对其进行了评估，并将其应用于实际场景，利用机械臂组装由该模型生成的结构。

模型架构

基于变压器的扩散模型

StackGen 能够预测一组积木形状及其六自由度位姿，这些形状和位姿共同作用，可构建出与用户提供的轮廓线相一致的稳定三维结构。StackGen采用基于变压器的条件扩散模型，并已在多种稳定的三维结构实例上进行训练，同时结合了不同形式的条件信息。

解构构建

StackGen 采用（左下）一种“化整为零”的策略，生成多样化的稳定结构。该过程首先利用密集排列的多种积木搭建出初始结构。在结构保持稳定的同时，我们逐次随机移除一块积木，并将每次形成的稳定结构加入数据集。最终这便得到了（右下）一个种类丰富的稳定堆叠集合。

实验

定性结果

以下是 StackGen 在模拟中为六个不同输入轮廓生成的稳定堆栈多样性的可视化结果。

StackGen所产生稳定堆栈的多样性。

定量比较

我们对StackGen在保留的测试集上进行评估，该测试集包含与3D结构配对的轮廓，并与两种积木堆叠基线方法进行了比较：

• 暴力法：该算法以给定轮廓的预测形状列表作为输入。对于列表中的每个方块，他会搜索最匹配轮廓的位置，同时避免与其他方块发生碰撞。
  
  
• 贪婪随机：该算法以给定轮廓的预测形状列表作为输入。算法会从左至右、自下而上地、贪婪地将列表中剩余的最大块放置在第一个与轮廓匹配的位置。

真实世界的实验

在我们的实际实验中我们使用UR5机器人来构建由StackGen在接收到不同规格的所需结构后所识别出的物理结构。

堆栈→堆栈

在这种设置中，用户需要提供一张从正面视角拍摄的参考堆叠物的RGB图像目标是识别出积木的数量和类型（形状），以及他们的六自由度位姿，以确保最终构建的结构既稳定，又能与参考堆叠物的轮廓相匹配。没有明确的目标来匹配单个方块的颜色或形状。

草图→堆栈

在这种情况下，用户会提供所期望的手绘草图。随后的任务是确定所需积木的数量和类型，以及他们的摆放姿势，以确保构建出既稳定又与参考草图相符的结构。