【IEEE T-RO】SinRef-6D：只看一眼，机器人就能精准抓取从未见过的物体

【图2｜SinRef-6D四模块框架】

展示了从输入到输出的完整流程：

(a)初始化分割 → (b)点云焦点化到物体坐标系 → (c)Point和RGB SSM提取逐点特征 → (d)逐点对齐求解姿态 → 迭代反馈优化。

模块(a)：初始化——背景分割与点云生成

输入一张reference RGB-D图像和一张query RGB-D图像：

•  使用Mask R-CNN或zero-shot CNOS + FastSAM进行物体分割 

•  深度图反投影为3D点云 

•  输出：reference点云 P(r)和 query点云P(q)（各2048点）

模块(b)：点云焦点化——统一到物体坐标系

关键洞察：在物体坐标系中对齐，而非相机坐标系。

• Reference点云：利用已知的6-DoF标注姿态  变换到物体坐标系：

• Query点云：第一次迭代时用平均坐标作为初始平移，后续迭代用上一轮估计的姿态更新

焦点化的好处：几何一致性检查、与类别先验解耦、对未见物体更鲁棒。

模块(c)：Point SSM + RGB SSM——从单视图捕获长程空间依赖

【图3｜Point SSM架构】 

Point SSM首先执行逐点扫描，用K近邻为每个扫描点采样一组邻域点构成token，计算token嵌入并加入位置编码，然后通过Point State Space (PSS)块提取逐点特征 。

【图4｜RGB SSM架构】 

RGB SSM采用四阶段跨扫描设计，每个阶段使用Visual State Space块提取不同尺度的图像特征，多尺度特征融合后经mask筛选得到 。

 为什么选SSM而非Transformer？ 

•  SSM（State Space Model）具有线性复杂度（vs Transformer的二次复杂度） 

•  从单视图建模长程空间依赖时效率更高 

•  S6选择性扫描机制能有效处理点云和RGB的序列特征

最终特征融合：（逐点融合Point和RGB特征）

模块(d)：逐点对齐与姿态求解——双GeoTransformer分工协作

核心挑战：初始query和reference之间可能存在巨大的姿态差异（尤其是旋转），直接对齐容易失败。

SinRef-6D的解决方案：两个不共享权重的GeoTransformer，分别处理 coarse 和 fine 对齐。

单次迭代流程： 

• Reference和Query特征经GT的self-attention和cross-attention精炼：

•  计算逐点亲和矩阵： 

•  选择最高相似度的点进行Weighted SVD求解6-DoF姿态： 

•  新姿态反馈到模块(b)更新query点云的焦点化

训练监督：交叉熵损失直接监督逐点亲和矩阵 ，强迫模型学习精确的点级对应关系。