上回介绍了机器人视觉的一些基础信息，说到机器人视觉的核心任务是estimation，理论框架是射影几何理论。然而，整个estimation 的首要条件是已知像素点坐标，尤其是多幅图中对应点的像素坐标。

单幅图像的处理方法不赘述，想讲讲不变点检测与不变特征。由于机器人在不断运动，所以可能从不同方向对同一物体进行拍摄。而拍摄的距离有远近，角度有titled. 由于射影变换本身的性质，无法保证两幅图中的物体看上去一样。所以我们需要一种特征提取方法（特征点检测），能够保证检测是旋转，缩放不变的。除此之外还要一种特征描述方法，同样对旋转和缩放不变。

1、SIFT特征提取

SIFT特征提取可以分为以下几个步骤：

1、多尺度卷积

2、构造金字塔

3、3D非极大值抑制

多尺度卷积的作用是构造一个由近及远的图像。金字塔则由下采样进行构造。

对于不同尺度的图像同一个像素，我们可以跟踪它“灰度”的变化。我们发现，如果某一点对不同 sigma 的模版响应是不同的，最大响应（卷积后的灰度）所对应的scale 成为该点本征scale。这有点像对一个机械结构给不同频率的激励，某一频率下会发生共振，我们可以记录此频率一定程度上代表了此结构（单摆频率只和ml有关，有了f就可以重现系统）。

所以，我们只要找到一个合适的模版（激励方式），再找到最大响应，就可以获取图片中各个点的 Intrinsic Scale(本征尺度)。同一物体在不同距离拍摄后，都会统一在Intrinsic Scale下进行响应。由此解决了尺度不变的问题。

3D非极大值抑制是指在某点的3*3*3邻域内，仅取最大响应，作为特征点。由于该点是空间邻域中响应最强的，所以该点也是旋转不变的。从各个方向看，该点响应最强。

2、SIFT特征描述

特征提取和特征描述实际上是两码事。在上一节中特征提取已经结束了。假如有两幅图片，那么相同的特征点肯定会被找到。特征描述的作用是为匹配做准备，其以特征点局部区域信息为标准，将两幅图中相同的特征点联系起来。特征的本质是一个高维向量。要求尺度不变，旋转不变。

这里所使用的是HOG特征。特征描述可以分为两步：

1、局部主方向确定

2、计算梯度直方图

以sigma作为特征描述选择范围是一个合理的想法，因为sigma描述了尺度，特征点位置+尺度 = 特征点所代局部信息。在此基础上，统计其领域内所有像素的梯度方向，以方向统计直方图作为特征向量，至此完成HOG特征构造。重要的是，在统计方向之前，需要把图像主方向和X轴方向对齐。示意图如下：

图中黄色的有点像时钟的东西是特征点+scale，指针代表该片小图像的主方向(PCA)。绿色的是直方图的bin，用于计算特征向量。

最后，我们只要匹配特征向量就可以得到   图像1 --- 图像2  的对应点对，通过单应矩阵的计算就可以将两幅图拼接在一起。如果已知标定信息则可进行3D reconstruction.

今天小编就介绍到这里，感谢您的持续关注，更多内容，欢迎进入交流群探讨。