在这篇文章中,我将解释和对象检测相关的各种视觉算法,例如Faster R-CNN,YOLO,SSD。我们将从初学者的水平开始,直到了解对象检测的最新技术,了解每种方法的初始动机,方法和显着特征。
什么是图像分类?
图像分类拍摄图像并预测图像中的对象。例如,当我们建立猫狗分类器时,我们拍摄了猫或狗的图像并预测了它们的类别:

如果图像中同时存在猫和狗,该怎么办?

我们的模型会预测什么?为了解决这个问题,我们可以训练一个多标签分类器来预测两个类别(狗和猫)。但是,我们仍然不知道猫或狗的位置。识别图像中对象(给定类别)的位置的问题称为定位。但是,如果不知道对象类别,则我们不仅必须确定位置,还必须预测每个对象的类别。

与类一起预测对象的位置称为对象检测。 代替从图像预测对象的类别,我们现在必须预测该类别以及包含该对象的矩形(称为边界框)。它需要4个变量来唯一标识一个矩形。因此,对于图像中对象的每个实例,我们将预测以下变量:
Class Name,
bounding_box_top_left_x_coordinate,
bounding_box_top_left_y_coordinate,
bounding_box_width,
bounding_box_height
就像多标签图像分类问题一样,我们可以遇到多类对象检测问题,即在单个图像中检测多种对象:

在以下部分中,我将介绍训练对象检测器的所有流行方法。历史上,从Viola和Jones于2001年提出的Haar Cascades开始,有许多种对象检测方法。但是,我们将专注于最先进的方法,所有这些方法都使用神经网络和深度学习。
对象检测被建模为一个分类问题,在该问题中,我们从所有可能位置的输入图像中获取固定大小的窗口,将这些小块提供给图像分类器。
滑动式窗口探测器演示
每个窗口被馈送到分类器,该分类器预测该窗口中对象的类(如果不存在,则为背景)。因此,我们知道图像中对象的类别和位置。听起来很简单!好吧,还有其他一些问题。您如何知道窗口的大小,使其始终包含图像?看例子:

小型物体

大物件:您为滑动窗户探测器选择什么尺寸?
如您所见,对象的大小可以变化。为了解决这个问题,通过缩放图像来创建图像金字塔。想法是,我们可以在多个比例尺上调整图像的大小,并且可以依靠这样一个事实,即我们选择的窗口大小将完全包含这些调整后图像中的一个对象。最常见的是,对图像进行降采样(尺寸减小),直到某些条件(通常达到最小尺寸)为止。
在这些图像的每一个上,运行固定大小的窗口检测器。在这样的金字塔上通常有多达64个级别。现在,所有这些窗口都被馈送到分类器以检测感兴趣的对象。这将帮助我们解决尺寸和位置的问题。

还有一个问题,纵横比。许多物体可以以各种形状存在,如坐着的人与站立的人或睡觉的人将具有不同的长宽比。我们将在本文的稍后部分介绍。有多种对象检测方法,例如RCNN,Faster-RCNN,SSD等。为什么我们有这么多方法,并且每种方法的显着特征是什么?我们来看一下:
1. 使用HOG功能进行物体检测
在计算机视觉历史的开创性论文中, Navneet Dalal和Bill Triggs 在2005年引入了“方向梯度直方图”(HOG)特征。“HOG”特征在计算上不昂贵,并且可以解决许多实际问题。在通过在金字塔上运行滑动窗口而获得的每个窗口上,我们计算HOG特征,这些HOG特征被馈送到SVM(支持向量机)以创建分类器。我们能够在视频上实时运行此视频,以用于行人检测,面部检测以及许多其他物体检测用例。
2. 基于区域的卷积神经网络(R-CNN)
由于我们已将目标检测建模为分类问题,因此成功取决于分类的准确性。随着深度学习的兴起,一个显而易见的想法是用一个更精确的基于卷积神经网络的分类器代替基于HOG的分类器。但是,有一个问题。CNN太慢且计算量很大。无法在滑动窗口检测器生成的如此多的补丁上运行CNN。R-CNN通过使用称为S选择性搜索的对象提议算法解决了这个问题这样可以减少输入分类器的边界框的数量,使其接近2000个区域提案。选择性搜索使用局部提示(例如纹理,强度,颜色和/或内部度的度量等)来生成对象的所有可能位置。
现在,我们可以将这些框提供给基于CNN的分类器。请记住,CNN的完全连接部分需要固定大小的输入,因此,我们将所有生成的框的大小(不保留宽高比)调整为固定大小(对于VGG为224×224),并馈入CNN部分。因此,R-CNN有3个重要部分:
运行选择性搜索以生成可能的对象。
将这些补丁提供给CNN,然后由SVM预测每个补丁的类别。
通过分别训练边界框回归来优化补丁。

3. 空间金字塔合并(SPP-net)
尽管如此,RCNN是非常缓慢的。因为在2000个区域中运行由选择性搜索生成的提案的CNN需要花费大量时间。SPP-Net试图解决此问题。使用SPP-net,我们只计算一次整个图像的CNN表示,就可以使用它来为Selective Search生成的每个色块计算CNN表示。这可以通过仅在最后一个conv图层的要素地图的该部分对应于该区域上执行池化操作类型来完成。可以通过考虑中间层中发生的下采样(在VGG中将坐标简单地除以16),将区域投影到conv层上,来计算与该区域对应的conv层的矩形截面。
还有另一个挑战:我们需要为CNN的完全连接层生成固定大小的输入,因此,SPP引入了另一个技巧。它在最后一个卷积层之后使用空间池,而不是传统上使用的最大池。SPP层将任意大小的区域划分为恒定数量的bin,并在每个bin上执行max pool。由于仓的数量保持不变,因此将生成一个恒定大小的矢量,如下图所示。

但是,SPP网络有一个很大的缺点,即通过空间池化层进行反向传播并非易事。因此,网络仅微调了网络的完全连接部分。SPP-Net为更流行的Fast RCNN铺平了道路,我们将在后面看到。
4. 快速R-CNN
快速RCNN利用了SPP-net和RCNN的思想,并修复了SPP-net中的关键问题,即它们使端到端的训练成为可能。为了通过空间池传播梯度,它使用简单的反向传播计算,该方法与最大池梯度计算非常相似,不同之处在于池区域重叠,因此单元格可以从多个区域泵入梯度。
Fast RCNN所做的另一件事是,他们将边界框回归添加到了神经网络训练本身。因此,现在网络具有两个头,分类头和边界框回归头。这个多任务目标是Fast-rcnn的一个显着特征,因为它不再需要为分类和定位而独立地训练网络。由于CNN的端到端学习,与SPP网络相比,这两个更改减少了总体训练时间并提高了准确性。
5. 更快的R-CNN
那么,Faster RCNN有哪些改进?好吧,它更快。以及如何实现这一目标?快速RCNN中最慢的部分是“ 选择性搜索” 或“ 边缘”框。更快RCNN替换称为非常小的卷积网络选择性搜索ř egion P roposal Ñ etwork产生兴趣的区域。

为了处理宽高比和对象比例的变化,Faster R-CNN引入了锚框的概念。在每个位置,原始纸张使用3种锚框来缩放128x 128、256×256和512×512。同样,对于长宽比,它使用三种长宽比1:1、2:1和1:2。
因此,每个位置总共有9个框,RPN可以在该框上预测其为背景或前景的可能性。我们应用边界框回归来改善每个位置的锚框。因此,RPN给出各种大小的边界框以及每个类别的相应概率。像Fast-RCNN一样,可以通过应用空间池进一步传递不同大小的边界框。其余网络类似于Fast-RCNN。Faster-RCNN的速度是Fast-RCNN的10倍,而VOC-2007等数据集的准确性也差不多。这就是为什么Faster-RCNN成为最精确的对象检测算法之一的原因。这是RCNN的各种版本之间的快速比较。

到目前为止,所有讨论的方法都通过建立生成第一个对象建议的管道然后将这些建议发送到分类/回归头来将检测作为分类问题进行处理。但是,有几种方法将姿势检测作为回归问题。最受欢迎的两个是YOLO和SSD。这些检测器也称为单发检测器。让我们看看它们:
6. YOLO(YouOnlyLookOnce)
对于YOLO,检测是一个简单的回归问题,它获取输入图像并学习类概率和边界框坐标。听起来很简单?
YOLO将每个图像划分为S x S的网格,并且每个网格预测N个边界框和置信度。置信度反映了边界框的准确性以及边界框是否实际包含一个对象(与类无关)。YOLO还可以预测训练中每个班级每个盒子的分类得分。您可以组合两个类来计算每个类出现在预测框中的概率。
因此,预测了总共SxSxN个框。但是,这些框大多数都具有较低的置信度得分,如果我们将阈值设置为30%置信度,则可以删除它们中的大多数,如下例所示。

请注意,在运行时,我们仅在CNN上运行了一次映像。因此,YOLO超级快并且可以实时运行。另一个主要区别是,YOLO可以一次看到完整的图像,而不是以前的方法中仅查看生成的区域建议。因此,此上下文信息有助于避免误报。但是,YOLO的一个局限性在于它只能在一个网格中预测一种类型的类,因此它在处理非常小的物体时会遇到困难。
7. Single Shot Detector(SSD)
Single Shot Detector实现了速度和精度之间的良好平衡。SSD仅对输入图像运行一次卷积网络,然后计算特征图。现在,我们在此特征图上运行一个3×3大小的小卷积核,以预测边界框和分类概率。SSD还使用类似于Faster-RCNN的各种纵横比的锚框,并学习偏移而不是学习框。为了处理比例,SSD会在多个卷积层之后预测边界框。由于每个卷积层以不同的比例运行,因此它能够检测各种比例的对象。
那有很多算法。您应该使用哪一个?当前,如果您对准确性数字不满,可以选择Faster-RCNN。但是,如果您不愿进行计算(可能在Nvidia Jetsons上运行),那么SSD是一个更好的建议。最后,如果您不太需要准确性,但您想超快速度,那么YOLO将是您的不二之选。首先,直观地了解速度与准确性之间的权衡:

SSD似乎是一个不错的选择,因为我们能够在视频上运行它,并且在精度方面的权衡很小。但是,这可能并不那么简单,请查看这张图表,比较各种尺寸对象上的SSD,YOLO和Faster-RCNN的性能。在大尺寸情况下,SSD的性能似乎与Faster-RCNN类似。但是,当物体尺寸较小时,请看精度数字,差距会扩大。

选择正确的物体检测方法至关重要,这取决于您要解决的问题和设置。对象检测是计算机视觉的许多实际应用(例如自动驾驶汽车,安全和监视以及许多工业应用)的基础。希望这篇文章能使您对每种流行的对象检测算法有一个直观的了解。

