
Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发。
这篇博客的第一部分将讨论什么是seam carving算法,以及为什么人们更喜欢使用这种算法进行图像大小调整。
接着我将展示如何使用OpenCV,Python与scikit-image实现seam carving算法。
在这篇教程的最后,我将提供一个seam carving的示范。
seam carving算法
seam carving算法在2007年被Avidan与Shimar提出,这个算法通过移除或增加最低能量缝隙,可用于调整图像大小(既可升采样放大图片也可降采样压缩图片)。
其中,缝隙(seam)被定义为从左到右或从上到下的连续像素,它们横向或纵向穿过整个图像。
因此,为了执行缝隙拼接,我们需要两个重要的输入:
1.原始图片:我们想要调整大小的图片。
2.能量图(energy map): 我们从原始图像导出的能量图。 能量图应该代表图像的最显著的区域。 通常,我们使用梯度幅度,熵图或显著图表示。
例如,让我们使用下面的图片:

图1 输入图像
使用这个图片作为输入,我们可以计算出梯度大小,画出能量图。

图2 能量图
使用能量图,我们可以生成一组缝隙,从左到右或从上到下跨越整个图像:

图3 一组纵向的缝隙
这些接缝通过动态规划方法有效地计算,并根据它们的能量进行排序。 具有低能量的接缝被放置在列表的前面,而高能量接缝被放置在列表的后面。
要调整图像大小,我们可以通过去除低能量接缝来对图像进行降采样,或者通过复制低能量接缝来对图像进行升采样。
以下是使用原始图像,找到能量最低的接缝,然后删除它们以减少输出图像的最终尺寸,得到的最终图片:

图4 处理后图片
想了解更详细的seam carving算法原理,可以阅读原始论文。(http://perso.crans.org/frenoy/matlab2012/seamcarving.pdf)。
为什么我们使用seam carving算法而不是传统的尺寸调整算法?
请记住,seam carving的目的是在调整图像本身的大小的同时保留图像的最突出(即“有趣”)区域。
使用传统方法改变整个图像的尺寸——不用考虑确定图像的哪个部分最重要或最不重要。
seam carving则使用启发式算法从能量图中导出路径,以确定可以移除/复制图像的区域,以确保既能保留图像的所有“有趣”区域并且结果很美观。
注意:以美观的方式保存图像的最有趣的区域比它听起来要难得多。虽然这种算法可能看起来像魔法,但实际上并不是——它也有它的局限性,局限性可以请参阅“总结”部分。
为了比较传统的图像尺寸调整算法和seam carving算法,针对以下输入图像:

图5 示例输入图
这个图像宽度为600像素,我们想把它压缩到大约500像素。
使用传统的插值方法调整尺寸后是这样:

图6 传统方式调整尺寸后图像
然而,通过seam carving算法,我们可以沿水平方向“收缩”图像,并仍然保留图像的最感兴趣的区域,而不改变图像高度:
在计算机视觉与图像处理中使用seam carving算法
在这个部分我将演示如何使用opencv,python和scikit-image实现seam carving算法。
首先保证opencv已经装在电脑系统中——如果没有,请参考这个网址(http://www.pyimagesearch.com/opencv-tutorials-resources-guides/)。
现在开始,你也要保证scikit-learn也已安装。具体可以参考这个网址(http://scikit-image.org/docs/stable/install.html)。最常用的方法是使用pip安装,在命令行里输入
pip install --upgrade scikit-image
然后我们继续,看我们能够怎样实现seam carving算法
新建一个文件,命名为seam_carving.py,插入以下代码:

第2-5行导入我们需要的Python库,第8-13行解析我们的命令行参数。 此脚本将需要一个参数和一个可选参数:
--image : 需要进行seam carving处理的输入图像路径。
--direction : 图像处理方向,选vertical值调整图像宽度,选horizontal值调整图像高度,默认为vertical。
下面,让我们载入输入图像,转化为灰度图,然后计算Sobel梯度场表示(能量图):

我们将使用scikit-image库中实现的seam carving算法。seam_carve函数接受四个必需的参数:
1.输入图像。
2.能量图。
3.(水平或垂直)的方向。
4.要移除的缝隙数量。目前,seam_carve函数仅支持降采样图像——不提供上采样支持。
为了演示seam carving算法,让我们循环去除一些缝隙:

我们在第33和34行调用seam_carve函数,删除numSeams的当前数量。
第35-37行,新的雕刻图像尺寸输出到我们的终端。
第40和41行,显示我们的屏幕上的缝隙图像。
结果
接着,执行以下命令:
$ python seam_carving.py --image bryce_canyon.jpg

图8 原始图与处理后图(横向压缩)
在左边,你可以看到原始的输入图像——布莱斯峡谷的照片,在美国最美丽的国家公园之一。 在右边是我们使用seam carving算法处理后的图像。 如您所见,我们从图像中删除了垂直缝隙,从而减小了图像宽度。
我们同样可以用于处理高度,使用一下命令:
$ python seam_carving.py --image bryce_canyon.jpg --direction horizontal
图9 原始图与处理后图(纵向压缩)
为了对seam carving算法有更直观的印象,下面提供了GIF图:
动图太大,无法上传,请在 https://python.freelycode.com/contribution/detail/631 查看动图
总结
在今天的博客中,我讨论了用于图像内容感知调整大小的精确seam carving算法。
这是一个在计算机视觉领域经典的算法,所以如果你没有阅读原始出版物,我建议你将它添加到您的阅读列表。(http://perso.crans.org/frenoy/matlab2012/seamcarving.pdf)
在论文内,Avidan和Shimar证明,seam carving不仅可以用于减少图像尺寸,而且还用于增加图像尺寸。然而,scikit-image实现目前只支持降采样。
虽然这个算法对我这个本科生来说看起来像“魔法”,但我最终知道在计算机视觉世界中没有魔法——每个算法都有其局限性。
对于seam carving,这些限制通常表现在其中图像的重要语义信息被部分地破坏或完全切除后,结果变得更缺乏视觉吸引力。一个很好的例子是对包含人脸的图像应用seam carving,从人脸中删除缝隙(seam)。
为了解决这个问题,我们可以注释我们的图像以提供“提示”,确保标记的区域在seam carving过程中不被切割。在理想状况中,我们可以提供更好地反映我们希望保留的图像的显著区域的能量图,从而不需要修改实际的接缝雕刻算法。
就我个人而言,我对seam carving算法的未来很感兴趣。通过用于诸如显著性检测的深度学习算法,这些显著图可以用于seam carving。我们可能最终看到一个端对端的seam carving网络。
无论如何,我希望你喜欢对这个经典的计算机视觉论文的讨论!
英文原文:http://www.pyimagesearch.com/2017/01/23/seam-carving-with-opencv-python-and-scikit-image/
译者:seefun


