
Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发。
引言
最近几个月,我收到了许多请求---用计算机视觉和图像处理技术做一个泡泡板/答题卡打分机.
尽管这个系列的机器学习和深度学习让我很高兴,如果我说这个小项目不小,岂不是在扯淡!PyImageSearch博客存在的主要原因就是我喜爱演示如何使用计算机视觉解决实际问题.
实际上,这个项目的特殊之处在于:我们将结合前面教程中的文档扫描仪,轮廓排序,透视变换技术.基于先前的积累,我们能很快能完成泡泡板和打分机的制作.
上星期五下午,我用Photoshop做了几张答题卡,打印了几份,接下来就只要写代码了.
总的来说,对这个项目我很满意.这个泡泡板/OMR系统也一定会成为你其他项目的奠基石.
使用Python,OMR,OpenVC的泡泡板多选扫描仪和打分机
接下来,我将解释OMR是什么.并且,我将演示如何只使用计算机视觉和图片处理技术,OpenVC库实现泡泡板扫描仪和打分机.
一旦我们的OMR系统完成,我将展示阅卷机的测试结果,其中有些答题卡是故意乱填的.
最后,我将阐述一下这个版本的泡泡板扫描仪的缺点以及将来如何改进.
OMR是什么?
OMR是指自动分析人为标记文档,翻译其结果的过程.
可以说,OMR可识别的最简单形式是泡泡板多选测试,就像你在小学,初中,高中参加的测试.
如果你不熟悉泡泡板测试或者答题卡测试,就把它们当一个选择题测试就好了.每个问题对应多个选项,你只需用2B铅笔涂答案对应的泡泡就可以了.
至少在美国,你最熟悉的泡泡板测试就是高中申请大学时的SAT考试.
我认为SAT考试采用了Scantron(答题卡)公司提供的软件进行OMR识别和学生阅卷,但也有可能不是这样.我这样说是因为全美98%的学校都使用了Scantron的产品.
简单的来说,我想表达的观点是:OMR技术的市场潜力巨大,无论是表单识别还是考卷识别.
使用Python,OMR,OpenVC实现泡泡板扫描仪和打分机
了解了一点OMR过后,让我们建一个计算机视觉系统,用到的技术有Python,OpenVC.我们可以用它来扫描泡泡板并进行评级级打分.
当然,我将提供一些示例图片,以便于你能理解每项技术和使用它的理由.
下面包括了为这个项目准备的一些泡泡板测试的例子:

我们将使用这张图片作为项目的样本.后面,你会看到其他的样本.
我也包含一张未填涂的模板---PSD格式,你可以自行修改.博客结尾你可以下载示例代码,图片,模板.
七步制作泡泡板扫描仪和打分机
本博客的目的就是使用Python和OpenVC库制作泡泡板扫描仪和打分机.
因此,我们的实现过程需要以下七步:
第一步:检测图片中的答题卡
第二步:采取透视变换取得答题卡自上而下的俯视图.
第三步:从第二步结果中获取泡泡集(例如可能的答案选项)
第四步:按行排序问题/泡泡
第五步:确认每行标记的回答(涂上的泡泡)
第六步:查找正确的答案,判断用户选择是否正确
第七步:对所有的问题重复上述步骤.
下面部分将讲述我们算法的实现.
泡泡板扫描仪的Python,OpenVC实现
首先,新建一个文件,命名为test_grader.py .接下来开始写代码:
2到7行,我们导入必须的Python包.
你的系统上应该已经安装了OpenVC和Numpy,但imutils也许不是最新版本,我的函数集使图片处理变得更为简单.为了安装imutils(或者更新到最新版本),只要执行以下命令:

10到12行解析命令行参数.我们只需要一个--image选项,该选项指定了泡泡板图片的路径.
17行定义正确答案的字典ANSWER_KEY
就如字典的名字所示,ANSWER_KEY是一个题号和答案的映射.
在此,键0表示第一个问题,对应的值1表示选项B是正确答案(因为B是ABCDE中的第二个).第二个问题键为1,值为4表示正确答案为E
为了方便,我用英语将答案作如下表示:
问题 #1:B
问题 #2:E
问题 #3:A
问题 #4:D
问题 #5:B
接下来,处理我们输入图片:
21行我们从磁盘加载图片,接着转换为灰度图(22行),随后模糊处理去除高频噪声(23行)
然后,我们使用Canny边缘检测器找出答题卡的边缘和轮廓(24行).
下面是一张使用边缘检测器后的答题卡截图:

注意文档的边缘是如何定义出来的,答题卡的四个顶点清晰地呈现在图片中.
获得文档的剪影至关重要,下一步我们将使用它对答题卡进行透视变换,获得文档自上而下的俯视图.

既然我们有了答题卡的轮廓,使用cv2.findContours函数找出答题卡本身的轮廓线.
34行,确保至少包括一条轮廓线;然后37行,我们通过按照它们的区域排序轮廓线(从大到小).
假设答题卡在图片的主焦点上,因此它比图片上其他的对象都大.简单地通过查出它们的区域和得出答题卡对应的轮廓线应该接近表的前面,使我们能够过滤轮廓线.
然而,轮廓区域和尺寸还不够,我们还要检查轮廓上的顶点.
为此,第40行,我们在排序过的轮廓线上进行循环.对于其中每一个,我们使之近似接近轮廓,本质上意味着我们简化轮廓线上点的数量,得到一个大概地形状.在制作移动文档扫描仪的博客中,你可以了解更多关于轮廓近似的内容.
47行,我们检查近似的轮廓是否有四个顶点,如果有,我们认为找到答题卡了.
下面包含一个示例图片,演示了画在原始图像上的docCnt变量:

果然,这个区域对应答题卡轮廓.
既然已经得到了答题卡轮廓,就可以应用透视变换获得文档自上而下的俯视图了:

在此,我们将使用我实现的four_point_transform函数:
编号(x,y)---轮廓指定的,可重写的坐标
对该区域进行透视变换
这篇博客里,你也可以了解更多关于透视变换和坐标编号的内容,但是当下,只要知道这个函数处理倾斜的答题卡,进行变换,返回一个文档自上而下的视图.

好了,我们又前进一步了.
我们在原始图片中找出了答题卡
应用透视变换,我们得到了一个垂直视图.
但是,我们如何给这个答题卡评级打分呢?
第一步是二值化,或者说从图片背景阈值化(二值化)/分段前景的过程.

在应用Otsu阈值分割法后,我们的答题卡成了一张二进制图像.

记住背景是黑色,前景是白色.
二值化再一次让我们能使用轮廓提取技术,找出答题卡中每一泡泡.

64到67行负责在thresh二进制图像上找出轮廓,紧接着初始化questionCnts,对应于答题卡上问题/泡泡轮廓的列表.
70行,为了确定图片的哪些区域是泡泡,我们首先在每一个轮廓上进行循环.
对于每一个轮廓,第73行,我们计算盒边界,74行计算宽高比.
一个泡泡轮廓区域应该:
1.足够宽和高(这里,至少20像素每个维度).
2.纵横比接近于1.
只要这些条件满足,我们就可以更新questionCnts列表并标记该区域为一个泡泡.
下面是一张将questionCnts的输出绘在图片上的截图:

现在,只有问题区域高亮出来了.
我们可以转到OMR系统的评级部分了.

首先,我们必须将questionCnts从上而下地排序.这将确保接近答题卡顶部的问题行将出现在排序后列表的前面.
我们将初始化一个记账员变量来记录correct答案的数目.
90行,我们开始在问题上循环.因为每一个问题都有5个可能的答案,我们将使用NumPy数组切片和轮廓排序,按照从左至右来整理排序目前的轮廓集.
这个方法奏效是因为我们已经进行过从上至下的排序了.我们知道每个问题的5个泡泡将依次出现列表中---但是我们不知道这些泡泡是否将从左至右排序.94行的轮廓排序调用解决了这个问题,确保了每一行是从左到右排序的.
为视觉表示这个概念,问题每一行用单独的颜色在下图中表示出来.

就每一行而言,接下来需要判断哪个泡泡被填涂了.
使用thresh图片和计数每个泡泡区域的非零像素(例如,前景像素),我们就能完成这项任务.

98行负责在一行中排序过的每个泡泡上进行循环.
101行,为每一个当前泡泡我们构造一个遮罩;并且,107行和108行计数遮罩区域的非零像素.113行和114行,我们计数越多非零像素,就有越多前景像素,因此拥有最大数量非零像素的泡泡就是被填涂的泡泡.
下面的图片展示了对每一个问题相关泡泡应用遮罩的动画效果.

很显然,泡泡B拥有最多阈值化处理过的像素,因此这就是用户在答题卡上填涂的.
下个代码块负责在ANSWER_KEY中查找正确的答案,更新记账员变量,最后在图片上绘出填涂的泡泡.

根据测试者的答案是否正确,生成在答题卡上绘出的颜色.如果正确,我们用绿色将他们的答案高亮.然而,如果错了,我将用红色高亮正确答案来提醒他们.

最后我们的代码打分,并在屏幕上显示结果.

下面是你将看到的评级打分后的图片:

这里,答题卡的准确率有80%,只有第四题被错选为C(正确答案为D)
为什么不使用圆形检测?
在看完这个教程后,你也许会问:
"你好Adrian,一个答案是一个圆.为什么你不用霍夫圆(Hough circles)找出图片中圆呢?"
好问题
首先,在图片到图片的基础上,将参数变成一个霍夫圆实在有点痛苦.但是那只是一个小理由.
真正的原因是:用户错误.
不管是否故意,在泡泡板上,你多少次填涂出线?我不是一个专家,但是我猜20次填涂中至少有1次稍微出界了.
你猜怎么着?
霍夫圆对于轮廓变形的处理不太好---你的圆形检测在此项目中将会失败.
由于这个原因,我推荐使用轮廓线和轮廓线属性来过滤泡泡和答案.cv2.findContours函数不关心泡泡是否是"圆",是"完美圆",或"我的天,这是什么鬼?"
cv2.findContours函数将会返回团状的集合,这些团状是你图片的前景区域.接着你可以采取区域处理和过滤它们找出问题(如本教程一样),然后按你自己的方式处理.
我们的泡泡板测试扫描仪打分机结果
为了查看泡泡板测试打分机的实际效果,一定要下载源码和示例图片,你可以在教程底部下载.
我们已经见到了示例图片test_01.png的结果,让我试一试test_02.png:

在此,我们将看到一个对测试不满的测试者,在答题卡上乱写乱画,并填涂所有的A.鉴于他的运气,毫无疑问他的正确率为20%.

试试另一张图片:


这次结果好一点,有60%的准确率.
这次,测试者只填涂了对角线,结果不怎么样!

最后一个测试者,取得一个不错的成绩!

尽管实现了基本骨架,但还有很多地方改进.最明显是改善未填涂泡泡的处理逻辑.
这个版本中,我们简单地假设每个问题行有且只有一个泡泡被填涂了.然而,我们通过计数每行阈值化像素然后降序排列手段,确定一个泡泡是否被填涂,这可能导致两个问题:
1.如果用户有一个问题未填涂会怎样?
2.如果用户每行将多个泡泡填涂为"正确"会怎样?
幸运的是,处理这些问题不难,只需要加入一些逻辑.
对于问题1,当计算cv2.countNonZero时,我们可以设置一个最小的阈值(108行).

如果这个值足够大,我们就可以将泡泡标记为"已填涂".相反,如果total太小,我们就跳过那个泡泡.如果直到行结尾,没有泡泡具有足够大的阈值计数,就将该问题标记为测试者"跳过".
类似的一系列措施可用于问题2:

这一次,我们追踪一个问题具有total的泡泡数量是否超过预定义值,我们将其标记为无效问题或者是错误.
总结
本篇博客,我演示了如何使用计算机视觉和图像处理技术制作一个泡泡板扫描仪和打分机.
特别地,我们实现了能够提高我们捕获人为标记文档和自动分析结果能力的OMR方法.
最后,我提供了Python和OpenVC的实现,你可以用于你自己的系统项目.
如果你有其他疑问,欢迎在下面留言!
英文原文:http://www.pyimagesearch.com/2016/10/03/bubble-sheet-multiple-choice-scanner-and-test-grader-using-omr-python-and-opencv/
译者:baijiale

