一种基于联合的同批次试卷答案区域切割方法与流程

本发明涉及图像处理技术领域，具体公开了一种基于联合的同批次试卷答案区域切割方法。

背景技术：

随着人工智能图像处理技术的持续发展，学生试卷的自动批改变得越来越可行。在试卷的自动批改中，其中一个极为重要的步骤是定位答案区域。由于答案区域比较大，学生在书写的过程中具有较大的自由度。常见的做法是在每个题目设计一个显式的矩形框作为答案区。试卷在印刷时会将矩形框与试题同时印刷。试卷在学生答题后，被扫描仪扫描形成数字化的图片，再直接利用图像处理的方法从试卷中定位答案区域，再进一步识别答案内容。

但是这种图像处理算法参数繁多，不同的参数针对不同的图像特点。难以找到一套参数可以适应所有的试卷图片。因此导致传统的图像识别算法严重依赖试卷的本身扫描情况，比如试卷可能倾斜，亮度不均匀，对比度偏差等都会导致难以在所有情况下100％的定位所有矩形框。

因此，需要一种能解决上述问题的方法。

技术实现要素：

为了克服现有技术中存在的缺点和不足，本发明的目的在于提供一种基于联合的同批次试卷答案区域切割方法。

为实现上述目的，本发明采用如下方案。

一种基于联合的同批次试卷答案区域切割方法,包括：

利用傅里叶变换文本矫正算法结合锚点定位矫正算法，分别对扫描获得的单张试卷图像进行矫正；

利用图像边缘检测算法对答案区域矩形框进行检测，并记录每个答案区域矩形框的位置信息；

通过dbscan聚类算法生成同批次试卷的模板试卷；

利用线性回归法建立模板试卷与扫描试卷的平移关系，根据平移关系补全扫描试卷缺失的答案区域位置信息并切割答案区域。

进一步地，所述利用傅里叶变换文本矫正算法结合锚点定位矫正算法，分别对扫描获得的单张试卷图像进行矫正，包括：

将需要切割的试卷图像调整成一定的规格，转化成灰度图；对灰度图进行图像延扩，获得最优dft尺寸图；

对最优dft尺寸图进行傅里叶变换，获得频域图进行二值化，将二值化后获得的图像进行霍夫变换直线检测，计算获得的直线斜率并刷选，将刷选后的角度加权平均得到基于直线检测的旋转角度angle1；

对灰度图取反并计算自适应阈值，根据阈值进行二值化并对二值化后的图像进行形态学开操作和闭操作，将经形态学开操作和闭操作后的图像边缘区域划分为7份，识别并计算7个区域中各个轮廓的长宽比和面积，根据长宽比和面积刷选出符合预先设计锚点轮廓条件的锚点轮廓，将其中心坐标记为锚点p1至锚点p7并存储在列表中；若该区域无符合条件的锚点轮廓，则将对应锚点记为空锚点；

以各个锚点为基准计算对应的旋转角度，并将获得的各个旋转角度加权平均获得旋转角度angle；

通过旋转角度angle得到旋转矩阵rotmat，同时用旋转矩阵rotmat对各个锚点进行旋转矫正,利用旋转矫正后的锚点对扫描获得的试卷图像进行缩放一定规格并进行移位。

进一步地，所述以各个锚点为基准计算对应的旋转角度，并将获得的各个旋转角度加权平均获得旋转角度angle，包括：

分别计算两锚点(p1，p2)、(p1，p3)、(p1，p4)、(p1，p5)所在直线与y轴的夹角，(p1，p6)所在直线与x轴的夹角，并进行加权平均获得以p1为基准的旋转角度angle2；

分别计算计算两锚点(p2，p3)、(p2，p4)、(p2，p5)所在直线与y轴的夹角，并进行加权平均获得以p2为基准的旋转角度angle3；

分别计算计算两锚点(p3，p4)、(p3，p5)所在直线与y轴的夹角，并进行加权平均获得以p3为基准的旋转角度angle4；

计算计算两锚点(p4，p5)所在直线与y轴的夹角作为以p4为基准的旋转角度angle5；

计算计算两锚点(p5，p7)所在直线与x轴的夹角作为以p5为基准的旋转角度angle6；

将angle1至angle6加权平均获得旋转角度angle；

若为空锚点，则夹角记为0，对应的以空锚点为基准的旋转角度为0。

进一步地，所述利用旋转矫正后的锚点对待切割的图像进行缩放一定规格并进行移位，包括：

以标准宽度分别除以两锚点的距离dist(p1,p6)，dist(p5,p7)，获得水平方向的缩放值，以四分之一标准高度分别除以dist(p1，p2),dist(p2，p3),dist(p3，p4),dist(p4，p5)，以二分之一标准高度分别除以dist(p1，p3)，dist(p3，p5)，dist(p2，p4)，以四分之三的标准分别高度除以dist(p1，p4)，dist(p2，p5)，以标准高度除以dist(p1，p5)，获得竖直方向缩放值，并利用设定的缩放因子对两方向缩放值进行裁剪，排除过大的缩放值，通过加权平均获得水平方向的缩放系数fx,竖直方向缩放系数fy；其中，标准宽度为1080像素，标准高度为1522像素；若有锚点坐标为空，与其相关的缩放值置0；

根据fx和fy对扫描获得的试卷图像进行大小调整和对锚点进行旋转矫正，将矫正后的锚点与期待位置相比较以获得每个锚点的平移距离，通过加权平均计算获得在水平方向的平移距离tx和在竖直方向的平移距离ty；

根据tx和ty计算平移矩阵，根据平移矩阵对扫描获得的试卷图像进行仿射变换以平移矫正。

进一步地，所述利用图像边缘检测算法对答案区域矩形框进行检测，并记录每个答案区域矩形框的位置信息,包括：

将经过矫正后的图像转化为灰度图像并取反处理，进行形态学开操作，并对取反处理的图像分别进行水平方向和竖直方向灰度值求导；

进行边缘检测，去除不符合规定的线段，并通过二值化获取水平边缘图像和竖直边缘图像；

分别对水平边缘图像和竖直边缘图像进行形态学闭操作，根据试卷答案区域的最小长宽和最大长宽进行线段筛选；

将水平边缘图像、竖直边缘图像做或运算，再根据一定的面积、长度、宽度、长宽比去除矩形框内部的连接并筛选出答案区域矩形框，并记录矩形框左上角坐标及宽高。

进一步地，所述通过dbscan聚类算法生成同批试卷的模板试卷，包括：

根据试卷矩形框的位置特征选取一定的eps邻域，以试卷数量的百分之四十作为最小数目minpts，通过dbscan聚类算法得到每个矩形框左上角以及右下角坐标簇集合，选取每个簇集合中的中位数形成试卷模板e(l)；

根据答案区域矩形框的位置信息将答案区域矩形框进行排序形成链表l＝r1(p11,p12)…rn(pn1，pn2)，其中rn为试卷模板e(l)第n个答案区域矩形框，rn为试卷模板e(l)第n个答案区域矩形框，pn1为矩形框左上角坐标，pn2为矩形框右下角坐标；

使答案区域矩形框信息与试卷矩形框按顺序对应。

进一步地，所述利用线性回归法建立模板试卷与扫描试卷的平移关系，根据平移关系补全扫描试卷缺失的答案区域位置信息并切割答案区域，包括：

以图片的左上角为原点，x向右为正，y向下为正建立二维坐标系,其中ri为试卷矩形框，pi1为左上角，pi2为右下角的坐标；

利用比较iou算法计算扫描的试卷图像矩形框r′i与试卷模板e(l)对应的矩形框ri的重叠度，确定对应关系h；

利用对应关系h去除扫描的试卷图像中无关的矩形框，获取矩形数量正确的试卷并记为eread(l)，则遗漏的试卷记为eunread(l)；

将试卷模板e(l)与扫描试卷图像叠放在二维平面中，使试卷模板e(l)各个矩形框ri的左上角pi1(x,y)与扫描试卷图像对应的矩形框r′i左上角p′i1(x′,y′)在二维平面中线性平移

以扫描试卷图像p′i1(x′,y′)与pi1(x,y)通过平移函数f预测出的(a^tx，θ^ty)的距离为误差值，其中误差值为

由中心极限定理获得∑ε服从正态分布，利用极大似然估计法获得损失函数并通过梯度下降法获得a^t，θ^t的值，获得平移函数fn；根据对应关系h找出eunread(l)中扫描试卷ei缺失的矩形框r′i，并利用线性回归补全缺失矩形框试卷的矩形框位置信息；

根据将识别或补全后的矩形框位置信息切割出答案区域

本发明的有益效果：提供一种基于联合的同批次试卷答案区域切割方法，通过聚类方式生成同批试卷的模板试卷，利用线性回归的统计方法建立模板试卷与扫描试卷的平移关系，根据平移关系补全扫描试卷缺失的答案区域位置信息并切割，以此有效解决识别不精准，打印模糊等原因导致识别答案区域缺失的问题，而且算法简单快捷，能切割出试卷全部答案区域。

附图说明

图1为本发明实施例的试卷图像示意图。

图2为本发明实施例试卷图像的灰度图。

图3为本发明实施例最优dft尺寸示意图。

图4为本发明实施例频域示意图。

图5为本发明实施例根据阈值二值化后的示意图。

图6为本发明实施例边缘区域划分示意图。

图7为本发明实施例仿射变换后的示意图。

图8为本发明实施例对仿射变换后灰度图像取反的示意图。

图9为本发明实施例二值化后水平边缘图像的示意图。

图10为本发明实施例二值化后竖直边缘图像的示意图。

图11为本发明实施例筛选答案区域矩形框的示意图。

图12为本发明实施例试卷中矩形框的示意图。

图13为本发明实施例矩形框切割答案区域的示意图。

图14为本发明实施例补全后矩形框切割答案区域的示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例及附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

一种基于联合的同批次试卷答案区域切割方法，包括：

先将需要切割的试卷图像调整成一定的规格(优选宽为1080，高为1522)，图像如图1所示，随后将图1的图像转化成如图2所示的灰度图，并对灰度图(图2)进行图像延扩，获得如图3所示的最优dft尺寸图；

对最优dft(discretefouriertransform)尺寸图(图3)进行傅里叶变换，获得频域图进行二值化，如图4所示；然后将二值化后获得的图像(图4)进行霍夫变换直线检测，计算获得的直线斜率并刷选出20弧度角以内的角度，将刷选后的角度加权平均得到基于直线检测的旋转角度angle1；

对灰度图(图2)取反并计算自适应阈值，根据阈值进行二值化并对如图5所示的二值化后的图像进行形态学开操作和闭操作，将经形态学开操作和闭操作后的图像边缘区域划分为7份，如图6所示，识别并计算该区域中各个轮廓的长宽比和面积，将符合条件的轮廓(即预先设计好的锚点轮廓)，将其中心坐标记为锚点p1、p2、p3、p4、p5、p6、p7并存储在列表中；若其中不符合条件，则将对应锚点记为空锚点；

由于计算得出的锚点坐标与试卷真实的锚点圆心坐标存在偏差，因此需要以各个锚点为基准计算旋转角度。以各个锚点为基准计算对应的旋转角度，并将获得的各个旋转角度加权平均获得旋转角度angle；通过旋转角度angle得到旋转矩阵rotmat，并用转矩阵rotmat对各个锚点进行旋转矫正,利用旋转矫正后的锚点对扫描获得的试卷图像进行缩放一定规格并进行移位。

随后计算各个锚点为基准的旋转角度。即分别计算两锚点(p1，p2)、(p1，p3)、(p1，p4)、(p1，p5)所在直线与y轴的夹角，(p1，p6)所在直线与x轴的夹角)，并进行加权平均获得以p1为基准的旋转角度angle2。分别计算计算两锚点(p2，p3)、(p2，p4)、(p2，p5)所在直线与y轴的夹角，并进行加权平均获得以p2为基准的旋转角度angle3；分别计算计算两锚点(p3，p4)、(p3，p5)所在直线与y轴的夹角，并进行加权平均获得以p3为基准的旋转角度angle4；计算计算两锚点(p4，p5)所在直线与y轴的夹角作为以p4为基准的旋转角度angle5；计算计算两锚点(p5，p7)所在直线与x轴的夹角作为以p5为基准的旋转角度angle6；将angle1至angle6加权平均获得旋转角度angle；其中，当某个锚点为空锚点，则夹角记为0，对应的以空锚点为基准的旋转角度为0。

将各个锚点对应的旋转角度组成旋转矩阵rotmat，并以选取旋转矩阵rotmat某一位置点作为旋转中心点对各个锚点进行旋转矫正，优选为左上角(0,0)点作为旋转中心。其中，旋转矩阵由getrotationmatrix2d函数和旋转角度计算的到的，旋转矩阵包含每个点变换关系。

以1080像素宽度分别除以两锚点的距离dist(p1,p6)，dist(p5,p7)，获得水平方向的缩放值。以四分之一1522像素高度分别除以dist(p1，p2),dist(p2，p3),dist(p3，p4),dist(p4，p5)，以二分之一1522像素高度分别除以dist(p1，p3)，dist(p3，p5)，dist(p2，p4)，以四分之三的1522像素高度分别除以dist(p1，p4)，dist(p2，p5)，以1522像素高度除以dist(p1，p5)，获得竖直方向缩放值，并利用设定的缩放因子0.2对两方向缩放值进行裁剪，排除过大的缩放值，通过加权平均获得水平方向的缩放系数fx,竖直方向缩放系数fy；若有锚点坐标为空，与其相关的缩放值置0；

根据fx和fy对扫描获得的试卷图像进行大小调整和对锚点进行旋转矫正，将矫正后的锚点与期待位置相比较以获得每个锚点的平移距离，通过加权平均计算获得在水平方向的平移距离tx和在竖直方向的平移距离ty；根据tx和ty计算平移矩阵，根据平移矩阵对扫描获得的试卷图像进行仿射变换得到图7。

将经过矫正后的图像(图7)转化为灰度图像并取反处理得到图8，对图8进行形态学开操作，并对取反处理的图像分别进行水平方向和竖直方向灰度值求导；进行边缘检测，去除不符合规定的线段，并通过二值化获取如图9所示的水平边缘图像和如图10所示的竖直边缘图像；然后分别对水平边缘图像(图9)和竖直边缘图像(图10)进行形态学闭操作，根据试卷答案区域的最小长宽和最大长宽进行线段筛选；将水平边缘图像、垂直边缘图像做或运算再根据一定的面积、长度、宽度、长宽比去除矩形框内部连接并筛选出如图11所示的答案区域矩形框，并记录矩形框左上角坐标及宽高。

由于同批次试卷矩形框位置大致一样，且试卷矩形框位置分明，则可取10为eps邻域，试卷数量的百分之四十为最小数目minpts，通过dbscan聚类算法得到每个矩形框左上角以及右下角簇集合，取每个簇集合中的中位数形成试卷模板e(l)。

根据答案区域矩形框的位置信息将答案区域矩形框进行排序形成链表l＝r1(p11,p12)…rn(pn1，pn2)，其中rn为试卷模板e(l)第n个答案区域矩形框，pn1为矩形框左上角坐标，pn2为矩形框右下角坐标；如图12所示，使答案区域矩形框信息与试卷矩形框按顺序对应。随后，利用答案区域矩形框位置信息进行答案区域的切割。以图片的左上角为原点，x向右为正，y向下为正建立二维坐标系,其中ri为试卷矩形框，pi1为左上角，pi2为右下角的坐标。

假设一场考试共有n个学生参加考试，即样本数量为n，形成的试卷模板为e(l)。将考试后的试卷通过扫描，得到n张扫描试卷e1，e2，…,en。利用比较iou算法计算扫描的试卷图像ei的矩形框r′i与试卷模板e(l)对应的矩形框ri的重叠度，最终确定各个扫描试卷ei的矩形框r′i和试卷模板e(l)矩形框ri的大致对应关系h。再利用对应关系h去除扫描的试卷图像ei中无关的矩形框，获取矩形数量正确的试卷m张，即eread(l)，则遗漏的试卷记为n-m，即eunread(l)；将试卷模板e(l)与扫描试卷图像叠放在二维平面中，使试卷模板e(l)各个矩形框ri的左上角pi1(x,y)与扫描试卷图像ei对应的矩形框r′i左上角p′i1(x′,y′)在二维平面中线性平移以扫描试卷图像p′i1(x′,y′)与pi1(x,y)通过平移函数f预测出的(a^tx，θ^ty)的距离为误差值，其中误差值为随后由中心极限定理获得∑ε服从正态分布，利用极大似然估计法获得损失函数并通过梯度下降法获得a^t，θ^t的值，获得平移函数fn；根据对应关系h找出eunread(l)中扫描试卷ei缺失的矩形框r′i。试卷标出的矩形框如图12所示，每个矩形框由2个点pi，pj唯一确定。由于是通过平移，矩形框未变形，平移函数同样适用矩形框右下角，以此获得缺失矩形框信息ri(pi1,pi2)。根据将如图13所示识别矩形框或如图14所示的补全后的矩形框信息切割出答案区域。

本发明提供一种基于联合的同批次试卷答案区域切割方法，通过聚类方式生成同批试卷的模板试卷，利用线性回归的统计方法建立模板试卷与扫描试卷的平移关系，根据平移关系补全扫描试卷缺失的答案区域位置信息并切割，以此有效解决识别不精准，打印模糊等原因导致识别答案区域缺失的问题，而且算法简单快捷，能切割出试卷全部答案区域。而且本发明通过傅里叶变换文本矫正和锚点定位矫正双重矫正算法，将扫描歪掉的试卷图像进行矫正，提高扫描的准确性。

由于是试卷扫描，假设图片没有发生扭曲，只会出现整体旋转和平移偏移，因此通过傅里叶变换直线检测可得到直线旋转角度，刷选并通过加权平均得到最终傅里叶变换文本矫正的旋转角度，将试卷边缘区域大致切分成7份以识别其中锚点并获取坐标p1、p2、p3、p4、p5、p6、p7，其中p1～p5为左边锚点，p6～p7为右边锚点。计算(p1,p2)、(p2,p3)、(p3,p4)、(p4,p5)直线与y轴的夹角，(p1,p5)、(p5,p7)与x轴的夹角，通过加权平均得到旋转角度。通过旋转矩阵矫正试卷在扫描中引入旋转量，再通过计算锚点的相对位置与期望值进行比较就可以矫正试卷的平移偏移量。

本发明中，通过对图像进行灰度处理，对图像水平、竖直方向灰度值求导，去噪，获取水平、竖直方向的线段边缘图像，再分别滤除长度不符合条件的线段，对水平、竖直边缘图做或运算，获得矩形框边缘轮廓，通过筛选得到大小矩形框，记录符合条件的矩形框的位置。

本发明能确定一份试卷中各个矩形框的顺序。如图1所示，在同一行，只会出现一个矩形，也就是任何一个矩形的上下两条线的延长线不会通过另外一个矩形。因此通过计算检测失败图像的相对位置，可以确定从上到下的相对顺序。同样的方法也可以确定检测成功的图像的从上到下的相对位置，而且准确。

本发明通过dbscan聚类算法生成同批次试卷的模板试卷，通过dbscan聚类算法得到每个矩形框左上角以及右下角簇集合，取每个簇集合中的中位数形成试卷模板e(l)。本发明通过比较iou(intersectionoverunion)算法计算各个扫描试卷的矩形框和模板试卷的各个矩形框的重叠度，最终确定各个扫描矩形框和模板试卷矩形框的对应关系，能很好地确定具体是哪个矩形框已经检测出来，哪个还没有检测出来，哪个是多余的。

本发明通过线性回归建立模板试卷与扫描试卷平移模型，将模板试卷对应的左上角坐标利用平移模型恢复缺失的矩形框，能防止信息遗漏。

以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。