一种基于答案库的手写样本集的自动生成方法与流程

本发明属于深度学习样本制作技术领域，尤其是使用多种图像处理技术自动生成手写体样本数据集的方法。

背景技术：

随着人工智能的发展，计算机逐渐取代了繁重的人力劳作，并开始拥有了智慧。例如，在文本识别领域，诞生了学生试卷自动化批阅系统、票据智能识别录入系统等；在目标检测领域，诞生了人脸识别系统、目标追踪系统等；在语音识别领域，诞生了人机对话系统，语音智能控制系统等；而在这些不同的应用领域中，计算机拥有智慧的高低取决于学习资源的优劣程度，它通过不间断地学习使其获得更高的智慧。尤其，在文本识别领域，有关手写体的识别，需要大量的样本数据作为学习的重要资源，一直以来人们对于手写体样本获取和数据标注做出了大量工作，成为该领域人工智能研究的首要问题。

因此，有必要开发一种基于答案库的手写样本集的自动生成方法，当提供答案库的情况下，无需手动分类基础样本，就能够根据基础样本自动生成大量的训练样本集。

技术实现要素：

本发明要解决的技术问题是，提供一种基于答案库的手写样本集的自动生成方法，当提供答案库的情况下，无需手动分类基础样本，就能够根据基础样本自动生成大量的训练样本集。

为解决上述技术问题，本发明采用的技术方案是：该基于答案库的手写样本集的自动生成方法，具体包括以下步骤：

(1)手印分离：将含有手写体文本的作业或试卷的图片中的印刷体和手写体字符进行分离；

(2)字符定位：对已分离出的手写体的字符图片，对所述字符图片中的字符进行定位；

(3)答案获取：首先确定各题目的答案区，再确定手写体的答案坐标；

(4)答案对齐：结合不同题型的数目和存储在答案数据库中的答案个数信息，对题目的答案做实际排序和对齐操作，完成检测答案和答案库数据的对应关系；

(5)答案分类：根据答案库的数据信息，直接判断出字符类别，并裁剪出对应的手写体答案，将裁剪的答案图片作为基础样本保存至对应的文件夹中；

(6)样本合成：根据步骤(5)得到的基础样本的数据集，通过随机读取文件夹名和文件夹中的文件，将获取到的答案图片统一等比缩放至高度为32个像素的大小，再按照矩阵行拼接的方式对数字化的图片进行自动合成，最终得出训练样本集。采用上述技术方案，由于图像中同时包含有印刷体和手写体字符，为了保证完整地提取出手写体字符答案，并依据答案库信息来正确分类和保存手写体答案的字符图片作为基础的样本，用于自动合成最终的样本数据集；首先对含有手写体文本的作业或试卷的文本图片进行处理分析，采用基于模板匹配的手写印刷分离，实现两张图片中手写字符的完整提取；再利用答案区的坐标信息，以及分离出的手写字符的定位结果，提取出完整的手写体答案；接着将手写答案和答案库信息做对齐比较，分类出答案并保存至对应的文件夹中；最后根据对应的基础样本信息自动合成出训练样本集数据并对其标签化，以达到符合训练要求的目的。步骤(1)中由于学生试卷图片中同时包含有印刷体和手写体字符，为了能够完整的得到手写体答案，需通过模板匹配的方式完成手写体和印刷体字符的完全分离；步骤(4)中考虑实际答卷存在答案区未作答的现象，需结合不同题型中小题的数目和存储在答案数据库中的答案个数信息，对答案做实际排序和对齐操作，完成检测答案和答案库数据的对应关系。

作为本发明的优选技术方案，所述步骤(1)手印分离通过模板匹配的方式对含有手写体文本的作业或试卷的图片中的印刷体和手写体的字符进行分离的具体步骤包括：

s11图片矫正：将空白模板和含有手写体文本的作业或试卷图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；

s12手写分离：将含有手写体文本的作业或试卷图片中的手写体和印刷体进行分离得到纯手写体图片。

作为本发明的优选技术方案，所述步骤(2)中通过独立边缘像素检测方法对字符定位的具体步骤包括：

s21文本定位：对得到所述纯手写体图片中的手写体文本进行定位；

s22直线检测：检测所述步骤s21中定位到的所述手写体文本中是否有直线，若有直线则采用水平和垂直核卷积技术来检测直线的具体位置并输出其坐标值；

s23干扰筛选：对所述纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符的坐标。

采用上述技方案，将含有手写体文本的作业或试卷图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，采用多种算法结合，实现了手写体与印刷体的定位及分离，同时含有印刷体和手写体图片中的手写体字符做出精确定位；提高了文本识别系统的精确度。其中，步骤s11中在实际拍摄含有手写体文本的作业或试卷图片时，难免会有一定的倾斜性，因此为了能够完全分离手写体文本内容，需要对含有手写体文本的作业或试卷图片进行矫正；实际从步骤s12中分离出的纯手写体图片中包含有所有手写体的内容，因此对该纯手写体图片的文本进行定位，则可以得出定位效果图；当空白模板中具有直线如下划线，而下划线属于非文本，无法被检测到，而为了避免在步骤五中因对坐标筛选而导致其上部区域中的手写体文本(目标信息)无法匹配最终被去除掉的风险，故先采用水平和垂直核卷积等技术来检测下划线的具体位置并输出其坐标值。

作为本发明的优选技术方案，所述步骤s12具体包括以下步骤：

s121模板匹配：将步骤s11中的所述空白模板通过至少两种匹配算法利用空白模板的滑动寻找匹配点，将含有手写体文本的作业或试卷图片与所述空白模板进行粗匹配；

s122模板裁剪：将步骤s121中的与所述含有手写体文本的作业或试卷图片粗匹配好的所述空白模板进行裁剪，使所述空白模板的大小与所述含有手写体文本的作业或试卷图片的大小相同；

s123特征配准：采用尺度不变特征变换的sift算法来寻找关键特征点，使所述空白模板与所述含有手写体文本的作业或试卷图片中的文本内容重合，使所述空白模板与所述含有手写体文本的作业或试卷图片配准；

s124差异检测：对步骤s123中配准后的所述含有手写体文本的作业或试卷图片，采用不同区域检测算法将其和所述空白模板图片进行对比检测，找出所述空白模板与所述含、有手写体文本的作业或试卷图片中的不同区域得到检测结果图，记为图a；

s125模板相减：将步骤s123中配准后的所述含有手写体文本的作业或试卷图片，通过对所述空白模板和所述含有手写体文本的作业或试卷图片采用模板灰度处理后得到的值进行直接相减操作，得到相减结果图，记为图b；

s126相同检测：将步骤s124得到的图a与步骤s25得到的图b通过异或运算法去掉图片中手写部分的内容，得到图c；

s127手写提取：再次将所述图a和图b做或运算得到重叠后的全部文本内容，记作图d；再将图d与图c做相减运算，再经腐蚀处理及高斯去噪后，得到最终的所述纯手写体图片。

采用上述技术方案，含有手写体文本的作业或试卷图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，但由于图像的不完全匹配以及手写和印刷灰度值的相似性较高，为了避免难以区分，采用空白模板匹配结合特征值寻找出最佳匹配点，实现两张图片内容的最接近重合，再利用空白模板相减原理和相同值的异或消除运算，以及对比增强与图像去噪声算法，可以确保增加手写体和印刷体差异的同时达到完全分离的目的；实现了在提供空白模板的情况下，无需考虑手写体书写的具体位置以及手写体复杂性的特点，均能够对其进行完全分离；其中匹配过程主要是利用空白模板的滑动来寻找最佳匹配点，这个结果虽然不能够达到理想的匹配状态，但是能尽其最大的能力寻找到模板匹配的合适位置，并裁剪出和模板一样大小的图片；实际电子档扫描的图片会存在大小不一的情况，而在模板匹配时，空白模板的图片大小相比含有手写体文本的作业或试卷图片要小，因此需要将模板图片进行裁剪；为了完全重合空白模板与含有手写体文本的作业或试卷图片中的文本部分，达到模板相减后的最佳差异状态，因此需要对图片进行对齐化；采用尺度不变特征变换的sift算法来寻找关键特征点，以达到空白模板与含有手写体文本的作业或试卷图片的近似对齐，从而使两张图片配准。

作为本发明的优选技术方案，所述步骤s11中的所述空白模板和含有手写体文本的作业或试卷图片的印刷体文本内容相同；所属步骤s11中的所述二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色；所述轮廓提取采用基于边界跟踪的数字化二值图像拓扑分析算法，该基于边界跟踪的数字化二值图像拓扑分析算法确定二值图像边界的围绕关系，从而定位到图像边界；所述霍夫变换检测是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线，同时记录下每条直线经过的点数，按照阈值筛选符合条件的图像，从而达到图像检测的目的，通过霍夫变换检测可以进行直线检测，并根据得到的直线起始和终止的坐标值计算得到其上部的文本区域的坐标值。所属步骤s11中的二值化处理：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色。轮廓提取：采用基于边界跟踪的数字化二值图像拓扑分析算法，该算法确定二值图像边界的围绕关系，即确定外边界、孔边界以及他们的层次关系，由于这些边界和原图的区域具有一一对应关系(外边界对应像素值为1的连通区域，孔边界对应像素值为0的区域)，因此我们就可以定位到图像边界。霍夫变换：霍夫变换主要是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线。记录下每条直线经过的点数，按照阈值筛选符合条件的图像，已达到图像检测的目的(如：直线、圆、矩形等)，扫描图片的边框一般为直线边框，通过霍夫变换可以进行直线检测，并输出直线坐标。

作为本发明的优选技术方案，所述步骤(3)中采用模板匹配标志位的方法获取答案区坐标并确定各题目的答案区位置，再根据所述步骤(2)得到的手写体字符的定位坐标和步骤(3)得到的答案区坐标进行比较，最终确定所有手写体答案坐标。

作为本发明的优选技术方案，所述步骤s21中的对文本定位采用east深度学习算法进行定位，所述east算法是通过全卷积网络fcn和非极大值抑制nms，消除中间的冗余过程，减少检测时间来对文本图片中的文本进行定位；所述east算法是基于pvanet网络，提取不同尺寸卷积核下的特征并对其进行组合，将组合后的特征再通过上池化和合并处理后恢复到原图的尺寸，接着依次送入个数为128、64、32的卷积核中做卷积操作，最后分别得到图片中每个文本的得分和文本的形状，达到文本检测的目的。

作为本发明的优选技术方案，所述步骤s23中所述纯手写体文本进行干扰字符筛选通过对字符的坐标进行筛选来实现，坐标筛选分两份坐标列表进行，一份为所述空白模板的文本坐标，一份为分离后的纯手写体文本坐标，通过设定的阀值来比较两份坐标的差值范围来保留目标项和剔除非选项。

作为本发明的优选技术方案，所述步骤s121中的模板匹配的方法为平方差匹配方法，具体的匹配过程如下：

s1211读取图片，将所述空白模板的图像在待匹配图像上进行滑动；

s1212滑动每个定格得到子图坐标矩阵，再将其归一化；

s1213计算相关系数，找出所述相关系数的最大值的坐标；

s1214根据所述相关系数的最大值坐标得到匹配点。

作为本发明的优选技术方案，所述步骤s123中采用尺度不变特征变换的sift算法来寻找关键特征点完成所述空白模板与所述含有手写体文本的作业或试卷图片两幅图像中的特征点的检测和配准的具体过程为：

s1231对其中一张图片通过高斯微分函数在其所有尺度空间上的图像进行极值点的检测；为了寻找尺度空间上的极值点，它采取相邻点比较的方式来筛选极值采样点，看其在图像域和尺度域上相邻点的大小，选取稳定的采样点作为特征点；

s1232通过拟和三维二次函数以确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；

s1233采用关键点特征向量的欧式距离来作为所述空白模板与所述含有手写体文本的作业或试卷图片两幅图像中关键点的相似性判定度量，从而达到两张图片配准的目的。

作为本发明的优选技术方案，所述步骤s124中采用的不同区域检测算法的具体过程为：将步骤s122中裁剪后所述空白模板与所述含有手写体文本的作业或试卷图片进行所述二值化处理，处理后进行同一位置的逐像素比对，对白色像素差异区域进行保留，并对黑色像色区域进行反转即将像素值0改为255，也一并保留在差异区域的图片上；这样可以完全输出所述空白模板与所述含有手写体文本的作业或试卷图片的不同区域。

作为本发明的优选技术方案，所述步骤s126中异或运算法具体为：对图a和图b进行异或运算，即对同一位置的像素点进行灰度值异或运算，相同灰度值的情况下将灰度值设置为0，不同灰度值情况下设置为1，从而输出图片c。

作为本发明的优选技术方案，所述步骤s127中将图d与图c做相减运算，再经腐蚀处理及高斯去噪的具体过程为：

s1271将图d和图c按其对应像素矩阵作矩阵相减运算；

s1272设定腐蚀的结构元为矩形结构元，大小为3*3矩阵；

s1273利用已设定的结构元对相减运算后的图片进行卷积运算即腐蚀；

s1274设置高斯低通滤波器参数；

s1275利用高斯低通滤波器对图像矩阵进行加权平均，去除噪点。

作为本发明的优选技术方案，采用模板匹配标志位的方法是根据事先保存的标志模板，通过平方差匹配法匹配到对应的标志字符，并获取答案区坐标以确定答案区位置。标志模板包括左括弧、右括弧、圆圈、方框等。

作为本发明的优选技术方案，将所述步骤(2)得到的手写体字符的定位坐标和步骤(3)得到的答案区坐标进行比较的具体过程是通过对手写体字符的定位的矩形框左上角点和右下角点所在的x轴和y轴坐标与答案区的左上角点和右下角点所在的x轴和y轴坐标做大小比较，确定其重叠的区域面积，当重叠区域的面积大于50％时，则认为步骤(2)定位的结果属于步骤(3)定位的答案区中的答案。

相比现有技术，该技术方案具有的有益效果是：将含有手写体文本的作业或试卷图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，采用多种算法结合，实现了手写体与印刷体的定位及分离，同时含有印刷体和手写体图片中的手写体的字符做出精确定位；再利用答案区的坐标信息，结合分离出的手写体的字符的定位坐标，提取出完整的手写体答案，再将手写体答案与答案库的数据做对齐比较，分类出答案并保存至文件夹中，最后根据对应的基础样本信息自动合成出训练样本集数据并对其标签化，以达到符合训练要求的目的；从而实现当提供答案库的情况下，无需手动分类基础样本，就能够根据基础样本自动生成大量的训练样本集。

附图说明

下面结合附图和本发明的实施方式进一步详细说明：

图1是本发明的基于答案库的手写样本集的自动生成方法的流程图；

图2是发明的基于答案库的手写样本集的自动生成方法的步骤(1)和步骤(2)的具体流程图；

图3是本发明的基于答案库的手写样本集的自动生成方法的步骤s12中手写体与印刷体分离后得到纯手写体文本的效果图；

图4是本发明的基于答案库的手写样本集的自动生成方法的步骤s21中含有手写干扰项的纯手写体文本定位的效果图；

图5是本发明的基于答案库的手写样本集的自动生成方法中空白模板的印刷体字符定位的效果图；

图6是本发明的基于答案库的手写样本集的自动生成方法中的步骤s22的模板下划线检测效果图；

图7是本发明的基于答案库的手写样本集的自动生成方法中的步骤(3)的答案定位结果效果图；

图8是本发明的手写定位与分离的方法中的步骤s121的具体流程图；

图9是本发明的手写定位与分离的方法中的步骤s127的具体流程图；

图10是本发明的基于答案库的手写样本集的自动生成方法中步骤s124中的图a；

图11是本发明的基于答案库的手写样本集的自动生成方法中步骤s125中的图b；

图12是本发明的基于答案库的手写样本集的自动生成方法中的步骤a126的图c；

图13是本发明的基于答案库的手写样本集的自动生成方法中的步骤a127的图d；

图14是本发明的基于答案库的手写样本集的自动生成方法中所述步骤(5)的答案分类的结果图；

图15是本发明的基于答案库的手写样本集的自动生成方法中所述步骤(6)的自动合成的训练样本集。

具体实施方式

实施例：如图1～15所示，该基于答案库的手写样本集的自动生成方法，具体包括以下步骤：

(1)手印分离：将含有手写体文本的作业或试卷的图片中的印刷体和手写体字符进行分离；

(2)字符定位：对已分离出的手写体的字符图片，对所述字符图片中的字符进行定位；

(3)答案获取：首先确定各题目的答案区，再确定手写体的答案坐标；

(4)答案对齐：结合不同题型的数目和存储在答案数据库中的答案个数信息，对题目的答案做实际排序和对齐操作，完成检测答案和答案库数据的对应关系；

(5)答案分类：根据答案库的数据信息，直接判断出字符类别，并裁剪出对应的手写体答案，将裁剪的答案图片作为基础样本保存至对应的文件夹中；

(6)样本合成：根据步骤(5)得到的基础样本的数据集，通过随机读取文件夹名和文件夹中的文件，将获取到的答案图片统一等比缩放至高度为32个像素的大小，再按照矩阵行拼接的方式对数字化的图片进行自动合成，最终得出训练样本集。

采用上述技术方案，由于图像中同时包含有印刷体和手写体字符，为了保证完整地提取出手写体字符答案，并依据答案库信息来正确分类和保存手写体答案的字符图片作为基础的样本，用于自动合成最终的样本数据集；首先对含有手写体文本的作业或试卷的文本图片进行处理分析，采用基于模板匹配的手写印刷分离，实现两张图片中手写字符的完整提取；再利用答案区的坐标信息，以及分离出的手写字符的定位结果，提取出完整的手写体答案；接着将手写答案和答案库信息做对齐比较，分类出答案并保存至对应的文件夹中；最后根据对应的基础样本信息自动合成出训练样本集数据并对其标签化，以达到符合训练要求的目的。

所述步骤(1)手印分离通过模板匹配的方式对含有手写体文本的作业或试卷的图片中的印刷体和手写体的字符进行分离的具体步骤包括：

s11图片矫正：将空白模板和含有手写体文本的作业或试卷图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；

s12手写分离：将含有手写体文本的作业或试卷图片中的手写体和印刷体进行分离得到纯手写体图片；

所述步骤(2)中通过独立边缘像素检测方法对字符定位的具体步骤包括：

s21文本定位：对得到所述纯手写体图片中的手写体文本进行定位；

s22直线检测：检测所述步骤s21中定位到的所述手写体文本中是否有直线，若有直线则采用水平和垂直核卷积技术来检测直线的具体位置并输出其坐标值；

s23干扰筛选：对所述纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符的坐标。

所述步骤s11中的所述空白模板和含有手写体文本的作业或试卷图片的印刷体文本内容相同；所属步骤s11中的所述二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色；所述轮廓提取采用基于边界跟踪的数字化二值图像拓扑分析算法，该基于边界跟踪的数字化二值图像拓扑分析算法确定二值图像边界的围绕关系，从而定位到图像边界；所述霍夫变换检测是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线，同时记录下每条直线经过的点数，按照阈值筛选符合条件的图像，从而达到图像检测的目的，通过霍夫变换检测可以进行直线检测，并根据得到的直线起始和终止的坐标值计算得到其上部的文本区域的坐标值；所属步骤s11中的二值化处理：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色。轮廓提取：采用基于边界跟踪的数字化二值图像拓扑分析算法，该算法确定二值图像边界的围绕关系，即确定外边界、孔边界以及他们的层次关系，由于这些边界和原图的区域具有一一对应关系(外边界对应像素值为1的连通区域，孔边界对应像素值为0的区域)，因此我们就可以定位到图像边界。霍夫变换：霍夫变换主要是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线。记录下每条直线经过的点数，按照阈值筛选符合条件的图像，已达到图像检测的目的(如：直线、圆、矩形等)，扫描图片的边框一般为直线边框，通过霍夫变换可以进行直线检测，并输出直线坐标；

所述步骤s12具体包括以下步骤：

s121模板匹配：将步骤s11中的所述空白模板通过至少两种匹配算法利用空白模板的滑动寻找匹配点，将含有手写体文本的作业或试卷图片与所述空白模板进行粗匹配；

s122模板裁剪：将步骤s121中的与所述含有手写体文本的作业或试卷图片粗匹配好的所述空白模板进行裁剪，使所述空白模板的大小与所述含有手写体文本的作业或试卷图片的大小相同；

s123特征配准：采用尺度不变特征变换的sift算法来寻找关键特征点，使所述空白模板与所述含有手写体文本的作业或试卷图片中的文本内容重合，使所述空白模板与所述含有手写体文本的作业或试卷图片配准；

s124差异检测：对步骤s123中配准后的所述含有手写体文本的作业或试卷图片，采用不同区域检测算法将其和所述空白模板图片进行对比检测，找出所述空白模板与所述含、有手写体文本的作业或试卷图片中的不同区域得到检测结果图，记为图a；

s125模板相减：将步骤s123中配准后的所述含有手写体文本的作业或试卷图片，通过对所述空白模板和所述含有手写体文本的作业或试卷图片采用模板灰度处理后得到的值进行直接相减操作，得到相减结果图，记为图b；

s126相同检测：将步骤s124得到的图a与步骤s25得到的图b通过异或运算法去掉图片中手写部分的内容，得到图c；

s127手写提取：再次将所述图a和图b做或运算得到重叠后的全部文本内容，记作图d；再将图d与图c做相减运算，再经腐蚀处理及高斯去噪后，得到最终的所述纯手写体图片；s21文本定位：对得到所述纯手写体图片中的手写体文本进行定位；含有手写体文本的作业或试卷图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，但由于图像的不完全匹配以及手写和印刷灰度值的相似性较高，为了避免难以区分，采用空白模板匹配结合特征值寻找出最佳匹配点，实现两张图片内容的最接近重合，再利用空白模板相减原理和相同值的异或消除运算，以及对比增强与图像去噪声算法，可以确保增加手写体和印刷体差异的同时达到完全分离的目的；实现了在提供空白模板的情况下，无需考虑手写体书写的具体位置以及手写体复杂性的特点，均能够对其进行完全分离；其中匹配过程主要是利用空白模板的滑动来寻找最佳匹配点，这个结果虽然不能够达到理想的匹配状态，但是能尽其最大的能力寻找到模板匹配的合适位置，并裁剪出和模板一样大小的图片；实际电子档扫描的图片会存在大小不一的情况，而在模板匹配时，空白模板的图片大小相比含有手写体文本的作业或试卷图片要小，因此需要将模板图片进行裁剪；为了完全重合空白模板与含有手写体文本的作业或试卷图片中的文本部分，达到模板相减后的最佳差异状态，因此需要对图片进行对齐化；采用尺度不变特征变换的sift算法来寻找关键特征点，以达到空白模板与含有手写体文本的作业或试卷图片的近似对齐，从而使两张图片配准；

如图9～13所示，所述步骤s121中的模板匹配的方法为平方差匹配方法，具体的匹配过程如下：

s1211读取图片，将所述空白模板的图像在待匹配图像上进行滑动；

s1212滑动每个定格得到子图坐标矩阵，再将其归一化；

s1213计算相关系数，找出所述相关系数的最大值的坐标；

s1214根据所述相关系数的最大值坐标得到匹配点；所述步骤s123中采用尺度不变特征变换的sift算法来寻找关键特征点完成所述空白模板与所述含有手写体文本的作业或试卷图片两幅图像中的特征点的检测和配准的具体过程为：

s1231对其中一张图片通过高斯微分函数在其所有尺度空间上的图像进行极值点的检测；为了寻找尺度空间上的极值点，它采取相邻点比较的方式来筛选极值采样点，看其在图像域和尺度域上相邻点的大小，选取稳定的采样点作为特征点；

s1232通过拟和三维二次函数以确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；

s1233采用关键点特征向量的欧式距离来作为所述空白模板与所述含有手写体文本的作业或试卷图片两幅图像中关键点的相似性判定度量，从而达到两张图片配准的目的；所述步骤s124中采用的不同区域检测算法的具体过程为：将步骤s122中裁剪后所述空白模板与所述含有手写体文本的作业或试卷图片进行所述二值化处理，处理后进行同一位置的逐像素比对，对白色像素差异区域进行保留，并对黑色像色区域进行反转即将像素值0改为255，也一并保留在差异区域的图片上；这样可以完全输出所述空白模板与所述含有手写体文本的作业或试卷图片的不同区域；所述步骤s126中异或运算法具体为：对图a和图b进行异或运算，即对同一位置的像素点进行灰度值异或运算，相同灰度值的情况下将灰度值设置为0，不同灰度值情况下设置为1，从而输出图片c；所述步骤s127中将图d与图c做相减运算，再经腐蚀处理及高斯去噪的具体过程为：

s1271将图d和图c按其对应像素矩阵作矩阵相减运算；

s1272设定腐蚀的结构元为矩形结构元，大小为3*3矩阵；

s1273利用已设定的结构元对相减运算后的图片进行卷积运算即腐蚀；

s1274设置高斯低通滤波器参数；

s1275利用高斯低通滤波器对图像矩阵进行加权平均，去除噪点；

所述步骤(3)中采用模板匹配标志位的方法获取答案区坐标并确定各题目的答案区位置，采用模板匹配标志位的方法是根据事先保存的标志模板，通过平方差匹配法匹配到对应的标志字符，并获取答案区坐标以确定答案区位置；再根据所述步骤(2)得到的手写体字符的定位坐标和步骤(3)得到的答案区坐标进行比较，具体过程是通过对手写体字符的定位的矩形框左上角点和右下角点所在的x轴和y轴坐标与答案区的左上角点和右下角点所在的x轴和y轴坐标做大小比较，确定其重叠的区域面积，当重叠区域的面积大于50％时，则认为步骤(2)定位的结果属于步骤(3)定位的答案区中的答案；从而最终确定所有手写体答案坐标；结果效果图如图7所示；

所述步骤s21中的对文本定位采用east深度学习算法进行定位，所述east算法是通过全卷积网络fcn和非极大值抑制nms，消除中间的冗余过程，减少检测时间来对文本图片中的文本进行定位；所述east算法是基于pvanet网络，提取不同尺寸卷积核下的特征并对其进行组合，将组合后的特征再通过上池化和合并处理后恢复到原图的尺寸，接着依次送入个数为128、64、32的卷积核中做卷积操作，最后分别得到图片中每个文本的得分和文本的形状，达到文本检测的目的；所述步骤s23中所述纯手写体文本进行干扰字符筛选通过对字符的坐标进行筛选来实现，坐标筛选分两份坐标列表进行，一份为所述空白模板的文本坐标，一份为分离后的纯手写体文本坐标，通过设定的阀值来比较两份坐标的差值范围来保留目标项和剔除非选项。

上面结合附图对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。