一种方形姓名印章文字提取、检测识别方法及系统与流程

1.本发明涉及印章文字识别方法领域，尤其涉及一种基于含有姓名印章的文档扫描图片的ocr文字识别方法及对应系统。


背景技术：

2.随着社会的发展，印章使用越来越频繁，各级国家机关、社会团体、高校以及企事业单位用都会用到印章，如何识别印章上的文字也变得越来越重要。
3.当今社会，还没有针对印章文字检测的成熟的、通用的算法。现有解决方案多是基于一个给定情境，对特定图章进行检定与文字识别，对文字识别系统有较高的需求，一般需要对文字识别系统进行额外的训练；且多数针对的是圆形公章，没有针对方形姓名章、法人章的成型方法。
4.另外，目前并不存在能对印章进行直接识别的ocr以及nlp软件或算法，导致当前对印章的处理强烈依赖于人工识别，增加了人力物力，且无法实现自动化流程。又因为印章出现的多是单个无意义文字，而且印章的旋转角度不定，加之印章的面积有限，导致即使是人工识别也不能达到较高的效率与准确度。当有大量业务出现时，现有的处理方法无法有效的进行应对。


技术实现要素：

5.本技术提供了一种方形姓名印章文字提取、检测识别方法及系统，是一种面向复杂环境的方形姓名印章文字检测识别方法、装置、电子设备及计算机可读存储介质，在存在背景文本或杂色的干扰下，对印章中的文字与数字进行识别。
6.本发明是通过以下技术方案实现的：
7.本发明的第一个目的，是提供一种方形姓名印章文字提取、检测识别方法，该方法包括如下步骤：
8.s1.面向复杂环境的方形姓名印章提取；
9.s11.获取含有方形姓名印章的图片或文档扫描件，对图片进行色彩提取与二值化处理，得到二值图像；
10.s12.对处理后的图片或文档扫描件进行神经网络分类，判断所含印章是否为本方法所适用的，对于分类结果适用本方法的图片或扫描件，进行后续处理；
11.s13.从神经网络返回结果确定待识别目标的几何特征，利用方形姓名印章的几何特征与色彩特征确定最小外接矩形；
12.s14.根据外接最小矩形进行方形姓名印章的旋转与切割，通过投影变换将最小外接矩形内的像素重新映射到新的正方形画布，获得只含有方形姓名印章的图片文件；
13.s2.基于ocr返回值的方形姓名印章文字检测识别；
14.s21.将初步转正图片，和旋转了90度的初步转正图片分别进行ocr检测，两图片分别称为图片a与图片b；
15.s22.比较s21中ocr检测后的图片a与图片b的返回值，包括文本内容、文本角度、置信度，选取返值中文本内容较长、置信度较高, 或其他可以认为返回值较好的图片作为下一步处理的依据，称此图片为图片c；
16.s23.保留s22中获得的图片c及其识别结果，将图片c进行180 度旋转，称为图片d，旋转过后的图片d再次进行ocr检测；
17.s24.比较s22与s23中ocr检测后的图片c与图片d的返回值，与s22类似的选取返回值较好的图片作为转正图片，称为图片s，由图片s的识别结果得到方形姓名印章的数字内容；
18.s25.对s24中得到的转正图片s进行固定模式的切割，得到切割图片；
19.s26.对s25中的切割图片分别进行ocr识别，得到返回值；
20.s27.对所得所有ocr返回值text字段(即识别到的文本内容) 中的数字与中文字符依照与s25相对应的规则进行合并，得到方形姓名印章的文字识别结果。
21.作为优选实施例，所述s12之前增加步骤：对所述s11中的二值图像进行开操作、闭操作，去除小的噪点，保留最大连通域。
22.作为优选实施例，所述s12中的神经网络分类，是使用卷积神经网络进行分类，模型采用alexnet，torch顺序结构搭建，交叉熵函数和sgd随机梯度下降，由于alexnet的设计是进行224
×
224大小图像的分类，因而需要使用opencv对图像进行分类，在进行分类时，不同维度的处理可能会导致原有印章发生形变，从而导致分类的准确度不高，因而使用空间金字塔池化来取代部分池化层，从而极大的提高了分类的准确度。
23.作为优选实施例，对神经网络分类的分类器采用卷积神经网络 cnn，使用alexnet网络模型，torch顺序结构，交叉熵函数和sgd 随机梯度下降，神经网络采用约4000张含有圆形、椭圆形与矩形印章的训练集进行训练，可以对印章是否为矩形印章进行准确的分类。
24.作为优选实施例，所述s13采用将提取框做一次投影变换，以最小旋转角映射到250*250的新画布上，即得到目标方形印章的提取图片。
25.作为优选实施例，所述s21中的初步转正图片，并非一般意义上的0度位置图片，而是指对于目标ocr系统而言识别效果最好的一张图片，由于ocr一般以0度文字为基准，推测其0度识别情况最好，因而称识别效果最好的图片为转正图片；但实际情况根据ocr系统与图片的不同，会出现其他角度识别情况比0度更好的情况，此时的转正图片为识别情况最好的非0度图片。
26.作为优选实施例，如果ocr的服务不是本地部署的，则还需要网络连接一台远程服务器，由远程服务器部署ocr服务。
27.本发明的第二个目的，是提供一种方形姓名印章文字提取、检测识别的系统，该系统包括：
28.图片获取模块，用于获取含有印章的图片或文档扫描件；
29.图片处理模块，用于对图片进行色彩提取，二值化处理与最大连通域提取；
30.印章分类模块，用于对上述文档或扫描件进行分类，判断所含印章是否为本方法所适用的，对于分类结果适用本方法的图片或扫描件，进行后续处理；
31.印章定位模块，用于从神经网络返回结果确定目标在图像中的具体位置，利用方形的几何特征确定外接最小矩形；
32.印章提取模块，用于根据外接最小矩形，通过投影变换进行方型印章的旋转与切割，获得只含有印章的图片文件；
33.光学文字识别模块，用于从图像中获取对应的文字信息；
34.图像处理模块，用于图像旋转与切割；
35.文字提取模块，用于ocr返回结果的提取与规则化。
36.本发明的第三个目的，是提供一种电子设备，所述电子设备包括：处理器、存储器，所述处理器和存储器均至少包括一个，所述处理器和存储器之间通信连接，所述存储器存储有可被所述处理器执行的指令，所述处理器执行所述指令，以实现如上所述方形姓名印章文字提取、检测识别方法的步骤。
37.本发明的实现原理：一种印章识别的思路是，根据印章本身的性质进行识别。由于印章颜色的特殊性，可以根据整个扫描文档中的特殊颜色来进行识别；亦可以通过印章的几何形状边框进行识别。这便引入了本发明的技术背景：
①
系统可以对方形印章进行框选与识别；
②
系统的处理时间应当在一个可接受范围内，至少不低于人工识别；
③
系统返回文字的精确度应该在一个较高的水平；
④
由于印章本身具有一定的规范，在准确获得印章图案区域后，转化为一个固定模式的识别问题。
38.本发明的创新点在于，本发通过一系列预处理将原始图像中的干扰因素降低到可接受的范围内，提出了针对方形姓名印章的普适化解决方案，本发明所提供的解决方案可以不加额外训练的应用在大部分提供合理返回值的文字识别系统上，实现了模块间的脱钩，解决了方形姓名印章文字顺序与普通文本不同而造成的识别顺序问题，以自然人所能接受的语言顺序返回姓名与相应数字。本发明提出的算法，解决了方型印章的计算机识别问题，基于光学文字识别系统对印章进行文字与数字的识别。本方法无需对光学文字识别系统进行额外的训练，即可解决文字识别方向不定的问题；针对杂色干扰有较好的宽容度。整体识别精度较高。
39.有益效果：本发明通过图像预处理与文字识别模型对方形姓名章进行检测识别，对于印章不同色的背景与杂色干扰有极强的鲁棒性，对离散的同色噪点也有较好的宽容度，并且能够根据印章格式自动还原文字顺序，解决了方形姓名章难以识别的问题；对ocr系统的宽容度很高，可以在已部署好的ocr系统上直接使用，无需额外训练或调整。本发明采用人工智能与计算机自动批量处理，对不同颜色的印章均可进行处理，节省了人力物力，大大提高了工作效率。
附图说明
40.图1为本发明方形姓名印章文字检测识别方法的流程示意图。
41.图2为本发明方形姓名印章提取的中间过程示意图(包括图 2a-2e)。
42.图3是本发明方形姓名印章文字检测识别方法的结构框图。
43.图4是本发明方形姓名印章文字检测系统的模块结构示意图。
44.图5是本发明方形姓名印章文字检测系统中电子设备组成模块结构示意图。
具体实施方式
45.下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前
提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
46.如图1所示，给出了发明方形姓名印章文字检测识别方法的基本流程，在本实施例中，方形姓名印章文字检测识别方法包括：
47.步骤1，获取待处理印章图片，图片中需有待识别的印章，印章颜色应当与背景色有一定区分度；
48.进行色彩提取与自适应二值化处理，此处以红色为例：当颜色为黑色或白色时，三个通道值的数值大小较为接近，对于肉眼可见的红色点，红色的值与其它两种颜色值的差较大，因而我们可以直接使用 r-b》threshold，r-g》threshold来判断是否为红色；
49.但是在实际情况中，根据拍摄到的图片的明亮度不同，会导致该阈值也有一定的变化，因而，对于每一张图片，对每个点计算得到对应的[r-b,r-g]，并将图片展开，从而得到一个形状为(h*w,2)的列表，之后对其进行k-means运算，即可得到较为合适的阈值，从而实现较为良好的提取红色和二值化效果；
[0050]
得到二值化图像后进行开闭运算去除噪点，先腐蚀后膨胀的操作称之为开操作，它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用，开运算可以消去小的、离散的噪点，但会破坏前景的连通性，还要经过一次闭运算将待提取前景连通起来，先膨胀后腐蚀的操作称之为闭操作。它具有填充物体内细小空洞，连接邻近物体和平滑边界的作用，得到图形的形状与区域；
[0051]
步骤2，查找最大区域，排除小区域，因为不能找到合适的阈值函数与kernel大小使所有图片均具有良好的效果，使用较小的 kernel可以避免破坏图章有效区域，但对存在的噪点进行排除的能力较低，针对这一问题，需要进最大连通域的提取，借助于opencv 可以较容易的获得每个连通域的面积，对于存在多个连通域的图像，经过前述步骤的处理，印章图案处于最大连通域中，因此只需保留最大连通域即可获得印章图案的位置；对于多数情况，图像在此时应当只存在唯一连通域，不需要进行最大连通域提取操作；
[0052]
若在提取连通域过程中，在经过步骤1后图像上已不存在合理的连通域，如唯一连通域过小或不存在连通域等情况，算法会在此处返回错误，不再进行后续处理，这一情况可能是因为输入了不含印章的图像、印章图像与背景区分度过低或是颜色设置错误所造成的；
[0053]
步骤3，进行印章的分类，使用卷积神经网络进行分类，模型采用alexnet，torch顺序结构搭建，交叉熵函数和sgd随机梯度下降；
[0054]
由于alexnet的设计是进行224
×
224大小图像的分类，因而我们需要使用opencv对图像进行分类，在进行分类时，不同维度的处理可能会导致原有印章发生形变，从而导致分类的准确度不高，因而使用spp(空间金字塔池化)来取代部分池化层，从而极大的提高了分类的准确度；
[0055]
在本实施例中，分类器采用卷积神经网络cnn，使用alexnet网络模型，torch顺序结构，交叉熵函数和sgd随机梯度下降，神经网络采用约4000张含有圆形、椭圆形与矩形印章的训练集进行训练，可以对印章是否为矩形印章进行准确的分类；
[0056]
对于本方法不适用的异形章，在方法的处理步骤1与2中，并不会被区分出来，但在经过神经网络分类器时2会返回非“矩形”值，此时可知输入的图像并不是本方法所适用的，
算法在此时即会返回错误，不会执行后续处理；
[0057]
步骤4，通过神经网络返回值进行目标位置的确定，得知待提取图像在输入图像中的具体位置，结合先前闭操作与最大连通域提取操作得到的目标区域，获得区域的最小外接矩形，作为目标的提取框；
[0058]
将提取框做一次投影变换，以最小旋转角映射到250*250的新画布上，即得到目标方形印章的提取图片；
[0059]
步骤5，对所得的提取图片进行光学文字识别，根据光学文字识别结果对上述图片进行对应旋转、裁剪操作，在方形图章的4个可能旋转角度中，针对不同ocr系统的不同识别模式，选择针对对应系统较好的图像，按照姓名章的模式进行区域分割，再分别进行光学文字识别，解决了姓名章的文字顺序问题；
[0060]
步骤6，进行光学文字识别，根据不同切片返回的不同结果，进行文字与数字的提取、规则化合并，最终得到文本识别的结果；
[0061]
在步骤5与步骤6中，需要对ocr的返回值进行评估，当出现包括但不限于不存在数字、数字长度过短、不能识别文本信息、ocr请求超时等情况时可以跳出执行流程返回错误。这可能是由于图像本身的质量过低、与远程服务器连接不可靠或是部署的ocr系统识别能力低下而造成的。
[0062]
如图2所示，给出了本方法获得方型印章的一个实例：图2a是待提取印章的原始图像，首先进行色差k-means颜色提取与自适应二值化处理。
[0063]
在本例中，待提取印章颜色为红色，因此可以直接在rgb颜色模式下进行处理，利用r通道与g、b通道的差值可以快速提取出红色部分，图2b是对图2a进行通道分离后的结果，左侧图像为红色通道，中侧为绿色通道，右侧为差值图像，即得到每一个像素点的[r-g]值；
[0064]
同上述方法可得每个像素的[r-b]值，使用[r-g]作为x坐标值， [r-b]值作为y坐标值，对图上像素集合做k-means二分类聚类，中心距原点较远的一簇即为前景像素，由此可得到图2c所示二值化图像。
[0065]
随后，在二值化图像上进行开闭运算，用开运算去除离散噪点，通过闭运算联通前景，得到二值化图像上的检测结果，将二值化图像的所有前景的边缘映射到原始图像上，即得到图2d所示识别结果，印章周围浅色边缘即为得到的边缘；尽管在本例中不存在此种情况，当图像的同色污染较多时，离散的大的噪点无法被开闭运算所消除，由于噪点并非我们所需要提取的印章图片，借助噪点相对印章图案而言普遍较小的特性，进行最大连通域的提取，只保留图像上面积最大的连通前景作为提取目标，因此噪点所在的独立连通域会被抛弃，只留下含印章的最大连通域。
[0066]
最后，得知最大连通域，可以求出最大连通域的最小外接矩形，将矩形做投影变换到新的正方形画布中，得到如图2e所示的提取印章。
[0067]
如图3、4所示，给出了本方法通过ocr系统返回进行旋转矫正与切割、识别的一个实例：图像a是本样例的一个输入，因为没有预先做更进一步的旋转矫正，此时图章呈90度顺时针旋转状态。
[0068]
第一步，将图像a顺时针旋转90度，使其呈180度旋转状态，称为图像b，将图像a与图像b分别进行光学文字识别，获取返回值；
[0069]
在本例中，部署的ocr系统文字区域识别采用db检测模型，文字方向分类器采用mbv3方向分类模型，有0与180度的二分类，文字识别采用rcnn识别模型；除了有文字的返回值外，也返回0或180 度的文字角度与文字区域的四点标注；将图像a与图像b的返回值进行判别，包括统计返回字段出现最多的角度值，基于此删去角度值不同的字段；而后比较返回值字段的质量，本实例采用数字字段长度作为ocr质量的判别。
[0070]
本实例选取图像b作为效果更好的图像作为下一步处理依据，类似的，将图像b旋转180度得到图片c，对图片c进行光学图像识别，得到返回值如上一步一样进行角度排除，与图像b进行ocr质量比较，选取质量较高的一张进行后续处理。本例中选择图像c；
[0071]
保留图像c的ocr结果，采用图像c的数字识别结果对图像c进行固定格式的裁剪，基于数字框与印章边界将图像c裁剪为含有前半文字的图像c_r与含有后半文字的图像c_l，将c_l和c_r根据图像 c的角度进行转正，再分别进行ocr识别，确保文字识别的方向性与所期望的一致；在本实例中，采用数字位置识别的四点信息进行图像分割，由于图像已经是250*250的矩形，由数字框的四点位置可得知此时的图像旋转情况，对应不同的旋转策略；最基本的，对于本实例的0度情况，裁剪策略为：
[0072]
左半图：[[数字框左沿,0],[数字框中线,0],[数字框中线,数字框下沿],[数字框左沿,数字框下沿]]；
[0073]
右半图：[[数字框中线,0],[数字框右沿,0],[数字框右沿,数字框下沿],[数字框中线,数字框下沿]]；
[0074]
在得到裁剪图像后，对于切割时不处于0度情况的图像进行再次转正，保证输入到ocr的图像切片为0度旋转状态，即一般意义上的转正图片，避免误识别情况的出现；
[0075]
得到ocr识别结果后，同样进行角度排除，从各个裁剪图片中得到文本信息，删去数字信息，按图片顺序对返回文本进行排序，再与图像c处获得的数字信息合并，最终得到方形姓名章的所有文本与数字信息。
[0076]
如图3所示，是本发明方形姓名印章文字检测系统的功能模块图。
[0077]
本发明所述印章文字检测识别装置100可以安装于电子设备中。根据实现的功能，所述印章文字检测识别装置可以包括印章提取模块 110和印章文字识别模块120，又可细分为图片获取模块111，图片处理模块112，印章分类模块113，印章定位模块114，印章提取模块115，光学文字识别模块121，图像处理模块122，文字提取模块 123。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0078]
在本实施例中，关于各模块/单元的功能如下：
[0079]
图片获取模块111，用于获取含有印章的图片或文档扫描件，图片或扫描件应当包括待识别的图章；
[0080]
图片处理模块112，用于对图片进行色彩提取，二值化处理与最大连通域提取，对于待提取色彩，可以手动指定，也可以通过自动识别；
[0081]
印章分类模块113，用于对上述文档或扫描件进行分类，判断所含印章是否为本方法所适用的，对于分类结果适用本方法的图片或扫描件，进行后续处理；
[0082]
印章定位模块114，用于从神经网络返回结果确定目标在图像中的具体位置，利用方形的几何特征确定外接最小矩形；
[0083]
印章提取模块115，用于根据外接最小矩形，通过投影变换进行方型印章的旋转与切割，获得只含有印章的图片文件；
[0084]
光学文字识别模块121，用于从图像中获取对应的文字与对应的信息；
[0085]
图像处理模块122，用于图像旋转与切割；
[0086]
文字提取模块123，用于ocr返回结果的提取与规则化。
[0087]
如图5所示，是本发明方形姓名印章文字检测系统的电子设备的结构示意图。
[0088]
所述电子设备1可以包括摄像头/图片来源100，计算机200与可能的远程服务器300。
[0089]
所述摄像头/图片来源100可以是本地部署的摄像头、扫描仪等硬件图像来源，也可以是可移动式存储设备中存储的数字化图像，还可以指代远程的post请求；
[0090]
计算机200还包括处理器210与存储器220；处理器210可以单指中央处理器cpu，也可指中央处理器cpu与图像处理器gpu，亦可代指具有在目标情境下提供计算功能的ic原件；处理器210与存储器220之间应当有可靠的数据链路，存储器220中应当存放有识别程序221供处理器运行，也应当可以存放来自图像源100的原始图像与处理过程的中间输出；
[0091]
远程服务器300应当运行一套完整的ocr服务，并与计算机200 有可靠的网络链接，能对计算机200发出的请求做出有效且合理的回应；
[0092]
此外，虽没有特别说明，计算机200应当具有支持其进行运算的其他部件，符合冯诺依曼构型，有可靠电源输入以及必要的i/o设备。
[0093]
在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，亦可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0094]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。