基于智能算法的证书字符检测识别方法

本发明涉及图像视觉检测，尤其是涉及一种基于智能算法的证书字符检测识别方法。

背景技术：

1、一些产品在出厂时会附带产品合格证书，产品标定参数表等文档，当文档与对应产品不匹配时容易引发纠纷、客户投诉等问题，为了保证这些文件与数据库中的数据相同，与对应产品相匹配，出厂时需要进行核实。

2、机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对图像等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据，其在语音和图像识别方面取得的效果，远远超过先前相关技术。机器视觉识别技术是移动机器人平台十分关键的技术，代表着机器人智能化、自动化及先进性的判定标准。基于机器视觉的三维物体目标的识别、检测与定位技术已经成功应用于众多工业领域中。配合着机械臂平台，以其为基础的操作系统可以完成一系列繁重复杂的工作，大大解放了人类的双手，提高了工业生产效率。作为促成这一切成果基础的机器人视觉识别技术正在逐步建立、稳定发展并一步步走向成熟。近年来，随着机器人相关技术的快速发展，其依靠的平台也快速的更新换代。之前价格较为昂贵的3d工业相机、3d图像传感器、3d扫描仪渐渐得到普及，传感器的微型化、智能化、低功耗以及高效率带来的深度图像设备价格大幅下降，随之机器视觉识别技术也越发深入且成熟。

3、因此，面对查看核实证书数据这种具有重复性与枯燥性的工作，使用机器视觉识别技术对证书内容进行自动验证，不仅能够使各单位应对当下日益高昂的的人工成本，也节省了时间成本，提高了准确率，具有非常重要的意义。

技术实现思路

1、本发明的目的在于提供一种基于智能算法的证书字符检测识别方法，高效识别出厂证书内容，节省时间成本与人力资源，对出厂证书扫描，并进行二值化处理与膨胀与腐蚀的开闭合运算，最后通过ocr模型进行识别。

2、为达到上述目的，本发明所采用的技术方案是：

3、基于智能算法的证书字符检测识别方法，包括以下步骤：

4、步骤一、将纸质证书文档扫描并以图像形式上传至基于c#编程语言的客户端；

5、步骤二、客户端与基于python编程语言开发的服务端采用socket通讯协议，实现python和c语言之间的联系的，服务端读取客户端中的图像并进行二值化处理，使整个图像呈现出明显的黑白效果的过程；

6、步骤三、通过图像像素值取反，获得背景颜色为黑色的图像；

7、步骤四、对步骤三获得的图像进行膨胀操作，计算其连通域数量；

8、步骤五、由于图像中存在表格，会对后续字符识别产生较大的影响，所以需要对连通域数量进行判断，是否超出设定阈值，并作不同的处理；

9、情况一：若连通域未超出设定阈值，根据最大连通域截取图像，并对像素值取反，背景颜色为白色，完成预处理；

10、情况二：若连通域超出设定阈值，将原图进行像素值取反，并对图像做高斯平滑降噪处理，以此去除黑底图像中的噪点，再利用膨胀腐蚀原理从图像中去除表格，去除表格后根据最大连通域截取图像，像素值取反获得背景为白色的图像，完成预处理；

11、步骤六、利用ocr算法和训练完成的模型来实现字符识别，对预处理完成的图像进行识别并保留识别结果，写入csv文件；

12、步骤七、与数据库数据进行对比，确认证书字符是否符合。

13、上述方案进一步是，步骤二的二值化处理原理如下：

14、二值化把灰度图像转换成二值图像，把大于某个临界灰度值的像素灰度设为灰度极大值255，把小于这个值的像素灰度设为灰度极小值0，从而实现二值化，若图像灰度值大于或等于阈值，则判定该像素对应的255；反之，小于阈值的灰度值则为0。

15、上述方案进一步是，步骤四的膨胀处理原理如下：

16、二值后的图像前景物体为1，背景为0；假设原图像中有一个前景物体，那么我们用一个结构元素去膨胀原图的过程是这样的：遍历原图像的每一个像素，然后用结构元素的中心点对准当前正在遍历的这个像素，然后取当前结构元素所覆盖下的原图对应区域内的所有像素的最大值，用这个最大值替换当前像素值；由于二值图像最大值就是1，所以就是用1替换，即变成了白色前景物体；从而也可以看出，如果当前结构元素覆盖下，全部都是背景，那么就不会对原图做出改动，因为都是0；如果全部都是前景像素，也不会对原图做出改动，因为都是1；只有结构元素位于前景物体边缘的时候，它覆盖的区域内才会出现0和1两种不同的像素值，这个时候把当前像素替换成1就有变化了；因此膨胀看起来的效果就是让前景物体胀大了一圈一样；对于前景物体中一些细小的断裂处，如果结构元素大小相等，这些断裂的地方就会被连接起来。

17、上述方案进一步是，步骤五的高斯平滑原理如下：

18、高斯模糊，也叫高斯平滑，通常用它来减少图像噪声以及降低细节层次；“模糊”，就是将图像中每个像素值进行重置的过程，这个过程采用将每一个像素都设置成周边像素的平均值；在数值上，这是一种"平滑化”；在图形上，就相当于产生"模糊"效果，"中间点"失去细节；如果使用简单平均，显然不是很合理，因为图像都是连续的，越靠近的点关系越密切，越远离的点关系越疏远；因此，加权平均更合理，距离越近的点权重越大，距离越远的点权重越小正态分布显然是一种可取的权重分配模式；在图形上，正态分布是一种钟形曲线，越接近中心，取值越大，越远离中心，取值越小；计算平均值的时候，只需要将"中心点"作为原点，其他点按照其在正态曲线上的位置，分配权重，就可以得到一个加权平均值；正态分布的密度函数叫做"高斯函数"，按照此加权分配得出的中心点灰度值，应用于整张图像，就是实现了高斯模糊。

19、上述方案进一步是，步骤六的字符识别具体流程如下：

20、该步骤使用训练完成的模型来实现字符识别，识别流程为先检测检测出文字位置后，再进行文字识别，识别后保留识别结果，写入csv文件。

21、上述方案进一步是，该系统界面运行原理如下：

22、界面共4个按钮，其中使用前需要点击“连接服务端”用于发送指令，用以实现客户端与服务端之间不同编程环境的联系，后续点击“扫描文档”进行纸质文档扫描，用于实现纸质稳健的数字化上传，点击“运行”，开始运行该程序软件，完成后若需要扫描下一组的纸质档，则继续扫描文档，若无需继续扫描文档，则点击“断开服务端”；日志按钮用于查询历史完成扫描的图片，输入对应的编号，即可进行查询。

23、本发明与现有技术相比，具有以下有益效果：

24、1、本发明先对先对图象进行二值化处理并进行膨胀与腐蚀的闭合运算，再使用自己训练的ocr模型对图象进行识别检测，获取图像上的信息更为快速、准确。

25、2、本发明取代了之前的人工验证方式，更加的快捷便利。