基于计算机视觉的电子凭据图像识别解析方法与流程

本发明涉及图像识别，尤其涉及基于计算机视觉的电子凭据图像识别解析方法。

背景技术：

1、在传统工作流程中，电子凭据归档首先需要搜集纸质单据、凭证、报表，通过扫描或摄影技术，将其转化为非结构化图像数据。财务部门为确保纸质凭据背后的高价值凭据数据识别的准确性与安全性，例如发票中的金额、对象、时间等数据、合同金额数据，仍需人工进行结构化处理，录入相关会计电子凭据管理系统中，按流程逐级人工审核，确保数据无误。财务部门需要管理大量诸如此类的的纸质单据、凭证、报表档案，这使得整体录入和审核工作量繁重，效率较低。

2、并且，在目前的会计信息化管理过程中主要将会计电子凭据以图像的形式存档，其本身是一种非结构化的数据格式，不利于信息的进一步利用与结构化数据处理。

技术实现思路

1、本发明的目的在于提供基于计算机视觉的电子凭据图像识别解析方法，以解决上述背景技术中提出的问题。

2、本发明是通过以下技术方案实现的：本发明实施例提供了基于计算机视觉的电子凭据图像识别解析方法，包括下列步骤：

3、s1、上传凭证图像，并对所述凭证图像进行预处理，生成在像素大小一致的待处理图像；

4、s2、建立特征信息训练集以及图像分割训练集，并构建第一深度学习模型以及第二深度学习模型，使用特征信息训练集对第二深度学习模型进行训练，在训练完成后，使用图像分割训练集对第一深度学习模型进行训练，使用第二深度学习模型对第一深度学习模型的分割结果进行检验，直至完成第一深度学习模型的训练；

5、s3、使用第一深度学习模型以及第二深度学习模型对待处理图像进行图像分割以及图像识别，获得所述待处理图像中的内容识别结果。

6、可选的，对所述凭证图像进行预处理，预处理包括大小调整、灰度转换、滤波、全局阈值二值化和剪裁。

7、可选的，所述特征信息包括包括特征图像，所述特征图像内容包括静态文本、特殊符号、分隔符、条码或二维码中的一种或多种。

8、可选的，所述图像分割训练集中包含不同类型的电子凭证模板图像。

9、可选的，使用特征信息训练集对第二深度学习模型进行训练，具体包括：

10、s201、构建多层卷积神经网络，并定义至少一个输出层来输出内容分类的结果；

11、s202、构建包含静态文本、特殊符号、分隔符、条码或二维码中的一种或多种内容信息在内的特征信息训练集，将所述特征训练集训练输入多层卷积神经网络，并使用误差反向传播算法对所述多层卷积神经网络进行训练；

12、s203、修改多层卷积神经网络的卷积层层数得到新的多层卷积神经网络，用步骤s202得到的模型参数来初始化所述新的多层卷积神经网络卷积层的权重，将所述特征训练集训练输入新的多层卷积神经网络，并使用误差反向传播算法对新的多层卷积神经网络进行训练；

13、s204、重复步骤s203，直至所述特征训练集的识别正确率不再提高，最终获得第二深度学习模型。

14、可选的，使用图像分割训练集对第一深度学习模型进行训练，具体包括：

15、s2001、以不同类型的电子凭证模板图像的宽与高建立直角坐标系，其中电子凭证模板图像的宽为直角坐标系的x轴，电子凭证模板图像的高为直角坐标系的y轴；

16、s2002、设定电子凭证模板图像的初始坐标组，所述初始坐标组中包含多个初始坐标集合，每个初始坐标集合构成电子凭证模板图像的不同区域；

17、s2003、基于每个初始坐标集合，使用基于u2-net深度学习网络对对待处理图像进行图形分割，获得电子凭证模板图像的分割区域图像；

18、s2004、将所述分割区域图像输入至所述第二深度学习模型中，获得识别结果；

19、s2005、通过专家打分法对所述识别结果进行评估，若评估结果符合逾期，则将该坐标集合作为该电子凭证模板图像的识别坐标，若评估结果不符合逾期，对所述初始坐标集合进行调整，并重复步骤s2003-s2005，直到分割区域图像的识别结果符合要求。

20、可选的，每个初始坐标集合由四个初始坐标构成，四个初始坐标构成待处理图像的待分割区域。

21、本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的基于计算机视觉的电子凭据图像识别解析方法。

22、本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的基于计算机视觉的电子凭据图像识别解析方法。

23、与现有技术相比，本发明达到的有益效果如下：

24、本发明提供的基于计算机视觉的电子凭据图像识别解析方法，通过建立特征信息训练集以及第二深度学习模型，对电子凭证图像的特征信息进行内容识别，可精确识别电子凭证图像上的特征信息，将电子凭据图像转化为可直接使用的结构化会计数据，其次通过图像分割训练集以及第一深度学习模型，对电子凭证图像进行分区域分割，对不同分割电子凭据板块进行标签化，同时采用第二深度学习模型的识别结果来评估第一深度学习模型的分割结果，实现电子凭据信息的高效图像处理、自主化解析匹配。

技术特征：

1.基于计算机视觉的电子凭据图像识别解析方法，其特征在于，包括下列步骤：

2.根据权利要求1所述的基于计算机视觉的电子凭据图像识别解析方法，其特征在于，对所述凭证图像进行预处理，预处理包括大小调整、灰度转换、滤波、全局阈值二值化和剪裁。

3.根据权利要求1所述的基于计算机视觉的电子凭据图像识别解析方法，其特征在于，所述特征信息包括包括特征图像，所述特征图像内容包括静态文本、特殊符号、分隔符、条码或二维码中的一种或多种。

4.根据权利要求1所述的基于计算机视觉的电子凭据图像识别解析方法，其特征在于，所述图像分割训练集中包含不同类型的电子凭证模板图像。

5.根据权利要求2所述的基于计算机视觉的电子凭据图像识别解析方法，其特征在于，使用特征信息训练集对第二深度学习模型进行训练，具体包括：

6.根据权利要求2所述的基于计算机视觉的电子凭据图像识别解析方法，其特征在于，使用图像分割训练集对第一深度学习模型进行训练，具体包括：

7.根据权利要求6所述的基于计算机视觉的电子凭据图像识别解析方法，其特征在于，每个初始坐标集合由四个初始坐标构成，四个初始坐标构成待处理图像的待分割区域。

8.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于计算机视觉的电子凭据图像识别解析方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的基于计算机视觉的电子凭据图像识别解析方法。

技术总结
本发明提供基于计算机视觉的电子凭据图像识别解析方法，包括下列步骤：S1、上传凭证图像，并对所述凭证图像进行预处理，生成在像素大小一致的待处理图像；S2、建立特征信息训练集以及图像分割训练集，并构建第一深度学习模型以及第二深度学习模型，使用特征信息训练集对第二深度学习模型进行训练，在训练完成后，使用图像分割训练集对第一深度学习模型进行训练，使用第二深度学习模型对第一深度学习模型的分割结果进行检验，直至完成第一深度学习模型的训练；S3、使用第一深度学习模型以及第二深度学习模型对待处理图像进行图像分割以及图像识别，获得所述待处理图像中的内容识别结果。

技术研发人员：胡喜国,孙英楷,王献春,池建昆,杨青,郝闪闪,王昱洁,王国强,及翠婷,冯理达,何颖,王静,马超
受保护的技术使用者：国网河北省电力有限公司
技术研发日：
技术公布日：2024/1/13