一种票据审核识别方法、装置、终端和存储介质与流程

本发明涉及一种图像识别领域，更具体地说，它涉及一种票据审核识别方法、装置、终端和存储介质。

背景技术：

1、随着人工智能技术尤其是ocr(英文全称：optical character recognition，中文全称：光学字符识别)技术逐渐被引入到智能财务发票信息采集系统中，利用ocr扫描识别技术自动采集增值税发票等票据上的信息，并汇总到表格中。这种方式与人工录入的方式相比，极大地减小了工作量。票据可以包括汇票、本票、支票、提单、存单等，每一张票据中包含有大量的票据信息，以票据中的发票为例，发票可以包括发票代码、发票号码、开票日期、购买方名称等票据信息。

2、由于票据的类别多种多样，而每种票据的版面布局、票面特征等表征票据的属性均是不同的，而现有技术大都采用票据字段、单位信息等信息在一张票据上的位置信息来建立票据的识别模版，并以此构建不同类别票据的模板库，进而通过票据的字段信息、开票的单位信息等在票据上的所在位置来匹配模板库内与之对应的模板，再基于匹配到的模版完成对票据图像的切片处理，最后基于ocr算法识别相应切片图像的字段，从而完成对票据内容的识别。

3、上述示例所述的现有技术并未考虑到在实际情况下，票据会因为类别的不同，其相邻位置之间的文字语义之间的关联关系也可能不同，若只是依据字段、开票单位信息等在票据上的位置来建立模板库，并以此建立不同类别票据的模板库，然后通过匹配的方式匹配出与待审核识别的票据图片的字段、开票单位信息相对应的识别模板，会导致匹配的模板并不是与待审核识别票据同属一个类别的票据，从而不能很好的完成对票据审核识别，并且依据字段、开票单位信息等在票据上的位置来建立模板库，并未考虑到每种票据的文本框的大小不一致的问题，这也会导致匹配的票据模块存在误差的问题，进而导致票据审核识别的准确度不高。

技术实现思路

1、本发明的目的是提供一种票据审核识别方法、装置、终端和存储介质，本发明考虑每种标准票据图像的特征区域的文本框尺寸信息以及关键信息特征，来构建票据定位模板的票据模板库，在此基础上，采用深度学习模型来提取待审核识别票据的图像中包含开票信息的至少一个特征候选框，并提取每个特征候选框内的关键信息特征和以及特征候选框的文本框尺寸信息特征，并依据这两个信息特征来匹配票据模板库中的票据定位模板，从而匹配出与待审核识别票据同一类型的票据定位模板，再依据票据定位模板完成对待审核识别票据图像的裁切，以获得待审核识别票据中包括票据字段的至少一个图像切片，最后利用ocr算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果，最终，解决票据审核识别的精确度不高的问题。

2、本发明的第一方面，提供了一种票据审核识别方法，方法包括：

3、基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；

4、采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；

5、提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；

6、基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；

7、利用ocr算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

8、在一种实现方案中，基于获取到的第一票据图像建立包括至少一个票据定位模板的票据模板库，具体为：

9、提取第一票据图像所包含的至少一个特征区域，并根据至少一个特征区域对应的票面特征匹配对应的开票信息，其中开票信息包括票据字段、票据类别及单位信息；

10、根据所述开票信息建立与所述第一票据图像对应的至少一个票据定位模板；

11、将至少一个所述票据定位模板与票据类型进行关联，以建立包括至少一个所述票据定位模板的票据模板库。

12、在一种实现方案中，采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，包括：

13、采用深度学习模型提取第二票据图像的开票信息，得到至少一个子特征候选框；

14、根据每个子特征候选框的任意一个边角坐标和子特征候选框的长宽参数，计算每个子特征候选框的中心点坐标；

15、根据第二票据图像的长宽参数构建坐标参考系，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，得到包含开票信息的至少一个特征候选框。

16、在一种实现方案中，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，包括：

17、确定横坐标相同的中心点坐标所属的子特征候选框的开票信息的信息关联度，基于信息关联度剔除不满足阈值的子特征候选框；

18、或者，剔除重复的中心点坐标所属的子特征候选框。

19、在一种实现方案中，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，包括：

20、计算至少一个特征区域的标准文本框尺寸信息特征与至少一个特征候选框的文本框尺寸信息特征的至少一个尺寸相似度；

21、预设尺寸相似度阈值，遍历至少一个尺寸相似度与尺寸相似度阈值的比较结果，确定出符合尺寸相似度阈值的至少一个票据定位模板；

22、计算符合尺寸相似度阈值的至少一个票据定位模板的标准关键信息特征与关键信息特征的语义相似度，在语义相似度符合预设的语义相似度阈值时，从至少一个票据定位模板中确定对应的票据定位模板。

23、在一种实现方案中，关键信息特征包括发票号码、开票日期、购买方信息、货物或应税劳务、服务名称和规格型号、单位、数量、单价、金额、税率、税额、合计、价税合计、销售方信息、收款人、复核、开票人、销售方的一种或多种。

24、在一种实现方案中，基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的多个图像切片，包括：基于匹配到的票据定位模板中的至少一个特征区域对第二票据图像进行裁切处理，获得与至少一个特征区域一一对应的票据字段的至少一个图像切片。

25、本发明的第二方面，还提供了一种票据审核识别装置，系统包括：

26、模板库建立模块，用于基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；

27、信息提取模块，用于采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；

28、模板匹配模块，用于提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；

29、图像切片模块，用于基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；

30、审核识别模块，用于利用ocr算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

31、本发明的第三方面，还提供了一种终端，所述终端包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面所述的一种票据审核识别方法。

32、本发明的第四方面，还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明的第一方面所述的一种票据审核识别方法。

33、与现有技术相比，本发明具有以下有益效果：

34、1、本发明考虑每种标准票据图像的特征区域的文本框尺寸信息以及关键信息特征，来构建票据定位模板的票据模板库，在此基础上，采用深度学习模型来提取待审核识别票据的图像中包含开票信息的至少一个特征候选框，并提取每个特征候选框内的关键信息特征和以及特征候选框的文本框尺寸信息特征，并依据这两个信息特征来匹配票据模板库中的票据定位模板，从而匹配出与待审核识别票据同一类型的票据定位模板，再依据票据定位模板完成对待审核识别票据图像的裁切，以获得待审核识别票据中包括票据字段的至少一个图像切片，最后利用ocr算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果，最终，解决票据审核识别的精确度不高的问题。

35、2、本发明还考虑在采用深度学习模型提取提取第二票据图像包含开票信息的至少一个特征候选框时，可能会出现多个互相重合的边框，其不仅会影响关于票据的开票信息的提取，且还会因为边框过多导致票据审核的整个过程耗时较多，影响审核识别的效率，故此，本发明针对深度学习模型提取开票信息所得到的至少一个子特征候选框作为原始的边框，然后每个子特征候选框的任意一个边角坐标和子特征候选框的长宽参数确定出每个子特征候选框的中心点坐标，再依据第二票据图像的长宽参数构建坐标参考系，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，进而保证了边框整体的质量。

36、3、本发明在剔除不符合坐标参考系的中心点坐标所属的子特征候选框时，还考虑票据图像在横向距离上的相邻子特征候选框所包含的开票信息的信息关联度，以此来作为剔除标准，或者剔除重复的中心点坐标所属的子特征候选框，从而保证了候选特征框的唯一性，从而更加准确的匹配到与待审核识别票据相同的票据定位模版。