证件信息录入方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种证件信息录入方法、装置、电子设备及存储介质。

背景技术：

1、实际应用场景中，经常需要将大批量的证件信息录入到数据库中。其中，光学字符识别(optical character recognition，简称ocr)技术，是对输入图像进行电子扫描并从中提取文字的过程。

2、现有技术中，通过查找分析证件图像ocr识别结果，解析出证件图像中各属性位置，然后利用解析出的各属性位置，在其附近范围内查找到其属性值。

3、但是，上述方法鲁棒性差，解析的成功与否，完全受制于ocr识别结果，如“新生儿姓名”被识别为“亲生儿姓名”则无法解析，定位精度低，检测成功率低。

技术实现思路

1、本发明的实施例提供了一种证件信息录入方法、装置、电子设备及存储介质，以解决定位精度低，检测成功率低的技术问题。

2、第一方面，本发明的实施例提供了一种证件信息录入方法，包括：将待录入信息的证件图像输入到训练好的识别模型中，所述识别模型包括特征金字塔网络、区域候选网络和级联卷积神经网络；基于所述特征金字塔网络提取证件图像不同尺度的特征，并将相邻尺度的特征进行级联、特征融合，获得不同尺度的特征图；基于所述区域候选网络生成所述不同尺度的特征图的候选区域框；基于所述级联卷积神经网络输出所述候选区域框的识别结果，所述识别结果包括目标对象类别和目标对象位置，所述目标对象类别为证件图像上的不同属性及属性值；根据属性与对应属性值之间的位置关系确定每个属性对应的属性值，实现属性与对应属性值的结构化录入。

3、在一些实施例中，所述属性值包括文字属性值和数字属性值。

4、在一些实施例中，所述属性包括目标属性和辅助属性，所述识别结果还包括类别置信度；所述基于所述级联卷积神经网络输出所述候选区域框的识别结果之后，还包括：在识别到所述目标对象类别为所述辅助属性的情况下，确定所述目标对象与多个旋转角度下的参考辅助属性之间的类别置信度，并确定类别置信度最大的参考辅助属性对应的旋转角度为证件图像的当前姿态；根据证件图像的当前姿态调整对应的识别结果到目标旋转角度；所述根据属性与对应属性值之间的位置关系确定每个属性对应的属性值，包括：根据调整后的识别结果，及属性和对应属性值之间的位置关系确定每个属性对应的属性值。

5、在一些实施例中，所述根据属性与对应属性值之间的位置关系确定每个属性对应的属性值，包括：根据属性与相邻属性之间的位置关系确定属性值所处的位置区域；将位于所述属性值所处的位置区域内的属性值，确定为属性对应的属性值。

6、在一些实施例中，所述将待录入信息的证件图像输入到训练好的识别模型中之前，还包括：将所述证件图像进行归一化处理，其中，所述归一化处理包括以下至少一种：图像尺寸归一化、颜色值归一化。

7、在一些实施例中，所述候选区域框包括多个，所述基于所述区域候选网络生成不同尺度的特征图的候选区域框之后，还包括：对所述候选区域框进行非极大值抑制处理。

8、在一些实施例中，所述将待录入的证件图像输入到训练好的证件识别模型中之前，还包括：对证件样本上的属性进行第一目标框标注，对文字属性值进行第二目标框标注，对数字属性值进行第三目标框标注；将标注后的证件样本旋转多个角度，获得训练集；基于所述训练集对待训练的识别模型进行训练，获得训练好的识别模型。

9、第二方面，本发明实施例提供一种证件信息录入装置，包括：输入模块，用于将待录入信息的证件图像输入到训练好的识别模型中，所述识别模型包括特征金字塔网络、区域候选网络和级联卷积神经网络；处理模块，用于基于所述特征金字塔网络提取证件图像不同尺度的特征，并将相邻尺度的特征进行级联、特征融合，获得不同尺度的特征图；基于所述区域候选网络生成所述不同尺度的特征图的候选区域框；输出模块，用于基于所述级联卷积神经网络输出所述候选区域框的识别结果，所述识别结果包括目标对象类别和目标对象位置，所述目标对象类别为证件图像上的不同属性及属性值；录入模块，用于根据属性与对应属性值之间的位置关系确定每个属性对应的属性值，实现属性与对应属性值的结构化录入。

10、第三方面，本发明的实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的证件信息录入方法的步骤。

11、第四方面，本发明的实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面任一项所述的证件信息录入方法的步骤。

12、本发明实施例提供的证件信息录入方法、装置、电子设备及存储介质，其方法包括：将待录入信息的证件图像输入到训练好的识别模型中，所述识别模型包括特征金字塔网络、区域候选网络和级联卷积神经网络；基于所述特征金字塔网络提取证件图像不同尺度的特征，并将相邻尺度的特征进行级联、特征融合，获得不同尺度的特征图；基于所述区域候选网络生成所述不同尺度的特征图的候选区域框；基于所述级联卷积神经网络输出所述候选区域框的识别结果，所述识别结果包括目标对象类别和目标对象位置，所述目标对象类别为证件图像上的不同属性及属性值；根据属性与对应属性值之间的位置关系确定每个属性对应的属性值，实现属性与对应属性值的结构化录入；即本发明实施例基于深度学习目标检测技术，将证件图像中的各属性和属性值分别当做一个目标类别进行检测，提高了目标检测类别精度和位置精度，进而实现了证件信息的结构化录入。

技术特征：

1.一种证件信息录入方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述属性值包括文字属性值和数字属性值。

3.根据权利要求2所述的方法，其特征在于，所述属性包括目标属性和辅助属性，所述识别结果还包括类别置信度；所述基于所述级联卷积神经网络输出所述候选区域框的识别结果之后，还包括：

4.根据权利要求3所述的方法，其特征在于，所述根据属性与对应属性值之间的位置关系确定每个属性对应的属性值，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述将待录入信息的证件图像输入到训练好的识别模型中之前，还包括：

6.根据权利要求1-4任一项所述的方法，其特征在于，所述候选区域框包括多个，所述基于所述区域候选网络生成不同尺度的特征图的候选区域框之后，还包括：

7.根据权利要求2-4任一项所述的方法，其特征在于，所述将待录入的证件图像输入到训练好的证件识别模型中之前，还包括：

8.一种证件信息录入装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的证件信息录入方法的步骤。

技术总结
本发明实施例涉及一种证件信息录入方法、装置、电子设备及存储介质，通过将待录入信息的证件图像输入到训练好的识别模型中；基于所述特征金字塔网络提取证件图像不同尺度的特征，并将相邻尺度的特征进行级联、特征融合，获得不同尺度的特征图；基于所述区域候选网络生成所述不同尺度的特征图的候选区域框；基于所述级联卷积神经网络输出所述候选区域框的识别结果，所述识别结果包括目标对象类别和目标对象位置，所述目标对象类别为证件图像上的不同属性及属性值；根据属性与对应属性值之间的位置关系确定每个属性对应的属性值，实现属性与对应属性值的结构化录入；即通过改进的深度学习的目标检测，提高了目标检测类别精度和位置精度。

技术研发人员：刘敏,王帅,杨岩,陈峥
受保护的技术使用者：北京啄木鸟云健康科技有限公司
技术研发日：
技术公布日：2024/1/15