本发明属于图像识别领域，尤其涉及一种基于人脸识别和ocr的身份证图像识别审核方法及系统。
背景技术：
身份证作为人口信息行之有效的管理工具，已经运用到了社会生活的方方面面，身份证的信息获取具有十分重要的作用。目前，身份证中的个人信息录入大多采用人工录入，或者利用设备读取其中的磁信号。人工录入方式不但耗时，效率低下，并且容易因为人工输入原因产生信息错录入，造成不必要的损失；而利用设备读取身份证磁信号则因公安机构许可和身份证消磁等原因无法广泛使用。如果能够从图像处理的角度，让机器代替人工对图像的信息进行抓取并自动识别，将能解决人工录入问题。
同时利用人工审核存在多项弊端，一方面由于如今出神入化的造假技术和身份证本身存在不可挂失的缘故让身份证冒用、造假频发；另一方面，人工审核耗时长，费力又容易出错，最关键的是审核员接触大量的身份证信息，容易造成信息泄露。
通过人脸识别技术，可以快速把没有头像的身份证图像快速过滤；光学字符识别（ocr）方法能够快速获取到身份证文字信息，但识别中要解决很多问题：身份证图像背景复杂；存在汉字、符号、英文等的混排；涉及汉字非常多。这对我们在图像预处理、字符切分以及汉字特征提取等环节提出了非常高的要求。
通过人脸识别技术和ocr技术结合，能实现智能对身份证图像进行真伪审核，并审核携带者本人与身份证的一致性。
专利cn201510513983“一种基于身份证件信息和人脸识别的身份验证方法及系统”是通过身份证读卡器或ocr设备获取身份证ic卡中存储的身份证照片和身份证号码，要借助外来设备，该系统本身无法获取身份证文字信息；通过包含年龄变化模型的人脸识别算法，但这种算法的准确度较差。
专利cn201310392899“身份证件持有人真伪自动识别方法和系统”是虽然也实现了身份证信息识别与人脸图像的匹配，但该发明没有对身份证图像倾斜转正，同时对于使用的ocr技术和人脸匹配的方法没有做更多的详细阐述。对于ocr识别的效果和人脸匹配的准确，有很大的疑问。
技术实现要素：
本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于人脸识别和ocr的身份证图像识别审核方法及系统,本基于人脸识别和ocr的身份证图像识别审核方法及系统具有提取身份证图像的内容、审核身份证本身的真伪，以及审核身份证与携带者本人是否一致的功能。
为实现上述技术目的，本发明采取的技术方案为：
一种基于人脸识别和ocr的身份证图像识别审核方法，具体包括以下步骤：
步骤1：客户端采集身份证的图像和携带者本人的头部图像，并将身份证的图像和携带者本人的头部图像发送到服务器；
步骤2：服务器基于haar特征的人脸检测的技术，检测并提取身份证的图像中的人脸局部图像，根据人脸局部图像来校正身份证的图像的倾斜；
步骤3：服务器通过ocr技术获取校正后的身份证的图像中的每一行的文字词语信息并分析文字词语信息中的词语语义，从而提取身份证的图像中的关键文字信息，所述关键文字信息包括身份证号码和姓名；
步骤4：服务器连接有全国公民身份信息系统，通过全国公民身份信息系统验证服务器提取的身份证的图像中的身份证号码、姓名和身份证剩余文字信息是否正确，服务器通过基于sift特征的整体人脸匹配以及眼睛、鼻子、嘴之间的距离数据和角度数据的匹配来审核身份证的图像中的人脸局部图像和全国公民身份信息系统中存储的头部图像是否一致，验证并识别身份证的真伪；
步骤5：服务器通过基于sift特征的整体人脸匹配以及眼睛、鼻子、嘴之间的距离数据和角度数据的匹配来审核身份证的图像中的人脸局部图像和携带者本人的头部图像是否一致，从而验证身份证与携带者本人是否一致；
步骤6：服务器向客户端返回识别的身份证的真伪的结果和审核的身份证的图像与携带者本人的头部图像是否一致的结果。
作为本发明进一步改进的技术方案，所述的步骤2包括以下步骤：
（a）服务器使用基于haar特征的人脸检测的技术，提取身份证的图像中的人脸局部图像中的人脸的外接圆坐标,提取人脸局部图像中的两个眼睛、鼻子和嘴的坐标数据；
（b）根据人脸局部图像中的两个眼睛、鼻子和嘴的坐标数据计算眼睛、鼻子和嘴的距离数据以及角度数据，所述眼睛、鼻子和嘴的距离数据以及角度数据包括：两个眼睛之间的间距、两个眼睛之间的角度、鼻子分别和两个眼睛之间的距离、鼻子分别和两个眼睛之间的角度、嘴和鼻子之间的距离、嘴和两个眼睛之间的距离以及嘴和两个眼睛之间的角度；
（c）根据两个眼睛之间的角度、鼻子分别和两个眼睛之间的角度以及嘴和两个眼睛之间的角度来判断人脸局部图像的倾斜角度从而判断身份证的图像的倾斜角度，对身份证的图像的倾斜角度进行校正；
（d）提取并计算校正后的身份证的图像中的人脸局部图像中的眼睛、鼻子和嘴的距离数据以及角度数据。
作为本发明进一步改进的技术方案，所述的步骤3包括以下步骤：
（a）服务器提取校正后的身份证的图像中的每一个文字的轮廓和矩形坐标；
（b）根据每一个文字的矩形坐标，将同一水平上的以及紧邻两行文字进行合并，从而获取每一行的文字词语信息；
（c）对每一行的文字词语信息进行词语语义分析，分析每一行的文字词语信息中的词语语义，分析词语的标题索引，从而根据索引提取关键文字信息，所述关键文字信息包括身份证号码和姓名。
作为本发明进一步改进的技术方案，所述的步骤4包括以下步骤：
（a）服务器连接有全国公民身份信息系统，服务器与全国公民身份信息系统的接口连接；
（b）服务器通过请求get方式访问全国公民身份信息系统的接口，从而实现服务器通过接口向全国公民身份信息系统索取与身份证的图像中的身份证号码和姓名一致的身份信息，全国公民身份信息系统向服务器返回结果数据，如果全国公民身份信息系统中不存在与身份证的图像中的身份证号码和姓名一致的身份信息，则全国公民身份信息系统向服务器返回“不一致”信息，即查无此人，同时服务器向客户端返回“身份证图像为假”的信息；如果全国公民身份信息系统中存在与身份证的图像中的身份证号码和姓名一致的身份信息，则全国公民身份信息系统向服务器返回“一致”信息，并向服务器返回与身份证的图像中的身份证号码和姓名一致的身份信息中的身份证剩余文字信息和头部图像；
（c）服务器审核全国公民身份信息系统返回的身份信息中的身份证剩余文字信息和身份证的图像中的身份证剩余文字信息是否一致，对身份证剩余文字信息中的每一个字符一一进行比较，如果不一致，则服务器向客户端返回文字信息不一致的信息；如地址信息不一致，则返回“身份证号码姓名正确，但地址信息不一致”；否则，执行步骤（d）；
（d）服务器从全国公民身份信息系统返回的身份信息中的头部图像中提取人脸局部图像，提取头部图像中的人脸局部图像内的眼睛、鼻子和嘴之间的距离数据以及角度数据，根据眼睛、鼻子和嘴之间的角度数据对头部图像的倾斜进行校正，再次提取校正后的头部图像的眼睛、鼻子、嘴之间的距离数据和角度数据，服务器将身份证的图像中的人脸局部图像和全国公民身份信息系统返回的校正后的头部图像中的人脸局部图像做sift特征的整体人脸匹配，即人脸整体图像的sift特征匹配；服务器将校正后的身份证的图像中的人脸图像的眼睛、鼻子、嘴之间的距离数据和角度数据与全国公民身份信息系统返回的校正后的头部图像的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算，如果sift特征的整体人脸匹配的结果为一致且眼睛、鼻子、嘴之间的距离数据和角度数据的匹配计算结果也为一致，则人脸匹配成功，否则，人脸匹配失败；
（e）如果人脸匹配成功，则服务器向客户端返回“身份证图像信息一致”信息。
作为本发明进一步改进的技术方案，所述步骤5包括以下步骤：
（a）服务器提取携带者本人的头部图像；从携带者本人的头部图像内提取眼睛、鼻子、嘴之间的距离数据和角度数据，并根据眼睛、鼻子、嘴之间的角度数据对携带者本人的头部图像进行校正，从而再次提取校正后携带者本人的头部图像内的眼睛、鼻子、嘴之间的距离数据和角度数据；
（b）服务器对身份证的图像中的人脸局部图像与携带者本人的头部图像进行sift特征的整体人脸匹配；并对身份证的图像中的人脸局部图像中的眼睛、鼻子、嘴之间的距离数据和角度数据与携带者本人的头部图像中的的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算，如果sift特征的整体人脸匹配的结果为一致且眼睛、鼻子、嘴之间的距离数据和角度数据的匹配计算结果也为一致，则人脸匹配成功，否则，人脸匹配失败；
（c）如果匹配成功，则服务器向客户端返回“身份证与携带者本人一致”信息；如果不成功，则服务器向客户端返回“身份证与携带者本人不一致”信息。
为实现上述技术目的，本发明采取的另一个技术方案为：
一种基于人脸识别和ocr的身份证图像识别审核系统，包括：客户端、服务器和全国公民身份信息系统，所述客户端与服务器连接，所述服务器和全国公民身份信息系统连接；
所述客户端包括：
采集模块，采集模块用于采集身份证的图像和携带者本人的头部图像；
发送模块，发送模块用于将采集模块采集的身份证的图像和携带者本人的头部图像发送到服务器；
接收模块，接收模块用于接收服务器返回的信息；
所述服务器包括：
提取模块，提取模块用于提取图像内眼睛、鼻子、嘴之间的距离数据和角度数据，所述图像包括:身份证的图像、携带者本人的头部图像和全国公民身份信息系统中的头部图像；提取模块用于提取身份证的图像的人脸局部图像和身份证的图像中的每一行的文字词语信息；
校正模块，校正模块用于对图像的倾斜进行校正；
分析模块，分析模块用于分析提取模块提取的每一行的文字词语信息中的词语语义，提取模块根据词语语义提取图像中的关键文字信息；
访问模块，访问模块用于通过请求get方式访问全国公民身份信息系统的接口url；
接收模块，接收模块用于接收全国公民身份信息系统返回服务器的身份信息；
匹配模块，匹配模块用于将身份证的图像中的人脸局部图像和全国公民身份信息系统返回服务器的校正后的头部图像中的人脸局部图像做sift特征的整体人脸匹配；匹配模块用于将校正后的身份证的图像中的人脸图像的眼睛、鼻子、嘴之间的距离数据和角度数据与全国公民身份信息系统返回服务器的校正后的头部图像的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算；匹配模块用于对身份证的图像中的人脸局部图像与携带者本人的头部图像进行sift特征的整体人脸匹配；匹配模块用于对身份证的图像中的人脸局部图像中的眼睛、鼻子、嘴之间的距离数据和角度数据与携带者本人的头部图像中的的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算；
发送模块，发送模块用于将识别的身份证的真伪的结果和审核的身份证的图像与携带者本人的头部图像是否一致的结果发送给客户端的接收模块。
本发明综合了人脸识别与ocr技术识别的技术的优势，准确连续、快速的识别出身份证的图像的文字词语信息和身份证的图像中的人脸局部图像的数据，实现在识别身份证图像信息基础上，从而完成对身份证图像真伪的审核，进而审核身份证与携带者本人的一致性；本发明使用的人脸识别方法是基于sift特征的整体人脸匹配和眼、鼻、嘴间距离和角度的数据匹配来审核身份证人脸数据；同时，根据人脸数据，将图像倾斜进行校正，从而实现对倾斜图像识别的支持；使用的ocr技术，提取每个字体的坐标，并做字体的水平融合，获取每一行词语，分析词语语义，从而提取身份证关键文字信息，因此本发明识别的结果和审核的结果准确快速。
附图说明
图1为本发明的流程图。
具体实施方式
下面根据图1对本发明的具体实施方式作出进一步说明：
参见图1，一种基于人脸识别和ocr的身份证图像识别审核方法，具体包括以下步骤：
步骤1：客户端采集身份证的图像和携带者本人的头部图像，并将身份证的图像和携带者本人的头部图像发送到服务器；
步骤2：服务器基于haar特征的人脸检测的技术，检测并提取身份证的图像中的人脸局部图像，根据人脸局部图像来校正身份证的图像的倾斜；
步骤3：服务器通过ocr技术获取校正后的身份证的图像中的每一行的文字词语信息并分析文字词语信息中的词语语义，从而提取身份证的图像中的关键文字信息，所述关键文字信息包括身份证号码和姓名；
步骤4：服务器连接有全国公民身份信息系统，通过全国公民身份信息系统验证服务器提取的身份证的图像中的身份证号码、姓名和身份证剩余文字信息是否正确，服务器通过基于sift特征的整体人脸匹配以及眼睛、鼻子、嘴之间的距离数据和角度数据的匹配来审核身份证的图像中的人脸局部图像和全国公民身份信息系统中存储的头部图像是否一致，验证并识别身份证的真伪；
步骤5：服务器通过基于sift特征的整体人脸匹配以及眼睛、鼻子、嘴之间的距离数据和角度数据的匹配来审核身份证的图像中的人脸局部图像和携带者本人的头部图像是否一致，从而验证身份证与携带者本人是否一致；
步骤6：服务器向客户端返回识别的身份证的真伪的结果和审核的身份证的图像与携带者本人的头部图像是否一致的结果。
本实施例中，所述的步骤2包括以下步骤：
（a）服务器使用基于haar特征的人脸检测的技术，提取身份证的图像中的人脸局部图像中的人脸的外接圆坐标,提取人脸局部图像中的两个眼睛、鼻子和嘴的坐标数据；
（b）根据人脸局部图像中的两个眼睛、鼻子和嘴的坐标数据计算眼睛、鼻子和嘴的距离数据以及角度数据，所述眼睛、鼻子和嘴的距离数据以及角度数据包括：两个眼睛之间的间距、两个眼睛之间的角度、鼻子分别和两个眼睛之间的距离、鼻子分别和两个眼睛之间的角度、嘴和鼻子之间的距离、嘴和两个眼睛之间的距离以及嘴和两个眼睛之间的角度；
（c）根据两个眼睛之间的角度、鼻子分别和两个眼睛之间的角度以及嘴和两个眼睛之间的角度来判断人脸局部图像的倾斜角度从而判断身份证的图像的倾斜角度，对身份证的图像的倾斜角度进行校正；
（d）提取并计算校正后的身份证的图像中的人脸局部图像中的眼睛、鼻子和嘴的距离数据以及角度数据。
本实施例中，所述的步骤3包括以下步骤：
（a）服务器提取校正后的身份证的图像中的每一个文字的轮廓和矩形坐标；
（b）根据每一个文字的矩形坐标，将同一水平上的以及紧邻两行文字进行合并，从而获取每一行的文字词语信息；
（c）对每一行的文字词语信息进行词语语义分析，分析每一行的文字词语信息中的词语语义，分析词语的标题索引，从而根据索引提取关键文字信息，所述关键文字信息包括身份证号码和姓名。
本实施例中，所述的步骤4包括以下步骤：
（a）服务器连接有全国公民身份信息系统，服务器与全国公民身份信息系统的接口连接；
（b）服务器通过请求get方式访问全国公民身份信息系统的接口url，从而实现服务器通过接口url向全国公民身份信息系统索取与身份证的图像中的身份证号码和姓名一致的身份信息，全国公民身份信息系统向服务器返回结果数据，如果全国公民身份信息系统中不存在与身份证的图像中的身份证号码和姓名一致的身份信息，则全国公民身份信息系统向服务器返回“不一致”信息，即查无此人，同时服务器向客户端返回“身份证图像为假”的信息；如果全国公民身份信息系统中存在与身份证的图像中的身份证号码和姓名一致的身份信息，则全国公民身份信息系统向服务器返回“一致”信息，并向服务器返回与身份证的图像中的身份证号码和姓名一致的身份信息中的身份证剩余文字信息和头部图像；
（c）服务器审核全国公民身份信息系统返回的身份信息中的身份证剩余文字信息和身份证的图像中的身份证剩余文字信息是否一致，对身份证剩余文字信息中的每一个字符一一进行比较，如果不一致，则服务器向客户端返回文字信息不一致的信息；如地址信息不一致，则返回“身份证号码姓名正确，但地址信息不一致”；否则，执行步骤（d）；
（d）服务器从全国公民身份信息系统返回的身份信息中的头部图像中提取人脸局部图像，提取头部图像中的人脸局部图像内的眼睛、鼻子和嘴之间的距离数据以及角度数据，根据眼睛、鼻子和嘴之间的角度数据对头部图像的倾斜进行校正，再次提取校正后的头部图像的眼睛、鼻子、嘴之间的距离数据和角度数据，服务器将身份证的图像中的人脸局部图像和全国公民身份信息系统返回的校正后的头部图像中的人脸局部图像做sift特征的整体人脸匹配，即人脸整体图像的sift特征匹配；服务器将校正后的身份证的图像中的人脸图像的眼睛、鼻子、嘴之间的距离数据和角度数据与全国公民身份信息系统返回的校正后的头部图像的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算，如果sift特征的整体人脸匹配的结果为一致且眼睛、鼻子、嘴之间的距离数据和角度数据的匹配计算结果也为一致，则人脸匹配成功，否则，人脸匹配失败；
（e）如果人脸匹配成功，则服务器向客户端返回“身份证图像信息一致”信息。
本实施例中，所述步骤5包括以下步骤：
（a）服务器提取携带者本人的头部图像；从携带者本人的头部图像内提取眼睛、鼻子、嘴之间的距离数据和角度数据，并根据眼睛、鼻子、嘴之间的角度数据对携带者本人的头部图像进行校正，从而再次提取校正后携带者本人的头部图像内的眼睛、鼻子、嘴之间的距离数据和角度数据；
（b）服务器对身份证的图像中的人脸局部图像与携带者本人的头部图像进行sift特征的整体人脸匹配；并对身份证的图像中的人脸局部图像中的眼睛、鼻子、嘴之间的距离数据和角度数据与携带者本人的头部图像中的的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算，如果sift特征的整体人脸匹配的结果为一致且眼睛、鼻子、嘴之间的距离数据和角度数据的匹配计算结果也为一致，则人脸匹配成功，否则，人脸匹配失败；
（c）如果匹配成功，则服务器向客户端返回“身份证与携带者本人一致”信息；如果不成功，则服务器向客户端返回“身份证与携带者本人不一致”信息。
一种基于人脸识别和ocr的身份证图像识别审核系统，包括：客户端、服务器和全国公民身份信息系统，所述客户端与服务器连接，所述服务器和全国公民身份信息系统连接；
所述客户端包括：
采集模块，采集模块用于采集身份证的图像和携带者本人的头部图像；
发送模块，发送模块用于将采集模块采集的身份证的图像和携带者本人的头部图像发送到服务器；
接收模块，接收模块用于接收服务器返回的信息；
所述服务器包括：
提取模块，提取模块用于提取图像内眼睛、鼻子、嘴之间的距离数据和角度数据，所述图像包括:身份证的图像、携带者本人的头部图像和全国公民身份信息系统中的头部图像；提取模块用于提取身份证的图像的人脸局部图像和身份证的图像中的每一行的文字词语信息；
校正模块，校正模块用于对图像的倾斜进行校正；
分析模块，分析模块用于分析提取模块提取的每一行的文字词语信息中的词语语义，提取模块根据词语语义提取图像中的关键文字信息；
访问模块，访问模块用于通过请求get方式访问全国公民身份信息系统的接口url；
接收模块，接收模块用于接收全国公民身份信息系统返回服务器的身份信息；
匹配模块，匹配模块用于将身份证的图像中的人脸局部图像和全国公民身份信息系统返回服务器的校正后的头部图像中的人脸局部图像做sift特征的整体人脸匹配；匹配模块用于将校正后的身份证的图像中的人脸图像的眼睛、鼻子、嘴之间的距离数据和角度数据与全国公民身份信息系统返回服务器的校正后的头部图像的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算；匹配模块用于对身份证的图像中的人脸局部图像与携带者本人的头部图像进行sift特征的整体人脸匹配；匹配模块用于对身份证的图像中的人脸局部图像中的眼睛、鼻子、嘴之间的距离数据和角度数据与携带者本人的头部图像中的的眼睛、鼻子、嘴之间的距离数据和角度数据进行匹配计算；
发送模块，发送模块用于将识别的身份证的真伪的结果和审核的身份证的图像与携带者本人的头部图像是否一致的结果发送给客户端的接收模块。
本发明综合了人脸识别与ocr技术识别的技术的优势，准确连续、快速的识别出身份证的图像的文字词语信息和身份证的图像中的人脸局部图像的数据，实现在识别身份证图像信息基础上，从而完成对身份证图像真伪的审核，进而审核身份证与携带者本人的一致性；本发明使用的人脸识别方法是基于sift特征的整体人脸匹配和眼、鼻、嘴间距离和角度的数据匹配来审核身份证人脸数据；同时，根据人脸数据，将图像倾斜进行校正，从而实现对倾斜图像识别的支持；使用的ocr技术，提取每个字体的坐标，并做字体的水平融合，获取每一行词语，分析词语语义，从而提取身份证关键文字信息，因此本发明识别的结果和审核的结果准确快速。
本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。