基于矿用的虹膜和人脸融合识别方法及系统与流程

本发明涉及虹膜和人脸融合识别，具体而言，涉及基于矿用的虹膜和人脸融合识别方法及系统。

背景技术：

1、身份识别是指使用技术对身份信息自动提取，并对身份信息按进行处理验证比对之后从数据库中得到相关人员信息得到最终身份信息，身份识别过程中会使用到的方法有很多密码、人脸信息、语音信息等等。现有的身份识别系统在使用过程中，只是采集单一数据进行身份识别，不能满足用户的使用需求，给身份识别系统的使用带来了一定的影响。其中生物特征识别技术是利用人的生理和行为特征进行身份鉴别，单一模态生物特征识别技术在研究和商业领域都已经有了重大的突破，但是单一模态的生物特征识别技术无论从算法的识别精度和产品的易用程度上，都离大规模的应用需求还有一定的距离，并且有些图像存在遮挡物，或者是无法对虹膜图像做细致的处理，即使是提取到人脸图像和虹膜图像，却无法在非常规场景下人群的对身份实现精准识别，识别精度无法保障，因此，如何充分将人脸识别和虹膜识别进行有效的融合是一个亟待解决的问题。

技术实现思路

1、本发明的目的在于提供基于矿用的虹膜和人脸融合识别方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

2、第一方面，本技术提供了基于矿用的虹膜和人脸融合识别方法，包括：

3、获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像；

4、对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，得到虹膜图像处理结果，并对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中预处理包括采用图像处理技术对眼睑、瞳孔和巩膜图像进行定位分割处理；

5、提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息；

6、通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型；

7、将待识别的人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别，得到识别结果。

8、优选地，所述对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中包括：

9、对目标对象的脸部图像特征进行预处理，得到第一预处理图像，其中预处理的过程包括对目标对象的人脸进行定位、图像去噪、归一化以及角度校正；

10、对背景环境图像进行预处理，得到第二预处理图像，其中预处理的过程包括调用语义分割数学模型剔除无效背景图像，并对剔除后的背景图像中目标对象是否佩戴安全帽、矿灯和自救器进行识别和判断，识别判断后进行膨胀操作；

11、利用弹性束图匹配算法对第一预处理图像和第二预处理图像进行特征提取，得到第一特征数据，其中提取过程包括将二维空间的第一预处理图像和第二预处理图像用等距离网格的标号图表示，标号图的每一个节点采用图像局部特征的二维gabor小波分解变换系数表示，标号图的边采用相邻两个节点所对应位置的度量信息表示。

12、优选地，所述对虹膜图像进行预处理，其中包括：

13、获取虹膜图像归一化展开的灰色直方图，提取灰色直方图的最高峰点将灰色直方图分为第一区域和第二区域；

14、针对第一区域和第二区域，分别采用最大方差法获取二值化分割的第一阈值和第二阈值，并对虹膜图像采用二值化阈值进行分割处理，得到第一分割处理结果，其中，同一种特征区域的灰度分布情况相同，不同种特征区域的灰度分布不同；

15、调节第一阈值和第二阈值，基于第一分割处理结果，对虹膜图像顶部的内外边缘噪声区域采用二值化阈值分割处理，得到第二分割结果，其中第二分割结果包括黑色部分为噪声区域，白色部分为有效虹膜区域，得到预处理后新的虹膜图像，记作虹膜图像处理结果。

16、优选地，所述对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中还包括：

17、将虹膜图像处理结果中的眼睑、瞳孔以及巩膜图像分别进行灰度化处理，得到灰度化处理后的第一眼睑图像、第一瞳孔图像和第一巩膜图像；

18、利用双层小波变换分别对第一眼睑图像、第一瞳孔图像和第一巩膜图像进行计算得到第一特征向量、第二特征向量和第三特征向量，并基于第一特征向量、第二特征向量和第三特征向量构建第一灰度共生矩阵、第二灰度共生矩阵和第三灰度共生矩阵；

19、根据第一灰度共生矩阵进行特征提取得到第四特征向量，根据第二灰度共生矩阵进行特征提取得到第五特征向量，根据第三灰度共生矩阵进行特征提取得到第六特征向量；

20、基于第四特征向量、第五特征向量和第六特征向量得到特征数据，其中第四特征向量包括眼睑图像的纹理特征、第五特征向量包括瞳孔图像的纹理特征和第六特征向量包括巩膜图像的纹理特征；

21、采用汉明距离法，对特征数据进行匹配，得到匹配结果，记作第二特征数据，其中匹配过程采用编码后的特征数据和预设的虹膜特征进行对比。

22、优选地，所述通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征，其中包括：

23、将第一特征数据和第二特征数据发送至transformer模型中，根据点积函数，计算得出第一特征数据和第二特征数据的序列之间的相关性值；

24、根据相关性，对每一个序列进行逻辑回归函数计算，得到每一个序列的逻辑回归值；

25、将每一个序列的逻辑回归值输入至残差神经网络，并把每一个序列的逻辑回归值与它相对应的序列数据相加，得到融合数据，记作用于识别目标对象的多模态特征。

26、优选地，所述利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型，其中包括：

27、利用t-sne对多模态特征进行降维计算，得到降维结果；

28、构建贝叶斯分类器，将降维结果输入至贝叶斯分类器进行分类，识别多模态特征中具备所有模态特征的最大概率，将最大概率记作学习结果；

29、采用adam优化器、交叉熵损失函数以及学习率预热策略对学习结果进行计算，得到训练后的分类识别模型。

30、第二方面，本技术还提供了一种基于矿用的虹膜和人脸融合识别系统，包括获取模块、处理模块、结合模块、融合模块和识别模块，其中：

31、获取模块：用于获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像；

32、处理模块：用于对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，得到虹膜图像处理结果，并对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中预处理包括采用图像处理技术对眼睑、瞳孔和巩膜图像进行定位分割处理；

33、结合模块：用于提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息；

34、融合模块：用于通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型；

35、识别模块：用于将待识别的人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别。

36、本发明的有益效果为：

37、本发明采用人脸和虹膜融合识别具有更高的稳定性，可靠程度比单独的人脸或虹膜识别更高。因为人脸和虹膜特征融合，可以降低对单一图像特征的依赖性，可以形成特征互补，降低整体复杂度，降低检测的波动性，算法的稳定性得到增强，并且增强识别系统的鲁棒性，提高系统的识别精度。

38、本发明采用模态生物特征融合识别可以有效地挖掘不同生物特征信息间的互补信息，减小了噪声等不利因素的影响，提升了系统的容错能力。相比单生物特征进行身份识别，系统的可靠性更强，并且适用性更广；多模态生物识别系统中同时被伪造多个生物特征信息更加困难，付出的成本代价更高，降低了识别系统被攻破的风险，进而提高了安全系数。

39、本发明集人脸识别距离远、虹膜识别精度高、皮层识别温度等操作，获取图像便捷的优势于一体，解决了小眼睛、眯缝眼、斜视等生物特征少提取困难和戴口罩、墨镜、黑脸等非常规场景下人群的身份精准识别的难题，实现管理无盲区人群全覆盖。

40、本发明采用多种生物特征的识别方式根据检测到虹膜、人体体温、人脸的图像实现智能切换，有效提高识别速率和识别精度。针对矿山不同应用场景开发出完整的软硬件产品体系，实现人员身份精准识别、入井前的综合检测以及入井后的跟踪提示，彻底杜绝伪造、替工、带病上岗、醉酒上岗、未带定位卡入井不良现象，落实煤矿安全生产政策，实现地面、井下作业人员的全流程管控与精准考勤，使监管形成闭环。

41、本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。