一种矿井机器人人员身份识别系统及识别方法与流程

本发明涉及一种矿井机器人人员身份识别系统及识别方法。

背景技术：

1、目前，随着经济地不断发展，煤炭需求量不断增大，因而煤矿开采的深度和范围也不断扩大，煤矿井下的人员安全也越来越重要，人员身份识别作为人员定位的关键模块，对提高煤矿井下人员识别的效果具有十分重要的意义。

2、当前的人员身份识别技术主要有人脸识别技术、标识卡识别技术、指纹或掌纹识别技术及步态识别技术等。但是标识卡技术在应用时会因为遗失或错带等操作造成误识别率比较大。指纹或掌纹识别技术常常会因为模糊不清影响其提取，从而降低识别的准确率。步态识别技术通常计算量比较大且识别率较低。现有的井下人脸识别技术效果虽然也能满足识别要求，但由于煤矿井下恶劣环境的干扰存在识别不稳定性。因此，急需一种识别效果好且准确率高的井下人员识别技术。

技术实现思路

1、本发明所要解决的技术问题是，克服现有技术的不足，提供一种矿井机器人人员身份识别系统及识别方法，基于seetaface人脸识别方法结合标识卡信息实现井下巡检人员身份的识别与确认，有效保证了煤矿人员的工作效率及安全。

2、为了解决上述技术问题，本发明的技术方案是：

3、本发明一方面提供一种矿井机器人人员身份识别系统，它包括视频采集模块、图像预处理模块、人脸检测模块和人员识别模块；

4、所述视频采集模块用于实时拍摄采集井下环境的视频图像；

5、所述图像预处理模块用于对视频采集模块采集到的视频图像进行图像预处理；

6、所述人脸检测模块用于对图像预处理模块传入的视频图像进行人脸检测，检测出图片中的人脸，将人员及人员位置信息传入人员识别模块；

7、所述人员识别模块根据人脸及人员位置信息，进行人脸关键点定位、人脸特征提取及人脸特征对比，对人员身份进行识别确认。

8、本发明另一方面提供一种矿井机器人人员身份识别系统的识别方法，它包括：

9、步骤s1、实时拍摄并采集井下环境的视频图像；

10、步骤s2、对采集到的视频图像进行图像预处理；

11、步骤s3、基于seetaface人脸检测方法对经过图像预处理的视频图像进行人脸检测，检测出图片中的人脸图像；

12、步骤s4、根据人脸图像及人员位置信息，进行人脸关键点定位、人脸特征提取及人脸特征对比，对人员身份进行识别确认。

13、进一步，所述步骤s1中，实时拍摄采集井下环境的视频图像，具体包括如下步骤：

14、通过视频采集模块扫描井下环境，对井下环境视频进行采集，并将视频流传入图像预处理模块。

15、进一步，所述步骤s2中，对采集到的视频图像进行图像预处理，具体包括如下步骤：

16、步骤s21、通过高斯滤波对采集到的视频图像进行滤波去噪；

17、步骤s22、对去噪后的图像进行灰度变换处理。

18、进一步，所述步骤s3中，基于seetaface人脸检测方法对经过图像预处理的视频图像进行人脸检测，检测出图片中的人脸图像，具体包括如下步骤：

19、首先通过左侧脸lab boosted模型、正脸lab boosted模型和右侧脸lab boosted模型滤除非人类窗口，然后利用surf mlp分类模型逐层筛选人脸，最后利用nms非极大值抑制合并人脸框。

20、进一步，所述步骤s4中进行人脸关键点定位，具体包括如下步骤：

21、基于seetaface中的自编码网络cfan求解非线性映射过程来定位人脸关键点，采用多级栈式自编码器网络进行cfan级联；

22、首先输入一个由人脸检测模块得到的人脸图像，第一级自编码器网络从人脸图像的低分辨率版本中快速估计人脸形状；

23、然后提高输入人脸图像的分辨率，并抽取当前人脸形状各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果；

24、以此类推，通过级联多个栈式自编码器网络，在不断提升人脸图像分辨率的基础上逐步优化人脸关键点定位结果。

25、进一步，所述步骤s4中进行人脸特征提取，具体包括如下步骤：

26、基于7个卷积层和2个全连接层的深度卷积神经网络，对人脸图像进行人脸特征提取，所述深度卷积神经网络采用由一个5×5的卷积核拆分出的两个3×3的卷积核，所述深度卷积神经网络输出1024个数据点的人脸特征。

27、进一步，所述步骤s4中进行人脸特征对比，具体包括如下步骤：

28、遍历人脸数据库中人脸注册生成的人脸图像的人脸特征，采用余弦相似度对比法将人脸数据库中的人脸特征与视频采集模块后提取的人脸特征进行对比，所述余弦相似度对比法的计算公式如下：

29、

30、如果相似度similarity大于阈值，则表示视频采集模块采集的人脸图像与人脸数据库中的人脸图像是同一人的人脸图像，然后生成当前人脸图像所属的人员信息；

31、如果相似度similarity小于阈值，则表示视频采集模块采集的人脸图像与人脸数据库中的人脸图像是不同人的人脸图像。

32、进一步，所述步骤s4中对人员身份进行识别确认，具体包括如下步骤：

33、将当前人脸图像所属的人员信息与当前范围内人员标识卡的人员信息进行人员信息确认；

34、如果当前人脸图像所属的人员信息与当前范围内人员标识卡的人员信息相同，则输出人员信息；

35、如果当前人脸图像所属的人员信息与当前范围内人员标识卡的人员信息不同，则等待二次确认。

36、采用了上述技术方案，本发明通过井下巡检机器人基于seetaface人脸识别和标识卡技术进行人员身份识别，seetaface人脸识别技术和普通人脸识别技术相比，速度更快且对于遮挡现象识别更为准确。在基于seetaface进行人脸关键点定位、人脸特征提取及人脸特征对比从而得出人员初步识别的基础上，再引入标识卡信息进行二次判断，能够进一步提高识别的准确率。本发明的识别方法相较现有的方法来说，具有更强的鲁棒性和更高的准确率。

技术特征：

1.一种矿井机器人人员身份识别系统，其特征在于：它包括视频采集模块、图像预处理模块、人脸检测模块和人员识别模块；

2.一种如权利要求1所述的矿井机器人人员身份识别系统的识别方法，其特征在于，它包括：

3.根据权利要求1所述的识别方法，其特征在于，所述步骤s1中，实时拍摄采集井下环境的视频图像，具体包括如下步骤：

4.根据权利要求2所述的识别方法，其特征在于，所述步骤s2中，对采集到的视频图像进行图像预处理，具体包括如下步骤：

5.根据权利要求2所述的识别方法，其特征在于，所述步骤s3中，基于seetaface人脸检测方法对经过图像预处理的视频图像进行人脸检测，检测出图片中的人脸图像，具体包括如下步骤：

6.根据权利要求2所述的识别方法，其特征在于，所述步骤s4中进行人脸关键点定位，具体包括如下步骤：

7.根据权利要求2所述的识别方法，其特征在于：所述步骤s4中进行人脸特征提取，具体包括如下步骤：

8.根据权利要求2所述的识别方法，其特征在于，所述步骤s4中进行人脸特征对比，具体包括如下步骤：

9.根据权利要求8所述的识别方法，其特征在于，所述步骤s4中对人员身份进行识别确认，具体包括如下步骤：

技术总结
本发明公开了一种矿井机器人人员身份识别系统及识别方法，所述矿井机器人人员身份识别系统包括视频采集模块、图像预处理模块、人脸检测模块和人员识别模块；所述视频采集模块用于实时拍摄采集井下环境的视频图像；所述图像预处理模块用于对视频采集模块采集到的视频图像进行图像预处理；所述人脸检测模块用于对图像预处理模块传入的视频图像进行人脸检测，检测出图片中的人脸，将人员及人员位置信息传入人员识别模块。本发明提供一种矿井机器人人员身份识别系统及识别方法，基于SeetaFace人脸识别方法结合标识卡信息实现井下巡检人员身份的识别与确认，有效保证了煤矿人员的工作效率及安全。

技术研发人员：张吉哲,葛锡聪,高仁祥,杨诚,吴敏玉
受保护的技术使用者：江苏三恒科技股份有限公司
技术研发日：
技术公布日：2024/1/14