基于面部信息融合的多功能智能门禁准入系统

本发明涉及人力资源，具体为基于面部信息融合的多功能智能门禁准入系统。

背景技术：

1、随着社会的发展和城市化进程，对于建筑物和特定生产区域的安全管理需求日益增加，目前传统门禁系统主要存在二个主要缺陷；一、对于人脸欺诈和身份伪装手段缺乏防范措施；二、传统的门禁系统功能单一，准入检测方式只针对人脸视频中视觉特征进行分析，缺乏对视频中隐藏着的生理特征进行分析，以实现对准入人员生理状态的识别检测；

2、由于，受保护区域内的工作人员往往承担着高风险和高压力的任务，非法人员冒用他人身份进入受保护区域，或者工作人员处于疲劳状态下的工作容易出现反应迟钝、判断失误等情况，增加了生产事故发生的概率，带来严重的安全隐患和危害；

3、因此，人们急需基于面部信息融合的多功能智能门禁准入系统来解决上述问题。

技术实现思路

1、本发明的目的在于提供基于面部信息融合的多功能智能门禁准入系统，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、基于面部信息融合的多功能智能门禁准入系统，该系统包括信息存储模块、信息采集模块、信息处理模块及执行模块；

4、所述信息存储模块用于存储所述信息采集模块和所述信息处理模块的信息；所述信息采集模块用于采集工作人员的信息；

5、所述信息处理模块用于对所述信息存储模块和所述信息采集模块的信息进行分析处理；所述信息处理模块包括待入人员的身份识别、反欺诈检测、疲劳度分析以及允许进入判断；

6、所述执行模块用于执行所述信息处理模块的信息。

7、根据上述技术方案，所述信息存储模块包括历史信息单元和实时信息单元；

8、所述历史信息单元用于存储历史数据信息；所述实时信息单元用于存储实时数据信息。

9、根据上述技术方案，所述信息采集模块包括身份信息单元和面部采集单元；

10、所述人员信息单元用于采集工作人员的身份信息；所述面部采集单元用于采集工作人员的面部信息。

11、根据上述技术方案，所述执行模块包括显示单元和进入执行单元；

12、所述显示单元用于显示人员信息和进入信息；所述进入执行单元用于执行工作人员进入受保护区域时的控制指令。

13、根据上述技术方案，所述信息处理模块包括：

14、s1、将受保护区域中的全部工作人员进行编号，采集各工作人员的面部数据并录入；设置标准睡眠时长，控制工作人员的睡眠时长，根据工作人员的睡眠时长的长短，分析工作人员的疲劳度；

15、s2、采集各工作人员在不同疲劳度时的面部rgb视频，利用facemesh模型，识别面部rgb视频中工作人员的面部关键点并划分roi区域，所述roi区域包括眼睛roi区域、嘴部roi区域、面颊roi区域及轮廓roi区域；

16、s3、根据眼睛roi区域，分析工作人员的眼睛纵横比；根据嘴部roi区域，分析工作人员的嘴部纵横比；从面颊roi区域中提取rppg信号，根据提取出的rppg信号，分析工作人员的心率的平均水平和集中程度；

17、s4、建立神经网络模型，将同一工作人员在不同疲劳度时的眼睛纵横比、嘴部纵横比以及心率的平均水平和集中程度作为输入变量，将该工作人员的疲劳度作为输出变量，训练神经网络模型；

18、s5、采集待入人员当前时刻的面部数据，与已录入的面部数据做比较，进行身份识别；身份识别通过后，采集待入人员的面部rgb视频，划分roi区域，根据面颊roi区域和轮廓roi区域，进行反欺诈检测；反欺诈检测通过后，根据眼睛roi区域、嘴部roi区域及面颊roi区域，结合神经网络模型，分析待入人员的疲惫度，判断是否允许该人员进入受保护区域。

19、根据上述技术方案，所述s1具体过程如下：

20、s1-1、将受保护区域中的全部工作人员进行编号，采集各工作人员的面部数据并录入；

21、使用摄像头录入面部数据，在录入面部数据时，应尽量确保被录入者保持自然的姿势和表情，避免头部过度倾斜、遮挡面部重要特征的情况，并且确保在良好的光线条件下进行数据采集，避免强光或暗光环境影响录入效果；

22、s1-2、设置标准睡眠时长，记为t，控制工作人员的睡眠时长，将工作人员的实际睡眠时长，记为t实；

23、当t实＞t时，表示工作人员不疲劳；

24、当t实≤t时，根据下列公式计算工作人员的疲劳度；

25、；

26、其中，表示工作人员的疲劳度，m∈[0，1]。

27、根据上述技术方案，所述s2具体过程如下：

28、s2-1、采集各工作人员在不同疲劳度时的面部rgb视频，将工作人员n在疲劳度为m时的面部rgb视频，记为pn，m，n∈[1，n1]，n1是正整数；

29、s2-2、利用facemesh模型，识别pn，m中工作人员n在疲劳度为m时的面部关键点并划分roi区域，将工作人员n在疲劳度为m时的眼睛roi区域，记为r1n，m；将工作人员n在疲劳度为m时的嘴部roi区域，记为r2n，m；将工作人员n在疲劳度为m时的面颊roi区域，记为r3n，m；将工作人员n在疲劳度为m时的轮廓roi区域，记为r4n，m；

30、facemesh是由谷歌公司开发的一种人脸标定技术，它能够在实时视频中利用深度学习和计算机视觉技术，跟踪人脸并生成478个面部关键点。

31、根据上述技术方案，所述s3具体过程如下：

32、s3-1、根据r1n，m，将工作人员n在疲劳度为m时眼睑的最左侧端点的坐标，记为；将工作人员n在疲劳度为m时眼睑的最右侧端点的坐标，记为；将工作人员n在疲劳度为m时上眼睑的最上侧端点的坐标，记为；将工作人员n在疲劳度为m时下眼睑的最下侧端点的坐标，记为；

33、利用下列公式计算工作人员的眼睛纵横比：

34、；

35、其中，表示工作人员n在疲劳度为m时的眼睛纵横比；

36、反应了眨眼的频率和持续时间，是检测疲劳的一个强力指标；

37、s3-2、根据r2n，m，将工作人员n在疲劳度为m时嘴唇的最左侧端点的坐标，记为；将工作人员n在疲劳度为m时嘴唇的最右侧端点的坐标，记为；将工作人员n在疲劳度为m时上嘴唇的最上侧端点的坐标，记为；将工作人员n在疲劳度为m时下嘴唇的最下侧端点的坐标，记为；

38、利用下列公式计算工作人员的嘴部纵横比：

39、；

40、其中，表示工作人员n在疲劳度为m时的嘴部纵横比；

41、s3-3、基于奇异值分解和局部不变性的lgi算法提取r3n，m中的rppg信号，根据提取出的rppg信号，在时域上提取工作人员n在疲劳度为m时心率变异性特征的rr间期信号和rr间期信号的个数，将工作人员n在疲劳度为m时心率变异性特征的rr间期信号的个数，记为n2；将工作人员n在疲劳度为m时心率变异性特征的第i个rr间期信号，记为rrn，m，i，i∈[1，n2]；

42、根据下列公式计算工作人员心率的平均水平：

43、；

44、其中，表示工作人员n在疲劳度为m时心率的平均水平；

45、根据下列公式计算工作人员心率的集中程度：

46、；

47、其中，表示工作人员n在疲劳度为m时心率的集中程度；

48、远程光电容积描记（remote photoplethysmography，rppg）是一种非接触式的光学检测技术，可以通过普通摄像头捕捉人脸皮肤颜色的微小变化来推断心脏的脉搏；

49、lgi（local group invariance）算法进行提取，一方面该算法相对于传统分离绿色通道的方式对于信号干扰具有一定的鲁棒性；另一方面相对于pos（plant orthogonalskin）和深度学习等算法，计算效率更高，时延低，在准入系统的应用场景下适用性更强。

50、根据上述技术方案，所述s4具体过程如下：

51、建立神经网络模型，将工作人员n在不同疲劳度时的、、及作为输入变量；将工作人员n的疲劳度作为输出变量，训练神经网络模型。

52、根据上述技术方案，所述s5具体过程如下：

53、s5-1、当前时刻，记为t时刻；将t时刻待入人员的编号，记为n，采集t时刻待入人员n的面部数据，通过facenet模型，获取t时刻待入人员n面部数据的特征向量和待入人员n已录入面部数据的特征向量，将t时刻待入人员n面部数据的第j个特征向量，记为aj；待入人员n已录入面部数据的第j个特征向量，记为bj；j∈[1，n3]，n3是正整数；

54、根据下列公式计算相似度：

55、；

56、其中，表示待入人员n在t时刻与已录入面部数据的相似度；

57、若，则身份识别不通过，是系统预置的固定参数；

58、若则身份识别通过；

59、s5-2、身份识别通过后，采集t时刻待入人员n的面部rgb视频，划分roi区域，提取面颊roi区域的rppg信号，提取轮廓roi区域的面部纹理信息，将提取出的面部纹理信息和rppg信号作为反欺诈检测的输入数据；

60、通过gram-net提取面部纹理中的抽象特征，将抽象特征与rppg信号进行拼接形成特征向量；

61、将特征向量通过transformer的注意力机制进行特征融合；

62、将特征融合后的特征向量，依次经过全连接层、relu激活函数及dropout层，再通过2分类的全连接层，输出反欺诈检测的结果，所述结果包括反欺诈检测通过和反欺诈检测不通过；

63、s5-3、反欺诈检测通过后，根据眼睛roi区域、嘴部roi区域及面颊roi区域，获取t时刻待入人员n的眼睛纵横比、嘴部纵横比以及心率的平均水平和集中程度，结合神经网络模型，获取t时刻待入人员n的疲惫度，记为mt，n；

64、若，则不允许该人员进入受保护区域，是系统预置的固定参数；

65、若，则允许该人员进入受保护区域。

66、与现有技术相比，本发明所达到的有益效果是：

67、本发明通过使用计算机视觉和人工智能技术，利用rppg技术采集体表脉搏波信号作为生理特征，融合面部视频中的视觉特征作为系统的输入数据，一方面通过对待入人员的面部进行反欺诈检测，确保待入人员的身份真实有效，防止非法人员冒用他人身份进入保护区域，另一方面，出于安全生产和员工健康的考虑，分析待入人员的疲劳度，避免待入人员高强度疲劳作业，减少事故发生风险。