活体检测方法、装置、门禁系统、设备及存储介质与流程

1.本发明涉及计算机技术领域，特别是涉及一种活体检测方法、装置、门禁系统、设备及存储介质。


背景技术：

2.人脸识别是基于人脸特征信息进行身份识别的一种生物识别技术，具有主动、直接、友好、简便等特点。人脸识别技术已经广泛应用于安保、金融、公安、司法、泛娱乐等行业，并成为行业关键技术之一。
3.随着人脸识别系统的普及应用，伪造、盗用、非真人的情况极大的挑战了人脸识别系统的安全性与可靠性。为了抵御各种攻击，活体检测技术成为人脸识别链路的核心技术。活体技术能够有效分辨当前人脸检测对象是否为具有生命的个体，防止盗用、伪造照片或视频、非生物体人脸模型等恶意攻击。
4.但相关技术中，要么通过两路图像并行人脸监测与活体监测的方法，但其空间成本高、实时性差。要么通过单路串行利用相机标定先后完成人脸检测与活体检测，时间成本高，准确性差。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种活体检测方法、装置、门禁系统、设备及存储介质，用于解决对于相关技术中门禁系统中存在空间成本高、实时性差、时间成本高、准确性差的技术问题。
6.针对于上述问题，本发明提供了一种活体检测方法，所述方法包括：获取待检测生物对象的待检测图像组，所述待检测图像组包括可见光图像和红外图像，所述可见光图像与所述红外图像的图像采集时间差小于预设时间阈值；对所述可见光图像进行目标对象第一检测，得到所述可见光图像中所述目标对象的可见光目标区域，所述目标对象基于所述待检测生物对象得到；对所述红外图像进行目标对象第二检测，得到所述红外图像中所述目标对象的红外目标区域；基于所述可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果。
7.于本发明一实施例中，基于所述可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果包括：将所述可见光目标区域映射到所述红外图像的红外图像坐标系，得到可见光红外区域；对所述红外图像中红外目标区域的图像进行目标对象第三检测，得到所述红外目标区域的图像中所述目标对象的红外可见光目标区域；基于所述红外可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果。
8.于本发明一实施例中，基于所述可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果包括以下任意之一：
9.根据第一映射关系将所述红外目标区域映射到预设基准坐标系，确定所述可见光
目标区域与映射后的所述红外目标区域之间的区域重合面积，基于所述区域重合面积确定所述区域重合程度，并确定所述第一活体检测结果，其中，所述预设基准坐标系包括所述可见光图像采集设备的可见光图像坐标系，所述可见光图像通过所述可见光图像采集设备采集得到，所述第一映射关系表征所述红外图像坐标系转换到所述可见光图像坐标系的第一转换关系；
10.根据第二映射关系将所述可见光目标区域映射到所述预设基准坐标系，确定所述红外目标区域与映射后的所述可见光目标区域之间的区域重合面积，基于所述区域重合面积确定所述区域重合程度，并确定所述第一活体检测结果，其中，所述预设基准坐标系包括所述红外图像采集设备的红外图像坐标系，所述红外图像通过所述红外图像采集设备采集得到，所述第二映射关系表征所述可见光图像坐标系转换到所述红外图像坐标系的第二转换关系；
11.根据第三映射关系将所述可见光目标区域映射到所述预设基准坐标系，根据第四映射关系将所述红外目标区域映射到所述预设基准坐标系，确定映射后的所述红外目标区域与映射后的所述可见光目标区域之间的区域重合面积，基于所述区域重合面积确定所述区域重合程度，并确定所述第一活体检测结果，其中，所述第三映射关系表征所述可见光图像坐标系转换到所述预设基准坐标系的第三转换关系，所述第四映射关系表征所述红外图像坐标系转换到所述预设基准坐标系的第四转换关系。
12.于本发明一实施例中，基于所述可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果包括：确定所述可见光目标区域和所述红外目标区域的重合区域面积；基于所述重合区域面积和可见光区域面积确定面积重合度，所述面积重合度用于表征所述区域重合程度，所述可见光区域面积为所述可见光目标区域在所述预设基准坐标系下的面积；若所述面积重合度大于第一预设重合度阈值，将所述第一活体检测结果确定为疑似通过活体检测；若所述面积重合度小于或等于第二预设重合度阈值，将所述第一活体检测结果确定为不通过活体检测，所述第二预设重合度阈值小于或等于所述第一预设重合度阈值。
13.于本发明一实施例中，所述第一活体检测结果的确定方式包括：若所述面积重合度大于第一预设重合度阈值，将所述第一活体检测结果确定为疑似通过活体检测；若所述面积重合度小于或等于第二预设重合度阈值，将所述第一活体检测结果确定为不通过活体检测，所述第二预设重合度阈值小于或等于所述第一预设重合度阈值。
14.于本发明一实施例中，若所述面积重合度小于或等于第二预设重合度阈值，且所述面积重合度大于第三预设重合度阈值，所述方法还包括：提示所述待检测图像组为无效图像组，重新获取新的所述待检测图像组；其中，所述第二预设重合度阈值大于所述第三预设重合度阈值。
15.于本发明一实施例中，若所述第一活体检测结果为疑似通过活体检测，基于所述可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果之后，所述方法还包括：对所述可见光目标区域的可见光目标对象图像进行图像扩展，得到扩展图像；将所述扩展图像输入至预设可见光活体检测模型，得到所述待检测生物对象的可见光目标对象存在状态以及置信度；基于所述可见光目标对象存在状态和所述置信度确定所述待检测生物对象的第二活体检测结果，并以所述第二活体检测结果更新
所述第一活体检测结果。
16.于本发明一实施例中，基于所述可见光目标对象存在状态和所述置信度确定所述待检测生物对象的第二活体检测结果包括以下至少之一：若所述可见光目标对象存在状态为存在，且所述置信度大于第一预设置信度阈值，将所述第二活体检测结果确定初步通过活体检测；若所述可见光目标对象存在状态为不存在，或所述置信度小于或等于第二预设置信度阈值，将所述第二活体检测结果确定不通过活体检测，所述第二预设置信度阈值小于或等于所述第一预设置信度阈值。
17.于本发明一实施例中，将所述扩展图像输入至预设可见光活体检测模型之前，所述方法还包括：获取目标对象的样本可见光图像集，所述样本可见光图像集包括多张样本可见光图像；对所述样本可见光图像进行图像扩展，对扩展后的所述样本可见光图像进行图像增强，所述图像增强包括水平翻转、裁剪、旋转、擦除中至少之一；通过图像增强后的所述样本可见光图像训练预设初始模型，得到预测对象存在状态，及预测置信度，直到所述预测对象存在状态和所述预测置信度满足训练完成条件；将训练后的所述预设初始模型确定为所述预设可见光活体检测模型。
18.于本发明一实施例中，对所述可见光目标区域的可见光目标对象图像进行图像扩展包括：获取所述可见光目标区域的形状特征；根据所述形状特征和预设形状扩展参数映射关系确定预设扩展参数；将所述可见光目标对象图像基于所述预设扩展参数进行图像扩展。
19.于本发明一实施例中，基于所述可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果之后，所述方法还包括：获取预设时间段内的多个新增图像组，所述新增图像组包括新增可见光图像和新增红外图像；确定所述新增图像组的第一活体检测结果；统计所述第一活体检测结果，以确定第三活体检测结果。
20.于本发明一实施例中，统计所述第一活体检测结果，以确定第三活体检测结果包括以下任意之一：
21.确定所述第一活体检测结果为疑似通过活体检测的所述新增图像组和所述待检测图像组的第一总数，若所述第一总数占图像总数的占比大于预设第一占比阈值，将所述第三活体检测结果确定为初步通过活体检测，所述图像总数为所述新增图像组的数量与所述待检测图像组的数量之和；
22.确定所述第一活体检测结果为不通过活体检测的所述新增图像组和所述待检测图像组的第二总数，若所述第二总数占图像总数的占比大于预设第二占比阈值，将所述第三活体检测结果确定为不通过活体检测，所述图像总数为所述新增图像组的数量与所述待检测图像组的数量之和。
23.于本发明一实施例中，统计所述第一活体检测结果，以确定第三活体检测结果包括：获取所述第一活体检测结果为疑似通过活体检测的置信度；基于各所述新增图像组和所述待检测图像组对应的置信度确定综合评分，以确定所述第三活体检测结果。
24.于本发明一实施例中，统计所述第一活体检测结果包括：获取所述新增图像组和/或所述待检测图像组中新增可见光图像和/或可见光图像的图像质量分数；若所述图像质量分数小于预设分数阈值，剔除所述新增图像组和/或所述待检测图像组的所述第一活体检测结果；统计剔除后的所述第一活体检测结果。
25.本发明实施例还提供了一种活体检测装置，所述装置包括：获取模块，用于获取待检测生物对象的待检测图像组，所述待检测图像组包括可见光图像和红外图像，所述可见光图像与所述红外图像的图像采集时间差小于预设时间阈值；第一检测模块，用于对所述可见光图像进行目标对象第一检测，得到所述可见光图像中所述目标对象的可见光目标区域，所述目标对象基于所述待检测生物对象得到；第二检测模块，用于对所述红外图像进行目标对象第二检测，得到所述红外图像中所述目标对象的红外目标区域；确定模块，用于基于所述可见光目标区域和所述红外目标区域的区域重合程度确定所述待检测生物对象的第一活体检测结果。
26.本发明实施例还提供了一种门禁系统，所述门禁系统包括可见光图像采集设备、近红外图像采集设备、存储器、控制器和放行装置，其中，所述可见光图像采集设备用于采集待检测生物对象的可见光图像；所述近红外图像采集设备用于采集待检测生物对象的红外图像，所述可见光图像与所述红外图像的图像采集时间差小于预设时间阈值；所述控制器用于执行所述存储器中存储的计算机程序，以实现如上述任一项实施例所述的方法，以及基于第一活体检测结果控制门禁系统的放行装置的放行状态。
27.本发明实施例还提供了一种电子设备，包括处理器、存储器和通信总线；
28.所述通信总线用于将所述处理器和存储器连接；
29.所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述实施例中任一项所述的方法。
30.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行如上述实施例中任一项所述的方法。
31.如上所述，本发明提供的一种活体检测方法、装置、门禁系统、设备及存储介质，具有以下有益效果：
32.该方法通过获取待检测生物对象的可见光图像和红外图像，对可见光图像进行目标对象第一检测，得到可见光图像中目标对象的可见光目标区域，对红外图像进行目标对象第二检测，得到红外图像中目标对象的红外目标区域，基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果，通过对可见光图像和红外图像并行处理，能有效利用近红外目标对象信息，资源消耗较低、屏幕攻击完全滤除、不影响可见光模型检测性能，降低了空间成本、时间成本，实时性高，准确性佳。
附图说明
33.图1是本技术的一示例性实施例示出的系统架构图。
34.图2是本技术的一示例性实施例示出的活体检测方法的流程图。
35.图3是本技术的一示例性实施例示出的可见光图像的示意图。
36.图4是本技术的一示例性实施例示出的红外图像的示意图。
37.图5是本技术的一示例性实施例示出的活体检测方法的一种具体的流程图。
38.图6是本技术的一示例性实施例示出的活体检测装置的框图。
39.图7是本技术的一示例性实施例示出的门禁系统的框图。
40.图8为一实施例提供的电子设备的一种结构示意图。
具体实施方式
41.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
42.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
43.请参阅图1，图1是本技术的一示例性实施例示出的系统架构图。如图1所示，该方法应用于门禁系统，门禁系统配置有近红外相机101和可见光相机102，近红外相机101与可见光相机102之间的相对位置预先标定好，且近红外相机101与可见光相机102均能够拍摄到某一预设区域，如门禁系统的通行区域等。图像处理器103或者服务器104通过获取近红外相机对预设区域拍摄的红外图像，以及获取可见光相机对预设区域拍摄的可见光图像，该红外图像与可见光图像之间的图像采集时间差小于预设时间阈值，将该红外图像与可见光图像确定为一待检测图像组，通过对可见光图像进行目标对象检测，得到目标对象(如人脸等)在可见光图像中的可见光目标区域，对红外图像进行目标检测，得到目标对象在红外图像中的红外目标区域，基于可见光目标区域与红外目标区域之间的重合程度确定待检测生物对象的第一活体检测结果，若重合程度达到第一预设重合度阈值，则疑似通过活体检测，否则，则不通过活体检测，能够实现对待检测生物对象进行初步活体检测。该方法较为简单便捷，对设备的要求不高，空间成本低、实时性高、时间成本低、准确性高。
44.人脸识别是基于人脸特征信息进行身份识别的一种生物识别技术，具有主动、直接、友好、简便等特点。人脸识别技术已经广泛应用于安保、金融、公安、司法、泛娱乐等行业，并成为行业关键技术之一。
45.随着人脸识别系统的普及应用，伪造、盗用、非真人的情况极大的挑战了人脸识别系统的安全性与可靠性。为了抵御各种攻击，活体检测技术成为人脸识别链路的核心技术。活体技术能够有效分辨当前人脸检测对象是否为具有生命的个体，防止盗用、伪造照片或视频；非生物体人脸模型等恶意攻击。
46.考虑普通人脸门禁的安全密级与安保人员分配情况，主要针对盗用人脸，以手机与打印方式的恶意攻击。考虑人脸门禁的设备限制与成本控制要求，主要考虑可见光摄像头与近红外摄像头双传感器搭载情况。因为近红外相机成像原理，屏幕攻击无法成像。通过近红外相机可以有效过滤手机、平板电脑等屏幕播放类型的恶意攻击。
47.当前利用红外图像与可见光图像结合的活体检测方案，通常使用两路图像并行人脸检测与活体检测的方法或单路串行利用相机标定先后完成人脸检测与活体检测。
48.两路图像并行的方案考虑近红外相机屏幕无法成像、不同材质反射率不同的特点，通过增加一路近红外图像的人脸检测与活体检测，结合可见光图像的完整检测链路，从而提高活体检测整体的准确性与可靠性。然而，门禁系统活体检测中，设备资源受到限制，双路并行空间成本成倍增加，甚至会影响门禁系统其余模块的实时性。
49.单路串行的方案，采用可见光摄像头与近红外摄像头标定的方法，将人脸检测结果从可见光图像映射至近红外图像。进而将两副人脸图像输入级融合进入基于卷积神经网络的人脸检测模型中进行活体检测，最终达到提高活体检测整体准确性与可靠性的目的。但是，在真实人脸进入活体检测模块时，近红外图像与可见光图像的融合，信息量增加，信息复杂度增加。这导致活体检测模型的时间成本增加；在纸张攻击的情况下，该方法相较于单目可见光方法的提升有限；在屏幕攻击的情况下，直接利用人脸检测模型无法在近红外图像下无法检出屏幕播放人脸的方法在一般情况下能完成100％的攻击检出，而输入级融合后进入基于卷积神经网络的人脸检测模型仍有误检输出。
50.基于上述考虑，结合门禁场景资源限制、实时性要求、以及主要面对纸张与屏幕攻击的情况，需要提出一种提高可见光活体检测性能、结合近红外信息、并适用于门禁系统的活体检测方法、一种活体检测装置、一种门禁系统、一种电子设备和一种计算机可读存储介质，请参阅图2，图2是本技术的一示例性实施例示出的活体检测方法的流程图。如图2所示，在一示例性的实施例中，该方法可以应用于门禁系统等通过采集可见光图像和近红外图像来判定活体状态的设备中，该方法至少包括步骤s201至步骤s204，详细介绍如下：
51.步骤s201，获取待检测生物对象的待检测图像组。
52.其中，待检测生物对象为活体对象，如人体、动物体等能够被近红外设备成像的生物。待检测图像组中的图像中均包括待检测生物对象图像。具体待检测生物对象的确定可以由本领域技术人员结合应用场景进行确定，例如，将该方法应用于门禁系统中时，待检测生物对象可以为人类。又例如，当将该方法应用于动物电子围栏时，该待检测生物对象可以为需要管理的动物，如家里养的宠物猫狗等。
53.待检测图像组包括可见光图像和红外图像，可见光图像与红外图像的图像采集时间差小于预设时间阈值。可以通过调整可见光图像采集设备的可见光图像采集逻辑，以及调整近红外图像采集设备的红外图像的红外图像采集逻辑，进而控制待检测图像组中的两种图像为同一时刻拍摄的图像，这样，对于后续活体检测的准确性更有帮助，使得活体检测的结果可靠性更佳。
54.当该活体检测方法应用于门禁系统时，可以通过门禁系统设置的可见光图像采集设备和近红外图像采集设备来实现对预设区域的可见光图像和红外图像的采集。
55.在一实施例中，在获取待检测图像组之前，该方法还包括，通过监测可见光图像采集设备所采集的多张初始可见光图像，若当前时刻的初始可见光图像与上一时刻的初始可见光图像不同，则说明预设区域内出现了新的生物，此时可以触发可见光图像采集设备和近红外图像采集设备来采集待检测图像组。这样能够保证一旦预设区域内出现了生物位置的变化，及时拍摄新的待检测图像组。
56.对于待检测图像组的采集规则，还可以设定，两组待检测图像组之间的采集间隔时间不少于预设间隔时间，以免重复采集，造成资源和算力浪费。易俗河间隔时间的确定可以基于生物通过门禁闸机的最短时间，或者生物通过预设区域的最短时间来确定。
57.待检测图像组中的可见光图像与红外图像可以通过固定提取帧率，以及硬件帧同步调教工具完成。具体要求如时间差小于20ms，通常意义的帧同步为时间差小于10ms,由于传感器类型不同，且近红外信息的较为独立的使用流程，也可适当放宽要求。也即预设时间阈值可以为20ms、10ms等本领域技术人员所设定的时间。预设时间阈值也可以根据待检测
生物对象的移动速度等来具体确定。
58.步骤s202，对可见光图像进行目标对象第一检测，得到可见光图像中目标对象的可见光目标区域。
59.其中，目标对象基于待检测生物对象得到。如待检测生物对象为人类，则目标对象可以为人脸或人体等。如待检测生物对象为犬类，则目标对象可以为犬类的犬身等。
60.对可见光图像进行目标对象第一检测的方式可以通过预先训练好的目标对象检测模型实现，通过获取包括目标对象的样本可见光图像作为训练集，对预设的第一轻量级卷积神经网络进行训练，得到第一目标检测模型，具体的模型训练方式可以由本领域技术人员所知晓的方式实现，在此不做限定。
61.通过对可见光图像进行目标对象第一检测，能够得到可见光图像中目标对象的可见光区域在可见光图像坐标系下的位置信息，以供后续步骤使用。
62.步骤s203，对红外图像进行所述目标对象第二检测，得到红外图像中目标对象的红外目标区域。
63.需要说明的是，在一实施例中，步骤s202和步骤s203之间的执行步序不做限定，与上述步骤s202的实现类似，对于红外图像进行目标对象第二检测的方式也可以是通过预先训练的目标检测模型实现，在此不做赘述。通过步骤s203可以得到红外图像中的目标对象所在的红外目标区域在红外图像坐标系下的区域位置信息。
64.步骤s204，基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果。
65.在一实施例中，对可见光图像进行目标对象第一检测，得到可见光图像中目标对象的可见光目标区域之后，基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果包括：
66.将可见光目标区域映射到红外图像的红外图像坐标系，得到可见光红外区域；
67.对红外图像中红外目标区域的图像进行目标对象第二检测，得到红外目标区域的图像中目标对象的红外可见光目标区域，此时，有可能在该红外目标区域中存在目标对象，也有可能不存在目标对象，若不存在目标对象，则可以将红外可见光目标区域设置为空，或者其他预设标识，则后续所确定的重合程度为0，也即第一活体检测结果为不通过活体检测；
68.对红外图像进行目标对象第三检测，得到红外图像中目标对象的红外目标区域；
69.基于红外可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果。
70.在一实施例中，若对红外图像中红外目标区域的图像进行目标对象第二检测，确定红外目标区域中不存在目标对象，则可以不需要再确定区域重合程度，直接将第一活体检测结果确定为不通过活体检测。
71.可以通过分别使用轻量级卷积神经网络近红外模型与可见光模型完成目标对象检测，并缓存检测结果。检测结果可以为是否包括目标对象，以及若包括目标对象，则目标对象的所在区域的相关信息。
72.在一实施例中，基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果包括以下任意之一：
73.根据第一映射关系将红外目标区域映射到预设基准坐标系，确定可见光目标区域与映射后的红外目标区域之间的区域重合面积，基于区域重合面积确定区域重合程度，并确定第一活体检测结果，其中，预设基准坐标系包括可见光图像采集设备的可见光图像坐标系，可见光图像通过可见光图像采集设备采集得到，第一映射关系表征红外图像坐标系转换到可见光图像坐标系的第一转换关系；
74.根据第二映射关系将可见光目标区域映射到预设基准坐标系，确定红外目标区域与映射后的可见光目标区域之间的区域重合面积，基于区域重合面积确定区域重合程度，并确定第一活体检测结果，其中，预设基准坐标系包括红外图像采集设备的红外图像坐标系，红外图像通过红外图像采集设备采集得到，第二映射关系表征可见光图像坐标系转换到红外图像坐标系的第二转换关系；
75.根据第三映射关系将可见光目标区域映射到预设基准坐标系，根据第四映射关系将红外目标区域映射到预设基准坐标系，确定映射后的红外目标区域与映射后的可见光目标区域之间的区域重合面积，基于区域重合面积确定区域重合程度，并确定第一活体检测结果，其中，第三映射关系表征可见光图像坐标系转换到预设基准坐标系的第三转换关系，第四映射关系表征红外图像坐标系转换到预设基准坐标系的第四转换关系。
76.坐标系之间的转换关系可以由本领域技术人员预先对红外图像采集设备和可见光图像采集设备基于其设备位置信息进行标定得到。
77.在一实施例中，对可见光图像进行目标对象第一检测，得到可见光图像中目标对象的可见光目标区域之后，该方法还包括：
78.将可见光目标区域映射到红外图像的红外图像坐标系，得到可见光红外区域；
79.对红外图像中红外目标区域的图像进行目标对象第二检测，得到红外目标区域的图像中目标对象的红外可见光目标区域；
80.对红外图像进行目标对象第二检测，得到红外图像中目标对象的红外目标区域；
81.基于红外可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果。
82.以目标对象为人脸为例，通过获取可见光图像人脸检测结果，通过预先标定的相机映射关系，找到近红外图像对应的人脸区域；获取近红外图像人脸检测结果，判断找到的近红外图像对应人脸区域是否存在人脸检出。若存在，可排除屏幕攻击；若不存在，则判定为屏幕恶意攻击，无法通过活体检测。
83.在一实施例中，第一活体检测结果的确定方式包括：
84.确定可见光目标区域和红外目标区域的重合区域面积，该重合区域面积可以通过将可见光目标区域和红外目标区域映射到同一坐标系x下得到，此事，后续的面积重合度可以通过该重合区域面积和红外目标区域映射到坐标系x下的映射面积确定。该重合区域面积也可以通过将可见光目标区域映射到红外图像坐标系，再通过确定映射后的区域与红外目标区域的重合面积，以及红外目标区域的面积来确定面积重合度；
85.基于重合区域面积和可见光区域面积确定面积重合度，面积重合度用于表征区域重合程度，可见光区域面积为可见光目标区域的面积，例如面积重合度为重合区域面积和可见光区域面积之间的比值，此时第一预设重合度阈值与第二预设重合度阈值均为小于或等于1的正数；
86.若面积重合度大于第一预设重合度阈值，将第一活体检测结果确定为疑似通过活体检测；
87.若面积重合度小于或等于第二预设重合度阈值，将第一活体检测结果确定为不通过活体检测，其中，第二预设重合度阈值小于或等于第一预设重合度阈值。
88.在一实施例中，区域重合程度还可以通过重合区域的像素点的数量与可见光区域中的像素总数来确定。
89.若面积重合度小于或等于第二预设重合度阈值，且面积重合度大于第三预设重合度阈值，该方法还包括：
90.提示待检测图像组为无效图像组，重新获取新的待检测图像组，也即，此时说明待检测图像组中图像的采集可能存在问题，需要重新采集新的待检测图像组，重新执行该方法。
91.其中，第二预设重合度阈值大于第三预设重合度阈值。
92.在另一实施例中，第一活体检测结果的确定方式包括：
93.若面积重合度大于第一预设重合度阈值，将第一活体检测结果确定为疑似通过活体检测；
94.若面积重合度小于或等于第二预设重合度阈值，将第一活体检测结果确定为不通过活体检测，第二预设重合度阈值小于或等于第一预设重合度阈值。
95.请参阅图3，图3是本技术的一示例性实施例示出的可见光图像的示意图。如图3所示，当采用可见光图像采集设备采集图像时，不论当前是否为真实生物，均会成像。请参阅图4，图4是本技术的一示例性实施例示出的红外图像的示意图。如图4所示，当采用近红外图像采集设备采集红外图像时，则对于屏幕上的人脸则不会成像。
96.以目标对象为人脸，第一预设重合度阈值为50％，第二预设重合度阈值为50％，第三预设重合度阈值为20％为例，由于屏幕在红外相机无法成像，通过近红外图像人脸检测输出，完全滤除屏幕攻击。首先获取可见光图像人脸检测结果(x,y,w,h),若存在多个人脸情况人脸(x1,y1,w1,h1)与(x2,y2,w2,h2)，通过人脸框面积w1*h1与w2*h2的大小决定，仅处理面积更大的人脸。上述x,y，x1,y1,x2,y2为目标对象检测框的一个点如左顶点的坐标，w,h，w1,h1，w2,h2为目标对象检测框的长和宽。下述表达方式与此处类似，在此不做赘述。通过预先标定的相机映射关系，找到近红外图像对应的人脸区域；获取近红外图像人脸检测结果，进行屏幕攻击滤除；
97.1.若红外图像无检出，则直接判定活体检测不通过；
98.2.若近红外图像有人脸检出(x
ir
,y
ir
,w
ir
,h
ir
)，若近红外人脸区域为(x
roi
,y
roi
,w
roi
,h
roi
),根据找到的近红外图像对应人脸区域是否存在人脸框，即：
99.(1)若x
ir
》x
roi
+w
roi
||x
ir
+w
ir
《x
roi
||y
ir
》y
roi
+h
roi
||y
ir
+h
ir
《y
roi
,则检测框与人脸区域无重合，依次判定每一个近红外检测人脸框，若均无重叠，则判定活体检测不通过。当ir最左x侧大于roi最右侧或ir最右侧小于roi最左侧或ir最上侧大于roi最下侧或ir最下侧小于roi最上侧。若同一平面下两矩形ir与roi不想交，那必定至少满足一条上述判断条件，也即可以确定检测框与人脸区域无重合。
100.(2)若存在重叠区域，计算重叠区域面积，即:重合面积宽为w＝min(x
roi
+w
roi
,x
ir
+w
ir
)-max(x
roi
,x
ir
)，高h＝min(y
roi
+h
roi
,y
ir
+h
ir
)-max(y
roi
,y
ir
)，重叠面积s占总人脸区域面
积s
roi
＝w
roi
*h
roi
的百分比为p，若p》50％，则通过屏幕攻击滤除；若20％《p《50％，判定为无效帧，重新检测；若p《20％，判定为攻击，活体检测不通过；若p》50％，该可见光人脸检测不为屏幕攻击，将该人脸检测信息进入下一步。
101.也即，该过程可以为获取可见光图像人脸检测结果，通过预先标定的相机映射关系，找到近红外图像对应的人脸区域。获取近红外图像人脸检测结果，判断找到的近红外图像对应人脸区域是否存在人脸检出。若存在，可排除屏幕攻击；若不存在，则判定为屏幕恶意攻击，无法通过活体检测。
102.若第一活体检测结果为疑似通过活体检测可以确定为排除屏幕攻击。
103.在一实施例中，若第一活体检测结果为疑似通过活体检测(也即排除屏幕攻击)，基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果之后，该方法还包括：
104.对可见光目标区域的可见光目标对象图像进行图像扩展，得到扩展图像；
105.将扩展图像输入至预设可见光活体检测模型，得到待检测生物对象的可见光目标对象存在状态以及置信度；
106.基于可见光目标对象存在状态和置信度确定待检测生物对象的第二活体检测结果，并以第二活体检测结果更新第一活体检测结果。也即以第二活体检测结果作为最终的第一活体检测结果。
107.一种示例的对可见光目标区域的可见光目标对象图像进行图像扩展包括：
108.获取可见光目标区域的形状特征；
109.根据形状特征和预设形状扩展参数映射关系确定预设扩展参数；
110.将可见光目标对象图像基于预设扩展参数进行图像扩展。
111.例如，可见光目标区域的形状特征为正方形，则预设扩展参数为竖直方向1.6倍，横平方向1.4倍。其中，扩展倍数存在如下关系：
112.y-x＝0.2，
113.其中，y为图像竖直方向扩展倍数，x为图像横平方向倍数。
114.又例如，可见光目标区域的形状特征为长方形，则横竖同比例扩展1.6倍，也即横平方向扩展倍数与竖直方向扩展倍数相等。
115.在一实施例中，将扩展图像输入至预设可见光活体检测模型之前，该方法还包括：
116.获取目标对象的样本可见光图像集，样本可见光图像集包括多张样本可见光图像；
117.对样本可见光图像进行图像扩展，对扩展后的样本可见光图像进行图像增强，图像增强包括水平翻转、裁剪、旋转、擦除中至少之一；
118.通过图像增强后的样本可见光图像训练预设初始模型，得到预测对象存在状态，及预测置信度，直到预测对象存在状态和预测置信度满足训练完成条件；
119.将训练后的预设初始模型确定为预设可见光活体检测模型。
120.其中，样本可见光图像集还包括目标对象在样本可见光图像中的真实对象存在状态，训练完成条件可以为模型输出的预测对象存在状态与真实对象存在状态相同，预测置信度大于一定的预设置信度阈值。
121.以人脸为例，该预设可见光活体检测模型的一种示例性的训练方式如下：
122.1.训练集通过人脸检测器，获得人脸检测框信息；
123.2.人脸检测框信息结合s1获得的可见光原图像进行训练数据截取：
124.选取5个扩展尺度(1.6，1.6)(1.4，1.2)(1.6，1.4)(1.8,1.8)(1.6，2.0),例如：检测框为(x，y,w,h),扩展倍数为(1.6，1.4)，则扩展图获取框为((x+w)/2-w*1.6,(y+h)/2-h*1.4,w*1.6,h*1.4)，需要说明的是，扩展尺度也可以是本领域技术人员所设定的其他数值，在此仅为一示例。
125.在检测框扩展的基础上，对长宽进行10像素(也可以是本领域技术人员所设定的其他数值，在此仅为一示例)的随机加减，加减后完成训练图像的截取保存。
126.训练过程中，对扩展图像再次进行增强，包括：随机水平翻转、随机裁剪、随机旋转(-30
°
～+30
°
)、随机擦除，获得增强图像。
127.训练过程包括：增强图像输入轻量级卷积神经网络(预设初始模型)，得到特征信息；特征信息进入头部获得分类输出；预测输出与标签计算损失(focal loss)；反向转播更新模型参数。
128.其中，轻量级网络模型主干为人脸神经网络模型feahternetb，进行训练与前向推理；可选的，采用repvgg人脸神经网络主干、mobilenetv2神经网络主干可以取得指标相近结果。
129.其中，推理过程包括但不限于：图像扩展、图像输入模型、模型推理、输出判别类型中至少之一。
130.通过上述实施例的方法，可以将训练预设初始模型的样本图像实现多尺度的处理，例如选取5个尺度，两个尺度为前向推理输入图像常用扩展比例；两个尺度为横宽扩展倍数差与常用扩展比例相同，在1.0-2.0(1倍到2倍)之间两组缩放比例；一个尺度为横宽扩展倍数差绝对值与常用扩展比例相同，在1.0-2.0之间的缩放比例；在检测框扩展的基础上，对长宽进行10像素的随机加减，加减后完成训练图像的截取保存。配合前向推理时对待预测图像的倍数扩展可更好发挥效果。
131.通过上述方式训练得到的预设可见光活体检测模型具有以下优点：
132.首先，基于多尺度样本图像训练的活体检测轻量级卷积神经网络模型(预设可见光活体检测模型)，在保持原有参数量与计算资源消耗的同时，活体检测准确性与鲁棒性有明显提高。
133.以该方法应用于门禁系统为例，普通门禁场景面临的攻击类型为：纸张攻击与屏幕攻击。该类攻击与真实人脸区别有：细节纹理、光照反射、具有边界等。相关技术往往通过复杂的模型结构提取细微纹理与成像光照的区别、多传感器特征融合，多模型级联的方法提升模型的准确率。例如：输入级的多传感器信息融合；增加不同深度特征融合结构；增加注意力模块；红外与可见光双模型并行加权判定等。而本技术针对门禁场景下的攻击方式，使用多尺度数据训练方法，能够有效将背景信息、边界信息纳入模型特征提取，同时基础人脸神经网络模型主干已经满足纹理及光照反射特征提取，在保持较低资源消耗的情况下，满足门禁系统活体检测需求。
134.其次，多尺度训练中，多尺度训练数据扩展，防止了尺度过拟合，在门禁目标对象信息采集远近上下不同情况下的鲁棒性有明显提升；也防止了检测器过拟合，在不同检测器输出大小与横宽比不同的情况下的鲁棒性有明显提升。
135.最后，多尺度训练中，多尺度训练数据的随机加减，防止了检测器过拟合，在同类人脸检测器检测框因为模型迭代、检测策略调整而小幅抖动时，活体检测模型的鲁棒性明显上升。
136.在一实施例中，基于可见光目标对象存在状态和置信度确定待检测生物对象的第二活体检测结果包括以下至少之一：
137.若可见光目标对象存在状态为存在，且置信度大于第一预设置信度阈值，将第二活体检测结果确定初步通过活体检测；
138.若可见光目标对象存在状态为不存在，或置信度小于或等于第二预设置信度阈值，将第二活体检测结果确定不通过活体检测，第二预设置信度阈值小于或等于第一预设置信度阈值。
139.在一实施例中，基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果之后，该方法还包括：
140.获取预设时间段内的多个新增图像组，新增图像组包括新增可见光图像和新增红外图像；
141.确定新增图像组的第一活体检测结果；
142.统计第一活体检测结果，以确定第三活体检测结果。
143.示例性的，统计第一活体检测结果，以确定第三活体检测结果包括以下任意之一：
144.确定第一活体检测结果为疑似通过活体检测的新增图像组和待检测图像组的第一总数，若第一总数占图像总数的占比大于预设第一占比阈值，将第三活体检测结果确定为初步通过活体检测，图像总数为新增图像组的数量与待检测图像组的数量之和；
145.确定第一活体检测结果为不通过活体检测的新增图像组和待检测图像组的第二总数，若第二总数占图像总数的占比大于预设第二占比阈值，将第三活体检测结果确定为不通过活体检测，图像总数为新增图像组的数量与待检测图像组的数量之和。
146.示例性的，统计第一活体检测结果，以确定第三活体检测结果包括：
147.获取第一活体检测结果为疑似通过活体检测的置信度；
148.基于各新增图像组和待检测图像组对应的置信度确定综合评分，以确定第三活体检测结果。
149.其中，在确定综合评分时，也可以参考各置信度所对应的图像的图像质量分数，基于图像质量分数确定该图像的权重，基于权重和置信度确定一图像的图像评分，进而得到各图像的综合评分。其中，图像质量评分可以是通过本领域技术人员所知晓的方式得到，例如某些设备在采集图像后即可输出该图像的图像质量评分，又或者按照一定的规则基于图像的分辨率等参数确定图像质量评分。
150.示例性的，统计第一活体检测结果包括：
151.获取新增图像组和/或待检测图像组中新增可见光图像和/或可见光图像的图像质量分数；
152.若图像质量分数小于预设分数阈值，剔除新增图像组和/或待检测图像组的第一活体检测结果；
153.统计剔除后的第一活体检测结果。
154.根据实用设备采集图像频率与应用场景的实时性要求，可以采用多帧联合判定模
块，该模块的实现方式如下：
155.通过上述实施例提供的单个待检测图像组的活体检测完成流程，在较短时间间隔内获取连续5-10帧待检测图像组(新增图像组)判定结果(第一活体检测结果)。
156.统计5-10帧判定为真实人脸的帧数n，若n≥6，则判定为真实人脸，否则判定为恶意攻击。
157.另一种示例性的统计方法为：获取5-10帧的预测分数(置信度)；然后计算平均预测分数(综合评分)；通过平均预测分数判定是否为真实人脸。
158.可选择优化上述步骤中质量评分过低的图像，滤除部分成像质量过差的活体检测帧结果；例如在计算平均预测分数时，首先根据每帧的人脸质量分比值，获得每一帧的权重，再根据权重计算加权平均的预测分数，最后通过加权平均预测分数，判定是否为真实人脸(第三活体检测结果)。
159.请参阅图5，图5是本技术的一示例性实施例示出的活体检测方法的一种具体的流程图。以目标对象为人脸为例，如图5所示，该方法包括通过输入可见光图像和近红外图像，分别进行人脸检测，当检测到可见光图像中包括人脸区域，则将该人脸区域映射到红外图像中，得到近红外人脸区域，屏幕在红外相机无法成像，通过近红外图像人脸检测输出，能够完全滤除屏幕攻击，得到第一活体检测结果，当第一活体检测结果为疑似通过活体检测后，通过将可见光图像作为检测图，对该检测图进行图像扩展，将扩展图像输入到多尺度训练的活体检测器(预设可见光活体检测模型)得到可见光目标对象存在状态以及置信度，可以确定第二活体检测结果。根据使用场景的需要，还可以设置多帧联合活体判断模块，通过判断预设时间段内的多个新增图像组的第一活体检测结果并统计新增图像组和待检测图像组的第一活体检测结果，得到第三活体检测结果，能够进一步提升活体检测的可靠性。
160.上述实施例提供的活体检测方法，通过获取待检测生物对象的可见光图像和红外图像，对可见光图像进行目标对象第一检测，得到可见光图像中目标对象的可见光目标区域，对红外图像进行目标对象第二检测，得到红外图像中目标对象的红外目标区域，基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果，通过对可见光图像和红外图像并行处理，能有效利用近红外目标对象信息，资源消耗较低、屏幕攻击完全滤除、不影响可见光模型检测性能，降低了空间成本、时间成本，实时性高，准确性佳。
161.上述实施例提供的活体检测方法还具有以下优点：
162.通过屏幕攻击针对性滤除方法+可见光活体检测模型的方案，能有效利用近红外人脸信息，具有资源消耗较低、屏幕攻击完全滤除、不影响可见光模型检测性能的优点。与相关技术相比若采用近红外图像与可见光并行处理的方案，相较而言，若分别进行完整人检测+活体检测，耗时较高，资源占用较高。若直接采用可见光模型人脸检测+活体检测与近红外人脸检测滤除屏幕攻击，资源消耗低，但无法完全滤除屏幕攻击(真人脸+假人脸可攻破)。若采用近红外图像与可见光图像特征融合的方式(输入级融合与特征级融合)，资源消耗较低，但同样无法完全滤除屏幕攻击，同时影响可见光模型的准确率。
163.通过结合人脸质量分的多帧联合活体判定策略，可以在摄像头因未聚焦、突发性炫光、运动人脸等造成成像模糊、异常时，有效提升活体检测系统的准确性与鲁棒性。此外，图像人脸质量分数的引入，能够广泛的防止成像异常造成模型预测误检，相较于仅使用多
帧平均的方法，能够更好的提升模型性能。同时，能够有效防止因近红外图像人脸检测漏检而造成的活体误检。
164.请参阅图6，图6是本技术的一示例性实施例示出的活体检测装置的框图，如图6所示，本实施例提供了一种活体检测装置600，包括：
165.获取模块601，用于获取待检测生物对象的待检测图像组，待检测图像组包括可见光图像和红外图像，可见光图像与红外图像的图像采集时间差小于预设时间阈值；
166.第一检测模块602，用于对可见光图像进行目标对象第一检测，得到可见光图像中目标对象的可见光目标区域，目标对象基于待检测生物对象得到；
167.第二检测模块603，用于对红外图像进行目标对象第二检测，得到红外图像中目标对象的红外目标区域；
168.确定模块604，用于基于可见光目标区域和红外目标区域的区域重合程度确定待检测生物对象的第一活体检测结果。
169.在本实施例中，该装置实质上是设置了多个模块用以执行上述任一实施例中的方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
170.请参阅图7，图7是本技术的一示例性实施例示出的门禁系统的框图，如图7所示，本实施例提供了一种门禁系统700，包括可见光图像采集设备701、近红外图像采集设备702、存储器703、控制器704和放行装置705，其中：
171.可见光图像采集设备701用于采集待检测生物对象的可见光图像；
172.近红外图像采集设备702用于采集待检测生物对象的红外图像，可见光图像与红外图像的图像采集时间差小于预设时间阈值；
173.控制器704用于执行存储器703中存储的计算机程序，以实现如上述任一项实施例中的方法，以及基于第一活体检测结果控制门禁系统的放行装置705的放行状态。
174.放行状态可以为打开闸机或者抬杆放行等。
175.在本实施例中，该系统实质上是设置了多个模块用以执行上述任一实施例中的方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
176.参见图8，本发明实施例还提供了一种电子设备800，包括处理器801、存储器802和通信总线803；
177.通信总线803用于将处理器801和存储器连接802；
178.处理器801用于执行存储器802中存储的计算机程序，以实现如上述实施例中的一个或多个的方法。
179.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，
180.计算机程序用于使计算机执行如上述实施例一中的任一项的方法。
181.本技术实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本技术实施例的实施例一所包含步骤的指令(instructions)。
182.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便
携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
183.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
184.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
185.附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
186.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。