一种基于多种脉搏波与人脸的多模态身份认证系统及其认证方法

1.本发明涉及身份认证技术领域，尤其是涉及一种基于多种脉搏波与人脸的多模态身份认证系统及其认证方法。


背景技术：

2.随着经济社会的快速发展，信息安全的重要性日益显露，身份盗窃带来的危害也更加严重，身份认证技术作为保护信息安全的重要手段，人们对其普遍性、特异性和稳定性等的要求不断提高。而传统的身份认证方式如密码、证件等由于存在易被复制、窃取或者遗忘等缺点已经不能满足人们的需求。生物识别技术应运而生。
3.目前，基于人脸、指纹、虹膜等生理特征的生物识别系统已经被广泛应用于关键重要领域的访问和控制。其中，人脸识别技术凭借其低成本、高识别率成为运用最为广泛的生物识别技术。但与此同时，相应的攻击手段也是层出不穷，如使用照片、视频等技术可以轻易欺骗人脸识别系统。
4.现阶段解决上述问题的手段是在人脸识别过程中嵌入活体检测功能。近几年的活体检测方法为动作检测，即在人脸识别过程中要求检测对象做眨眼、点头等动作。但这种方法对视频攻击的识别效果较差。另外，单一模态的人脸识别存在单一算法认证的缺陷。
5.基于心脏信号的生物识别相比较于传统的生物识别则存在很多优势：
6.1)内在活性：心脏运动仅存在于“活”的用户中，系统能够区分验证对象是“活”用户还是伪造攻击；
7.2)高度安全：心脏信号取决于用户的心脏肌肉结构，因此不可能被完全模仿；
8.人体心脏的生理信号还具有经济高效性等特点，同时具有特征识别的条件，在生物识别领域具有巨大潜力。其中，脉搏波信号是动脉血流量随心脏搏动变化而导致的对光的吸收量的周期性波动。该信号采集方便，适合作为生物识别系统的生理特征。
9.但是，相较于更为成熟的人脸识别技术，脉搏波身份认证技术的错误拒绝率和错误接受率较高，离单一模态作为身份识别技术进行广泛应用还有一定距离。


技术实现要素：

10.本发明目的在于针对现有技术的不足，提出一种基于多种脉搏波与人脸的多模态身份认证系统及其认证方法。
11.本发明的目的是通过以下技术方案来实现的：一种基于多种脉搏波与人脸的多模态身份认证系统，该系统包括：
12.接触式脉搏波获取模块，用于获取接触式手指脉搏波；
13.手背视频获取模块，用于获取手背的非接触式脉搏波；
14.人脸视频获取模块，用于获取人脸视频，进一步获取人脸图像和人脸的非接触式脉搏波；
15.接触式手指脉搏波特征提取模块，用于对接触式脉搏波获取模块获取的接触式手指脉搏波信号进行预处理和特征提取，获取用户的接触式手指脉搏波特征向量；
16.人脸特征提取模块，用于对人脸视频获取模块获取的人脸图像进行预处理和特征提取，获取用户的人脸特征向量；
17.接触式手指脉搏波特征认证模块，用于对用户的第二接触式手指脉搏波信号的特征向量与第一接触式手指脉搏波信号的特征向量进行相似度比较验证；
18.人脸特征认证模块，用于对用户的第二人脸图像的特征向量与第一人脸图像的特征向量进行相似度比较验证；
19.双脉搏波相似性验证模块，用于对用户的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行相似性分析，判断双脉搏波是否属于同一认证主体；
20.根据接触式手指脉搏波特征认证模块、人脸特征认证模块和双脉搏波相似性验证模块的共同验证结果生成最终的身份认证结果。
21.进一步地，所述的接触式脉搏波获取模块包括红外脉搏波传感器，所述红外脉搏波传感器包括红外指夹探头和采集模块，用于采集接触式手指脉搏波信号。
22.进一步地，所述的手背视频获取模块包括摄像头a；所述摄像头a用于记录用户手背视频，进一步获取手背的非接触式脉搏波。
23.进一步地，所述的人脸视频获取模块包括摄像头b；所述摄像头b用于获取人脸视频，进一步获取人脸图像和人脸的非接触式脉搏波。
24.进一步地，所述的脉搏波信号预处理和特征提取具体为：将采集到的脉搏波进行小波阈值去噪；对去噪后的脉搏波信号进行峰值检测，分割出单周期脉搏波；对单周期脉搏波进行核主成分分析和主成分分析，完成对脉搏波信号的降维并得到特征向量。
25.进一步地，所述的接触式手指脉搏波特征认证模块和人脸特征认证模块的相似度比较具体为：计算认证阶段提取的脉搏波(或人脸)特征向量x(x1,x2,
…
,xn)与数据库中存储的各个注册用户的脉搏波(或人脸)特征向量y1(y
11
,y
12
,
…
,y
1n
)、y2…
ym的欧氏距离：
[0026][0027]
使用k近邻分类器(k-nearest neighbor, knn)进行分类识别和相似度比较。
[0028]
进一步地，所述的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行相似性分析具体为：记手背脉搏波信号为p1，人脸脉搏波信号为p2；对p1和p2进行幅值和时间的归一化，记为p1′
、p2′
；再计算p1′
和p2′
的欧式距离d(p1′
,p2′
)，若d(p1′
,p2′
)小于阈值，则判定p1和p2属于同一主体。
[0029]
本发明还提供了一种基于多种脉搏波与人脸的多模态身份认证方法，该方法分为注册阶段和认证阶段，包括如下步骤：
[0030]
s1在注册阶段，利用摄像机对注册用户的人脸图像进行采集，得到第一人脸图像，并将第一人脸图像存储于数据库中，作为认证基准信息；
[0031]
s2在注册阶段，利用接触式手指脉搏波传感器对接触式手指脉搏波信号进行采集，得到第一接触式手指脉搏波样本，并将第一接触式手指脉搏波样本存储于数据库中，作为认证基准信息；
[0032]
s3在认证阶段，利用摄像机b对认证用户的人脸视频信息进行采集，得到第二人脸图像和非接触式人脸脉搏波信号；
[0033]
s4在认证阶段，利用摄像机a对认证用户的手背视频信息进行采集，得到非接触式手背脉搏波信号；
[0034]
s5在认证阶段，利用接触式手指脉搏波传感器对认证用户的接触式手指脉搏波信号进行采集，得到第二接触式手指脉搏波样本；采集第二接触式手指脉搏波样本过程中持续获取人脸图像，一旦获取不到人脸图像则返回步骤s3，接触式手指脉搏波信号采集完毕后执行步骤s6；
[0035]
s6对步骤s3中获取的第二人脸图像与第一人脸图像通过相似度比对，进行人脸识别认证；
[0036]
s7对步骤s4中获取的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行双脉搏波相似性验证；
[0037]
s8对步骤s5中获取的第二接触式手指脉搏波样本与第一接触式手指脉搏波样本通过相似度比对，进行接触式手指脉搏波认证；
[0038]
s9根据人脸识别认证、接触式脉搏波认证和双脉搏波相似性验证的共同验证结果生成身份认证结果。
[0039]
进一步地，步骤s1的具体过程为：对注册用户的人脸图像信息进行采集，通过人脸检测算法检测采集图像是否为人脸，若是则保存为第一人脸图像，否则重新采集图像。
[0040]
本发明的有益效果是：
[0041]
(1)本发明人脸识别认证、脉搏波认证和双脉搏波相似性验证相结合实现多模态身份认证，提升了算法的安全性，解决了单一算法认证短板。
[0042]
(2)本发明利用接触式脉搏波进行身份认证、非接触式脉搏波进行双脉搏波验证，具有活体检测的功能。
[0043]
(3)本发明完成生物信息(第二人脸图像、第二接触式手指脉搏波样本和非接触式人脸脉搏波信号、非接触式手背脉搏波信号)采集后，结合预注册信息(第一人脸图像和第一接触式手指脉搏波样本)直接完成多模态身份认证和活体检测，身份认证和活体检测环节统一。
附图说明
[0044]
图1为一种基于多种脉搏波和人脸的多模态身份认证方法的认证流程框图。
[0045]
图2为一种基于多种脉搏波和人脸的多模态身份认证系统的整体结构框图。
[0046]
图3为一种基于多种脉搏波和人脸的多模态身份认证系统的示意图。
[0047]
图4为一种基于多种脉搏波和人脸的多模态身份认证系统手部数据采集示意图，其中a)为手部数据采集装置正视图，b)为手部数据采集装置俯视图。
具体实施方式
[0048]
为了更详细地说明本发明的一种基于多种脉搏波与人脸的多模态身份认证系统及其认证方法，下面根据附图详细说明本发明。
[0049]
实施例1
[0050]
如图1所示，本实施例提供一种基于多种脉搏波与人脸的多模态身份认证方法，该方法包括如下步骤：
[0051]
s1在注册阶段，利用相机对注册用户的面部信息进行采集，得到第一面部图片，并将第一面部图片存储于数据库中，作为认证基准信息；
[0052]
s2在注册阶段，利用接触式手指脉搏波传感器对接触式手指脉搏波信号进行采集，得到第一接触式手指脉搏波样本，并将第一接触式手指脉搏波样本存储于数据库中，作为认证基准信息；
[0053]
s3在认证阶段，利用摄像机b对认证用户的人脸视频信息进行采集，得到第二人脸图像和非接触式人脸脉搏波信号；
[0054]
s4在认证阶段，利用摄像机a对认证用户的手背视频信息进行采集，得到非接触式手背脉搏波信号；
[0055]
s5在认证阶段，利用接触式手指脉搏波传感器对认证用户的接触式手指脉搏波信号进行采集，得到第二接触式手指脉搏波样本。采集接触式手指脉搏波样本过程中持续获取人脸图像，一旦获取不到人脸图像则返回步骤s3，接触式手指脉搏波信号采集完毕后执行步骤s6；
[0056]
s6对上述步骤中获取的第二人脸图像进行人脸识别认证；
[0057]
s7对上述步骤中获取的第二接触式手指脉搏波样本进行接触式手指脉搏波认证；
[0058]
s8对上述步骤中获取的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行双脉搏波相似性验证；
[0059]
s9根据人脸识别认证、接触式脉搏波认证和双脉搏波相似性验证的结果生成身份认证结果。
[0060]
步骤s1的具体过程为：对注册用户的人脸图像信息进行采集，通过人脸检测算法检测采集图像是否为人脸，若是则保存为第一面部图片，否则重新采集图像。
[0061]
步骤s2所述的第一接触式手指脉搏波样本具体为：将采集的接触式手指脉搏波信号进行特征识别，对各个特征进行加权后组成特征向量作为第一接触式手指脉搏波样本存储于数据库中。
[0062]
步骤s6所述的人脸识别认证具体为：将步骤s3～s5获取的所有的第二人脸图像与步骤s1存储于数据库中的第一人脸图像一一比对，若均保持一致，则人脸识别认证通过。
[0063]
步骤s7所述的接触式手指脉搏波认证具体为：将步骤s5获取的所有的第二接触式手指脉搏波样本与步骤s2存储于数据库中的第一接触式手指脉搏波样本一一比对，若均保持一致，则脉搏波验证通过。
[0064]
步骤s8所述的双脉搏波相似性验证具体为：将s4步骤获取的非接触式手背脉搏波信号与s3步骤获取的非接触式人脸脉搏波信号进行相似性分析，若相似度高于阈值，则双脉搏波相似性验证通过。
[0065]
步骤s9具体为：若人脸识别人证、脉搏波验证和双脉搏波相似性验证均通过，则判
定身份认证通过，否则判定不通过。
[0066]
实施例2
[0067]
如图2所示，本实施例提供一种基于多种脉搏波与人脸的多模态身份认证系统，该系统包括：接触式脉搏波获取模块、手背视频获取模块、人脸视频获取模块、接触式手指脉搏波特征提取模块、人脸特征提取模块、接触式手指脉搏波特征认证模块、人脸特征认证模块和双脉搏波相似性验证模块。
[0068]
所述的接触式脉搏波获取模块，用于获取接触式手指脉搏波，包括红外脉搏波传感器，标准usb接口，电源；所述红外脉搏波传感器，包括红外指夹探头和采集模块，用于采集接触式手指脉搏波信号；所述标准usb接口，用于传输脉搏波信号；所述电源，用于为usb供电。
[0069]
所述的手背视频获取模块，包括摄像头a和标准usb接口；所述摄像头a用于在进行身份认证时记录用户手背视频，进一步获取手背的非接触式脉搏波；所述标准usb接口，用于传输手背视频。基于视频提取脉搏波数据的方法可参照已授权专利《一种非约束目标的非接触式脉搏波采集系统及采集方法》(201310082729.3)。
[0070]
所述的人脸视频获取模块，包括摄像头b和标准usb接口；所述摄像头b用于获取人脸视频，进一步获取人脸图像和人脸的非接触式脉搏波；所述标准usb接口，用于传输人脸视频。
[0071]
所述的接触式手指脉搏波特征提取模块，用于对接触式脉搏波获取模块获取的接触式手指脉搏波信号进行预处理和特征提取，获取用户的接触式手指脉搏波特征向量；
[0072]
所述的人脸特征提取模块，用于对人脸视频获取模块获取的人脸图像进行预处理和特征提取，获取用户的人脸特征向量；
[0073]
所述脉搏波信号预处理具体为：将采集到的脉搏波进行小波阈值去噪；对去噪后的脉搏波信号进行峰值检测，分割出单周期脉搏波。
[0074]
所述脉搏波信号特征提取具体为：对单周期脉搏波进行核主成分分析和主成分分析，完成对脉搏波信号的降维，并提取具有分辨力的特征向量。
[0075]
所述的接触式手指脉搏波特征认证模块，指对所述用户的第二接触式手指脉搏波信号的特征向量与第一接触式手指脉搏波信号的特征向量进行相似度比较，使用k近邻分类器(k-nearest neighbor, knn)对特征进行分类识别，选取欧氏距离作为相似度度量标准进行身份识别，用于用户身份校验的一部分；
[0076]
所述的人脸特征认证模块，指对所述用户的第二人脸图像的特征向量与第一人脸图像的特征向量进行相似度比较，用于用户身份校验的一部分；
[0077]
所述的双脉搏波相似性验证模块，指对用户的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行相似性分析，判断双脉搏波是否属于同一认证主体，用于用户身份校验的一部分；
[0078]
所述的接触式手指脉搏波特征认证模块和人脸特征认证模块的相似度比较具体为：计算认证阶段提取的脉搏波(或人脸)特征向量x(x1,x2,
…
,xn)与数据库中存储的各个注册用户的脉搏波(或人脸)特征向量y1(y
11
,y
12
,
…
,y
1n
)、y2…
ym的欧氏距离：
[0079][0080]
使用k近邻分类器(k-nearest neighbor, knn)进行分类识别和相似度比较。
[0081]
更进一步的，非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行相似性分析具体为：记手背脉搏波信号为p1，人脸脉搏波信号为p2；对p1和p2进行幅值和时间的归一化，记为p1′
、p2′
；再计算p1′
和p2′
的欧式距离d(p1′
,p2′
)，若d(p1′
,p2′
)小于阈值，则判定p1和p2属于同一主体。
[0082]
更进一步地，所述阈值计算过程具体为：记主体1的手背脉搏波信号为p
11
，人脸脉搏波信号为p
12
；主体2的手背脉搏波信号为p
21
，人脸脉搏波信号为p
22
；主体n的手背脉搏波信号为p
n1
，人脸脉搏波信号为p
n2
；对p
11
,p
12
,p
21
,p
22
,
…
,p
n1
,p
n2
进行幅值和时间的归一化，记为p
11
′
、p
12
′
、p
21
′
、p
22
′
、
…
、p
n1
′
、p
n2
′
；再计算相同主体的手背脉搏波信号和人脸脉搏波信号的欧氏距离d(p
11
′
,p
12
′
)、d(p
21
′
,p
22
′
)、
…
、d(p
n1
′
,p
n2
′
)，其中的最大值记为d
max
；再计算不同主体的手背脉搏波信号和人脸脉搏波信号的欧氏距离d(p
11
′
,p
12
′
)、d(p
21
′
,p
22
′
)、
…
、d(p
n1
′
,p
n2
′
)，其中的最小值记为d
min
；阈值为
[0083]
实施例3
[0084]
如图3和图4所示，下面以攻击者手持用户照片进行伪造攻击为例，具体说明一种基于多种脉搏波与人脸的多模态身份认证系统及其认证方法。
[0085]
攻击者手持用户照片进行伪造攻击，在身份认证阶段主要有如下步骤：
[0086]
(1)利用摄像机b对攻击者所持用户照片的人脸视频信息进行采集，得到第二人脸图像和非接触式人脸脉搏波信号；
[0087]
(2)利用摄像机a对攻击者的手背视频信息进行采集，得到非接触式手背脉搏波信号；
[0088]
(3)利用接触式手指脉搏波获取模块对攻击者的接触式手指脉搏波信号进行接触式采集，得到第二接触式手指脉搏波样本。
[0089]
(4)对上述步骤中获取的第二人脸图像进行人脸识别认证；由于攻击者手持用户照片进行伪造攻击，人脸识别认证通过；
[0090]
(5)对上述步骤中获取的第二接触式手指脉搏波样本进行接触式手指脉搏波认证；由于攻击者仅用于用户照片这一信息，无法伪造用户的脉搏波信息，接触式手指脉搏波验证不通过；
[0091]
(6)对上述步骤中获取的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行双脉搏波相似性验证；由于攻击者手持用户照片进行伪造攻击，采集到的“非接触式人脸脉搏波信号”实际并非脉搏波信号，双脉搏波相似性验证不通过
[0092]
(7)根据人脸识别认证、接触式脉搏波认证和双脉搏波相似性验证的结果生成身份认证结果。
[0093]
在本实施例中，攻击者在身份认证阶段，人脸识别认证通过，接触式手指脉搏波验证不通过，双脉搏波相似性验证不通过，最终身份认证不通过。
[0094]
本发明所述系统可以成功预防人脸识别中照片伪造攻击。
[0095]
实施例4
[0096]
下面具体以双胞胎身份认证为例，具体说明一种基于多种脉搏波与人脸的多模态身份认证系统及其认证方法。
[0097]
若长相一样双胞胎x、y中x为在系统注册的用户，y在身份认证阶段主要有如下步骤：
[0098]
(1)利用摄像机b对y的人脸视频信息进行采集，得到第二人脸图像和非接触式人脸脉搏波信号；
[0099]
(2)利用摄像机a对y的手背视频信息进行采集，得到非接触式手背脉搏波信号；
[0100]
(3)利用接触式手指脉搏波获取模块对y的接触式手指脉搏波信号进行接触式采集，得到第二接触式手指脉搏波样本。
[0101]
(4)对上述步骤中获取的第二人脸图像进行人脸识别认证；由于y、x是长相一样的双胞胎，人脸识别认证通过；
[0102]
(5)对上述步骤中获取的第二接触式手指脉搏波样本进行接触式手指脉搏波认证；由于系统采集到的是y的接触式手指脉搏波，接触式手指脉搏波认证不通过；
[0103]
(6)对上述步骤中获取的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行双脉搏波相似性验证；由于系统采集到的非接触式手背脉搏波信号和非接触式人脸脉搏波信号均为y的脉搏波信号，双脉搏波相似性验证通过；
[0104]
(7)根据人脸识别认证、接触式脉搏波认证和双脉搏波相似性验证的结果生成身份认证结果。
[0105]
在本实施例中，y在身份认证阶段，人脸识别认证通过，接触式手指脉搏波验证不通过，双脉搏波相似性验证通过，最终身份认证不通过。
[0106]
本发明所述系统可以成功区分双胞胎。
[0107]
上述实施例方式仅为举例，不表示本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。