基于神经网络及多通道融合LBP特征的活体检测方法与流程

本发明属于计算机视觉领域，尤其涉及一种基于神经网络及多通道融合lbp特征的活体检测方法。

背景技术：

人脸识别技术是近年来兴起的一种身份认证技术，由于其高效，精准和低成本的特点，被广泛应用于安全、金融和人员管理等领域。

在当下这个信息爆炸的时代，获取人脸照片和视频变得越来越容易，随之出现了大量针对人脸识别技术的虚假人脸攻击。一旦虚假人脸攻击成功，将对用户造成重大损失。活体检测技术的任务正是检测出这些虚假的人脸，解决人脸识别系统的安全隐患。

当下人脸识别技术通行的活体检测技术一般采用交互式的动作活体检测。即系统指示用户按顺序完成左转、右转、张嘴、眨眼等随机动作指令。若用户做出的动作与系统指示的动作不符，即认为是虚假人脸。这种方法的安全性较高，能够有效地防止照片及视频攻击，但对于用户来说需要动作配合，体验感不佳。

而基于纹理特征的活体检测，是一种非交互式的静默活体检测方法。该方法无需用户进行动作配合，仅通过人脸图像中的纹理特征信息的差异变化判断真实人脸与虚假人脸，但传统的lbp特征主要用于描述灰度图像纹理，而忽略了彩色图像的纹理特征信息，导致该特征对于区分真假人脸纹理差异的能力有限。

发明目的

本发明的目的在于提供一种基于神经网络及多通道融合lbp特征的活体检测方法，用于获取对颜色纹理信息描述更加充分的lbp特征，提高lbp特征对于真假人脸纹理特征的分辨能力，实现对真假人脸的有效检测。

本发明的具体技术方案是：基于神经网络及多通道融合lbp特征的活体检测方法，采集包含待测人脸的rgb图像和红外图像；对上述两种图像进行预处理；分别获取预处理后的两种图像在多个通道上lbp特征并采用多种模式进行特征融合；拼接两种图像融合后的lbp特征并计算相应的直方图特征；将直方图特征输入到神经网络中进行二分类，判断待测人脸是否为活体。

进一步的，所述预处理是将两种图像的尺寸缩放至统一大小。

进一步的，所述特征融合是对于彩色人脸图像，在hsv颜色空间上计算其对应三个通道的lbp特征，然后分别采用极值和求和两种模式对三个通道的lbp特征进行融合，生成全新的lbp特征。

进一步的，所述生成全新的lbp特征的具体方法如下：

(1)将每一个像素点的三个通道的lbp值转换成二进制序列；

(2)将每一个像素点的三个通道中对应位置的二进制序列按位求极值；

(3)将每一个像素点的三个通道中对应位置的二进制序列按位求和；

(4)通过映射函数，根据上述每一个像素点融合后的序列分别生成极值模式的输出序列和求和模式的输出序列；

(5)将上述输出序列转换成相应的lbp特征；

(6)计算lbp特征对应的直方图特征并对其进行归一化；

(7)进一步地，对于由彩色人脸图像计算得到的直方图特征，分别计算两种模式下对应的特征均值；

(8)将两种模式的直方图特征均值与由红外人脸图像计算得到的直方图特征进行拼接，组成用于检测的特征向量；

(9)将上述特征向量输入至深度置信网络dbn，使用交叉熵作为网络损失函数对网络进行训练；

(10)最后将待测用户的彩色人脸图像和红外人脸图像输入经过训练的dbn，预测待测用户是否为虚假人脸。

进一步的，可以将lbp算子的窗口大小以当前像素点为中心周围3x3的邻域扩展至以当前像素点为中心，任意半径的圆形邻域。

进一步的，可以通过经过预训练的卷积神经网络提取彩色人脸图像和红外人脸图像多个通道的深层特征图用于后续的多通道融合lbp特征。

进一步的，提取多通道深层特征图使用的卷积神经网络可使用alexnet，zfnet，vgg，resnet，googlenet或者senet任意一种结构。

进一步的，对于提取的深层特征图，可以将彩色人脸图像的深层特征和红外人脸图像的深层特征按通道进行串联拼接，再进后续的lbp特征计算。

进一步的，对于彩色人脸图像和深层人脸图像提取相同通道数的深层特征并与对应的通道相加融合，将融合后的深层特征用于后续的lbp特征计算。

技术效果

1)本发明是一种无交互式的活体检测方法，无需用户进行动作配合；

2)针对传统的lbp特征对于彩色图像纹理特征的表现力不足，本发明所述的多通道融合lbp特征具备对彩色图像纹理特征的表现力，同时考虑到了彩色图像上各像素点在各通道的联系，融合后的特征冗余少；

3)结合红外人脸图像的lbp特征，进一步提高对于不同纹理信息的区分能力。

4)对于大规模的数据样本，神经网络具有很强的鲁棒性和非线性映射能力。故相较于传统的svm分类器，神经网络对于类别区分的准确率更高。

附图说明

图1是传统的lbp特征计算方法的原理图。

图2lbp特征的图像。

图3是实施例中两种融合模式的融合示例图。

图4是本发明方法的流程图。

图5是dbn的结构图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明：

本发明提供一种基于神经网络及多通道融合lbp特征的活体检测方法。

图1是传统的lbp特征计算方法的原理图。计算过程如下：

lbp算子定义为在灰度图像上每一个3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于或等于中心像素值，则该像素点的位置被映射为1，反之为0。如图所示，3*3邻域内的8个点经比较可产生8位二进制数，将8位二进制数从左上角点开始按顺时针方向排序即为窗口中心像素点lbp二进制序列，其对应的十进制数即是窗口中心像素点的lbp值。计算图像中所有的像素点lbp值即可得到对应的lbp特征，由图2可知图像的lbp特征仍然是一幅“图像”。

本发明提出的多通道融合lbp特征方法，首先通过传统的lbp特征计算方法分别对彩色图像的三个通道计算对应的lbp特征，随后通过两种模式，将三个通道的lbp特征进行融合，生成全新的lbp特征。两种的融合模式如下：

1)极值模式

将原图中每个像素点在三个通道上的lpb值转换成三组二进制序列，并按位取极值。公式如下：

2)求和模式

将上述二进制序列按位求和。公式如下：

上式中，和分别表示极值映射函数及求和映射函数。max(x1,x2,…,xn)是极大值函数，用于求解x1,x2,…,xn中的最大值。

表示在通道c上以像素点(x,y)为中心的邻域内第n个像素点的映射值，

进一步地，将融合后的序列中每一位的值通过下列映射函数重新映射至而二值空间，

和分别表示极值模式和求和模式的映射函数。其中tmax和tsum是每一个像素点的映射值在极值模式和求和模式下融合的结果。图3是两种融合模式的融合示例图，由图可知在极值模式下，的取值范围为[0,1]；在求和模式下，在映射过程中，指定tmax∈{0,1}和tsum∈{0,1,2,3}，对于彩色图像中任一像素点的三个通道的lbp值，生成2个极值模式输出及4个求和模式输出。进一步地，一张彩色人脸图像通过上述方法可以生成6个lbp特征：lbp1^max,lbp1^sum,

图4是本发明方法的流程图。具体步骤如下：

1)收集用于训练dbn的彩色人脸图像和红外人脸图像。

2)使用最近邻插值将所有的人脸图像尺寸缩放至256x256。

3)将彩色人脸图像从rgb颜色空间转换至hsv颜色空间。

4)计算红外人脸图像的lbp特征。

5)分别计算彩色人脸图像在h、s、v三个颜色通道上的lbp特征。计算公式如下：

其中，和分别表示通道c上以像素点(x,y)为中心的邻域内第n个像素点的映射值和像素值，fc(x,y)表示通道c上像素点(x,y)的像素值。

6)对上述三个通道的lbp特征通过极值和求和两种模式进行融合。

7)进一步地，对融合后的lbp特征结合之前得到的红外人脸图像的lbp特征，计算每一个lbp特征对应的直方图并根据图像尺寸进行归一化，计算公式如下：

其中，w和h分别表示人脸图像的宽和高，表示融合模式m得到的第n个lbp特征在(x,y)位置的lbp值；v是像素点的值，取值范围为[0,255]；表示融合模式m得到的第n个lbp特征中所含像素值v的数量；i(x,y)是指示函数，具体表达式如下：

8)最后将归一化后的直方图根据相应的融合模式取均值并进行串联拼接，作为用于训练分类器的特征向量。特征向量的表达式如下：

其中h^ir表示红外人脸图像的直方图。

9)使用dbm作为分类器预测人脸真假，对采集的所有人脸图像通过上述方法获取特征向量输入到dbm，根据dbm的预测结果和人脸图像的标签信息计算对应的交叉熵作为损失函数对dbm进行训练。dbn的结构见图5。

10)根据待测人脸的彩色图像和红外图像计算特征向量并输入经过训练dbn判断待测人脸的真假。

可替代方案

作为可选的实施方法，可以将lbp算子的窗口大小以当前像素点为中心周围3x3的邻域扩展至以当前像素点为中心，任意半径的圆形邻域。

作为可选的实施方法，可以通过经过预训练的卷积神经网络提取彩色人脸图像和红外人脸图像多个通道的深层特征图用于后续的多通道融合lbp特征。

结合上述可选的实施方法，提取多通道深层特征图使用的卷积神经网络可使用alexnet，zfnet，vgg，resnet，googlenet或者senet任意一种结构。

结合上述可选的实施方法，对于提取的深层特征图，可以将彩色人脸图像的深层特征和红外人脸图像的深层特征按通道进行串联拼接，再进后续的lbp特征计算。

结合上述可选的实施方法，对于彩色人脸图像和深层人脸图像提取相同通道数的深层特征并与对应的通道相加融合，将融合后的深层特征用于后续的lbp特征计算。