一种视频人脸活体检测方法
【技术领域】
[0001] 本发明属于图像处理领域，涉及人脸识别中的活体检测技术，尤其是涉及利用人 脸动态信息和微纹理特征抵抗人脸假冒视频攻击的方法。
【背景技术】
[0002] 近年来，人脸识别技术取得了突飞猛进的发展，在应对姿态、光照和表情变化时有 了更高的稳定性，这也促使越来越多的场合使用人脸识别技术进行身份认证。
[0003] 然而目前现有的人脸识别系统都还缺乏可靠的安全性，源于它极易受到各种形式 的非法用户的虚假攻击，最常见的如人脸照片攻击、人脸视频攻击和三维人脸模型攻击。因 此，研究可靠的人脸活体检测技术与人脸识别系统相结合成为实际应用中迫切需要解决的 问题。
[0004] 现阶段，国内外关于活体人脸的检测技术主要有：微纹理分析、三维人脸重建、基 于运动信息、基于非可见光的多光谱成像、基于多特征融合、人机交互式、热红成像等。
[0005] 微纹理分析的方法，主要依据真假人脸在图像纹理上的差异。Li等人[1]提出利 用图像的二维傅里叶频谱来区分真假人脸，这种方法易受光照条件、照片扭曲等影响。Tan 等人[2]首次把视角扩展到空间，通过提取图像的空域特征并改进分类器以提高活体检测的 性能，创立了第一个人脸活体检测标准数据库NUAA。在2011年的国际生物特征联合会议 上，Jukka等人[3]提取人脸的多规模LBP (局部二元模式）特征，分别是
最后拼接为一个特征向量，在NUAA数据库上取得了良好的性能。受到Jukka等人的启发， Schwartz[4]融合了 LBP、DoG等多种特征以最大化地提取出人脸的纹理信息，这在一定程度 上提高了检测的性能。文献[5]创建了另一个新的标准数据库REPLAY-ATTACK，为后续的研 究者提供了新的更全面的实验对象，该方法同样采用的是LBP特征。文献 [6]通过结合时间 和空间的信息，提取LBP-TOP特征，并在REPLAY-ATTACK数据库上进行验证检测，取得了良 好的性能。但是所有的基于微纹理的方法都只能抵抗照片攻击。
[0006] 基于运动信息的方法，人脸的运动信息主要包括唇部运动、眨眼等。Gang Pan等 人[7]提出一种基于Adaboost算法的眼睛开合度（Eye Closity)计算方法，将不同的眨眼动 作嵌入到建立的条件随机场（Conditional Random Field，CRF)人眼模型当中，获取了较高 的眨眼检测率。受此启发，Jiangwei Li在文献[8]中通过分析眨眼时的人眼区域在不同尺 度、不同方向的Gabor响应波来判断活体。文中利用40个Gabor小波（5个尺度、8个方向） 对人眼图片进行分解，发现照片人眼和活体人眼的KGRW(key Gabor response waves)有明 显差异，因此通过观察KGRW可以推断视频中有无眨眼信号。K. Kollreider等人[9]将人脸 检测和光流估计结合到一起来进行活体检测，因为真实的人脸是三维结构，人脸突出的部 位如鼻子相对于摄像头在平面上所产生的二维运动的幅度要大于人脸的边界区域如耳朵。 Kollreider等人[1°]利用唇部的运动来进行活体检测，通过一个精准的人脸和唇部检测器 精确地定位嘴唇，分析用户在读取一段文字时唇部的运动模式是否和应有的模式一致。
[0007] 但上述的这些方法在应对攻击者需要将合法用户的人脸照片的眼睛和嘴巴位置 掏空，并将自己的相应部位隐藏照片其后以做出相应的动作，因而导致活体检测的性能会 大大降低。
【发明内容】
[0008] 针对上述的现有技术及存在的问题，本发明提出了一种视频人脸活体检测方法， 结合动态相关性模型和LBP (Local Binary Pattern)等价模式（Uniform Pattern)特征提 取，最后将特征向量送入支持向量机SVM(Support Vector Machine)分类器进行训练测试 的方案，解决了目前现存方法的检测不稳定、易受外界环境影响以及在抵抗视频攻击薄弱 的缺陷，在检测性能上比目前现存的方法要好。
[0009] 本发明提出了一种视频人脸活体检测方法，该方法包括以下步骤：
[0010] 步骤一，输入一个视频流；
[0011] 步骤二，截取所述视频流，得到N个视频帧图片；
[0012] 步骤三，对N个视频帧图片采用动态相关性模型算法建立N-I个动态模型：
[0013] 对于N个视频帧，产生一个面积大小为mnXN的数据矩阵F:
[0015] 设M是两个相邻帧之间的线性映射系数，且
[0016] F2=MF1 (2)
[0017] 则有：
[0018] F = [F1 MF1 …Mn 1F1]和[F2 F3 …Fn] = MEF1 F2 …Fn J ;
[0019] 步骤四，相位角模型选择，得到最终的单个动态降阶模型图片：
[0020] 公式（2)表示基于克雷洛夫子空间的视频帧的相互的关系，依据通过Arnoldi
[0021 ] 迭代算法使其正交化，得到：
[0022] MF产 F1A (3)
[0023] 其中，A是由前N-I个帧变换过程中产生的伴随矩阵，并且通过结合前N-I个帧逼 近第N帧；即：
[0026] 得到：
[0027] F产 F !A (5)
[0028] 从公式（4)到（5)，得到：
[0029] MF产 F 产 F1A (6)
[0030] 得到了接近于M的特征值的低维的系统矩阵A，通过计算矩阵A的复特征值的相 位角，选取相位角为零或者逼近于零的特征值所对应的模型为最终的单个动态降阶模型图 片；
[0031] 步骤五，对上述的动态降阶模型模型图片提取基于分割加权的LBP等价模式特征 直方图；
[0032] 首先将步骤四获得的动态降阶模型图片的人脸图像进行人脸检测和定位，按照人 脸器官分为左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域；随后，在每个区域中 的每个像素点计算LBP等价模式特征值；然后计算每个子区域的直方图并进行直方图归一 化处理；计算公式如下：
[0034] 其中的g。为邻域像素点的灰度值，g。为中心像素点的灰度值，P为邻域中像素点 的个数，R为邻域半径。
代表〇、1之间跳变次数小于等于2 ;然后对于每个区域的LBP特征进行不同的系数加权， 设左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域对应的Fisher系数分别为 Ry Rra，Rlf，Rn，Rrf，Rni, R。;将得到的每个区域的LBP等价模式特征值按照每个区域的R值进 行加权即为每个区域最终的特征值，然后拼接成一个特征向量，即为整幅人脸图像的LBP 等价模式纹理特征向量；
[0036] 步骤六，基于三种核函数的SVM分类，区分虚拟攻击和合法用户：
[0037] 将得到的人脸的图像的LBP等价模式纹理特征向量送入SVM分类器来训练和测 试，采用基于多项式核、径向基核和sigmoid核三种核函数的SVM分类器，然后根据特异性 和敏感度这两个指标判断基于不同的核函数下的SVM的性能，并选择性能最好的SVM对测 试样本进行判决并分析测试结果。
[0038] 与现有技术相比，本发明首次使用动态相关性模型对视频帧进行预处理，相较于 以前的方法，能精准地捕获到人脸的动态变化（如眨眼、唇部运动等动态信息），很好地弥 补了目前对于视频攻击的性能较好的活体检测方法的缺失。其次，本设计通过分析人脸不 同区域的纹理差异，提出加权人脸区域分割，重点突出了对活体检测性能大的人脸区域。最 后，本设计基于三种不同的核函数下通过性能指标的比较选择出性能最佳的SVM分类器。 从总体上来讲，本方法提出的算法，人脸活体检测性能优于其他现有的针对视频攻击的方 法，致力于较好地抵抗假冒的人脸视频攻击。
【附图说明】
[0039] 图1是本发明的整体流程图；
[0040] 图2是对人脸分割和提取的特征加权的流程图；
[0041] 图3是提取每个区域的LBP等价模式特征的流程图；
[0042] 图4是基于三种核函数的SVM分类器训练及测试的流程图。
【具体实施方式】
[0043] 下面结合附图和实施例对本发明的技术方案进行详细说明。
[0044] -、采用动态相关性模型选择一幅模型图片
[0045] 此模型应用于人脸活体检测中以获得人脸动态信息，它是一种基于先验知识从非 线性复杂流体中提取相关模型从而对复杂的流动行为进行降阶的一种数学方法，这些模型 又被称为相关流结构。
[0046] 首先对输入的N帧视频流采用动态相关性模型算法建立N-I个动态模型，具体步 骤如下：
[0047] 对于从一段视频中截取的N个视频帧，分别为F1, F2，…Fn，若每一帧转换为一个 mn X 1的列向量，则对于N个视频帧，将会产生一个面积大小为mn X N的数据矩阵F :
[0049] 其中，m、η表示每一帧图像的面积大小是mXn, N为视频帧个数。
[0050] 由于这N个视频帧是相关的，设M是两个相邻帧之间的线性映射，则会有如下关 系：
[0051] F2=MF1 (2)
[0052] 其中，Fp F2分别是是第一个和第二个视频帧。
[0053] 则有：
[0054] F = [F1 MF1 ... Mn 1F1]和[F2 F3 ... Fn] = M[F! F2 ... Fn J
[0055] 其中的M是未知的，它捕获到视频中的全部的可视的动态信息，因为M是mnXmn 阶，若直接计算M的特征值，计算代价太大。因此，可以采用基于克雷洛夫子空间的方法简 化计算量，由于其中的列是非正交的，故需要通过Arnoldi迭代算法使其正交化。
[0056] 公式⑵展现了基于克雷洛夫子空间的视频帧的相互的关系，依据Arnoldi迭代 算法得到：
[0057] MF产 F1A (3)
[0058] 其中，A是由前N-I个帧变换过程中产生的伴随矩阵。
[0059] 通过结合前N-I个帧可以逼近第N帧，同理第二帧也可如下得到：
[0062] 其中的c。，…cN i分别前后两个视频帧得相关系数。
[0063] 得到：
[0064] F产 F