一种基于Fisher判别的稀疏表示的人脸识别方法
【专利摘要】本发明公开了一种基于Fisher判别的稀疏表示的人脸识别方法，其可以大大提高识别率。这种基于Fisher判别的稀疏表示的人脸识别方法，包括步骤：(1)通过l2,1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型；(2)利用Fisher判别的监督学习方法来训练稀疏表示模型；(3)计算图像在字典上的稀疏表示；(4)根据残差最小原则来进行人脸识别。
【专利说明】
-种基于Fisher判别的稀疏表示的人脸识别方法
技术领域
[0001] 本发明属于图像处理及模式识别的技术领域，具体地设及一种基于Fisher判别的 稀疏表示的人脸识别方法。
【背景技术】
[0002] 人脸识别一直是模式识别、人工智能等领域的研究热点。在过去的多年里，研究专 家提出了很多种人脸识别的方法，但是很多方法，在实际应用中受到了一定的条件约束限 审IJ，如果人脸图像带有遮挡及复杂光照变化带来的噪声情况下，很多人脸识别方法的识别 率就下降了。所W出现了基于稀疏表示的人脸识别方法，去除人脸上的噪声。而基于稀疏表 示方法去除噪声的前提条件是，噪声满足稀疏性。现实中噪声是随机分布的，并不一定能够 满足稀疏性，如果人为的把它定义成一种具体形式的模型是不正确的。所W提出一种基于 稀疏表示的鲁棒性人脸识别方法是必要的。
[0003] 人脸图像在现实环境中经常带遮挡，研究者们为了克服运些缺点，将研究方向主 要集中在人脸的特征提取和分类性能提高方面。传统的人脸带有噪声的识别方法主要是基 于像素的噪声区域分析方法，例如墨镜、口罩等。但是，直接对像素计算分析需要很大的计 算量，算法实时性差。在此基础上，研究出了基于块分析的方法，将人脸图像分割成k个区 域。典型的方法有局部非负矩阵分解方法、独立主分量分析、小波分析和LBP方法。运些方法 在没有遮挡区域的人脸图像上效果很好，但是在带有遮挡区域的图像上，识别效果不理想。
[0004] 由于稀疏编码机制在人机视觉系统中的应用，尤其是基于1范数的稀疏表示分类 方法成功的应用于机器视觉和模式识别应用中。用于人脸识别的结果表明该方法用于处理 带有噪声的人脸图像效果很好，但该方法需要对齐训练样本用于识别。进一步扩展了 SRC方 法，解决了非对齐样本的问题，处理光照变化下人脸识别。有人提出了基于SRC处理没有对 齐的人脸和脸上有异常值outlier问题的改进方法。上述运些识别方法都要求在训练阶段 是无噪声图像，而现实环境往往不能满足条件。有人将迹范数引入到字典学习过程中，自适 应的表示相关性和稀疏性的平衡关系。适用于训练样本相关性强，也适用于训练样本不相 关两种情况，而没有考虑到图像的遮挡噪声因素。有人提出用结构稀疏表示的方法来构建 人脸识别模型。为了处理遮挡噪声问题，SRC引入了一个假设，如果用一个单位矩阵作为噪 声的字典，那么人脸图像上的噪声部分就可W在单位矩阵上进行表示。实验表明，SRC可W 处理人脸图像上面积较小的噪声，对于连续的遮挡块仍然不能很好的进行识别。有人提出 用样本数据训练噪声字典来代替单位矩阵，在处理人脸图像上连续遮挡块问题上有所提 高，但是在此方法中，遮挡字典的学习与样本的相关性很大，如果样本相关性特别强，那么 遮挡字典的噪声表示能力就会变弱，会降低识别率。基于上述情况，需要合理利用目标表示 和分类的密切关系。
[0005] 根据上述问题遇到的情况，我们希望能学习一个既能够鲁棒识别人脸的遮挡噪 声，又能很好表示测试图像的字典。在传统的字典学习模型中，利用1范数来约束目标函数 中的稀疏系数，Frobenius范数约束重构残差。1范数适用于强稀疏度约束，如果字典的原子 间相关性更强，那么1范数就会失效，而核范数则不需要强稀疏性的假设要求。Edouad Grave已经验证得出，当变量间相关性强时，核范数的性能接近于2范数，当变量间相关性弱 稀疏性更强时，核范数的性能更接近于1范数。核范数对字典原子相关性强弱的自适应性更 强，因此，我们提出用核范数替代1范数来约束稀疏系数控制稀疏度。有人提出了基于 Fisher的低秩矩阵恢复的算法。一张原始人脸图像可W分解为一个低秩矩阵和一个稀疏矩 阵的形式，利用核范数构建字典学习模型。
[0006] 利用化obenius范数约束重构误差，可W处理人脸图像上异常值outlier的问题。 用于稀疏表示的训练字典可W表示人脸图像，但也将人脸上的噪声一同表示出来，不利于 分类。而Ui范数对outlier噪声鲁棒，基于Ui范数约束而学习的字典能够表示无噪声人 脸，忽略掉噪声部分。
[0007] 现有人脸识别技术W基于稀疏表示理论为最流行，基于稀疏表示理论的人脸识别 方法，为待识别图像进行分类时，用过完备字典中的原子来表示待测图像，若待识别图像中 有噪声或遮挡，那么噪声或被遮挡区域也被部分表示了出来，错误得到的表示系数将会降 低用于分类的识别率。
【发明内容】
[0008] 本发明的技术解决问题是：克服现有技术的不足，提供一种基于Fisher判别的稀 疏表不的人脸识别方法，其可W大大提局识别率。
[0009] 本发明的技术解决方案是：运种基于Fisher判别的稀疏表示的人脸识别方法，包 括W下步骤：
[0010] (1)通过12,1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型；
[0011] (2)利用Fisher判别的监督学习方法来训练稀疏表示模型；
[0012] (3)计算图像在字典上的稀疏表示；
[0013] (4)根据残差最小原则来进行人脸识别。
[0014] 本发明利用12,1范数有针对性的处理奇异点outlier或者连续遮挡块运样的非高 斯噪声，通过训练的字典，鲁棒性的表示测试人脸图像，从而进行分类，可W大大提高识别 率。
【具体实施方式】
[0015] 运种基于Fisher判别的稀疏表示的人脸识别方法，包括W下步骤：
[0016] (1)通过12,1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型；
[0017] (2)利用Fisher判别的监督学习方法来训练稀疏表示模型；
[0018] (3)计算图像在字典上的稀疏表示；
[0019] (4)根据残差最小原则来进行人脸识别。
[0020] 本发明利用12,1范数有针对性的处理奇异点outlier或者连续遮挡块运样的非高 斯噪声，通过训练的字典，鲁棒性的表示测试人脸图像，从而进行分类，可W大大提高识别 率。
[0021 ]优选地，步骤(1)中的稀疏表示模型为公式(13):
[0022]
(1 巧
[0023] 其中
令是Yi在子 字典化上的表示系数，Sw(A)表示类内距离，Sb(A)表示类间距离，E为重构误差。
[0024] 优选地，步骤(1)中的公式(13)转换为公式(19):
[0025]
[0026] 通过优化E，A，Z和D迭代求解公式（19)其中，Λι，Λ2是拉格朗日乘子矩阵，μ是一个 正则项。
[0027] 优选地，步骤(2)中在训练样本中加入标签信息，通过增大类间间距和减小类内间 距来约束字典学习模型，从而提高字典的判别能力。
[0028] W下对本发明进行更详细的说明。
[0029] 为了有针对性的处理人脸图像上的遮挡或者奇异点运样的非高斯噪声，有效利用 稀疏表示理论和阔值分割迭代去噪的方法，提出一种基于Fisher判别的稀疏表示人脸识别 算法（Fisher discrimination-based I2'广norm sparse representation，FDLSR) cFDLSR 通过l2,i范数约束残差项、核范数约束字典稀疏系数构建模型，利用Fisher判别的监督学习 方法来训练稀疏表示模型，计算图像在字典上的稀疏表示，根据残差最小原则来进行人脸 识别。该方法将12,1范数与核范数结合起来，有效去除人脸图像上的噪声，从而进行分类识 别。
[0030] 1基于稀疏表示分类理论(SRC)
[0031] 如果将图像信号看作一维向量，有一个冗余字典，那么图像信号在冗余字典下的 低维投影就是稀疏表示，投影系数即为稀疏表示系数。给定一类足够的训练样本， D,-二战,…，屯,]E W"'"'，任何一个属于运一类的待识别图像y都可W表示为： V =如 + 屯2 ^ ?"屯4 *兩,巾].，其中y ε IR?，运里 xi, j E IR,j = l,2,…，rii 是稀疏系数。 如果定义了有Κ类训练样本，那么A表示为：
[00 创
（1)
[0033] 运时，待识别图像y就可W用训练样本构成的字典表示为：
[0034] y = Dx (2)
[003引运里，二:化化…、冲 € 盛。是稀疏系数向量。当m<n时，y = Dx是 一个多解方程，给定不同的约束，不确定性方程组的解也会不同。基于稀疏表示的人脸识别 模型正是从解的稀疏性来给不确定性方程组的一种约束，使得方程有唯一解。而对于人脸 图像来说，信号的稀疏表示即是从完备字典里寻求最少原子的线性组合来表示人脸信号， 可w表示为：
[0036]
(3)
[0037] 当图像中渗入了高斯噪声时，图像信号表示为：
[003 引 y 二 Dx+e (4)
[0039] 稀疏表示模型则变为：
[0040]
(5)
[0041] 在运个模型中有两个变量，分别是D和X。解决运个模型的方法，利用人脸数图像作 为原子直接构建过完备字典，然后采用〇MP((lrthogonal Matching化rsuit)求解稀疏系 数，最后计算残差，利用残差最小为待识别人脸分类。
[0042] 2本发明基于Fisher判别的稀疏表示鲁棒性人脸识别算法
[0043] 虽然图像中很多噪声满足高斯条件，但是也有很多非高斯噪声，例如：无规则遮 挡、边框等，当进行稀疏表示的时候，运些非高斯噪声也被表示了出来，影响了对结果的判 定效果，算法的鲁棒性不是很理想。那么在上一苄基于稀疏表示去除噪声理论的基础上，如 果能够利用稀疏表示原理又能有效去除高斯和非高斯噪声，就可W提高稀疏表示去除噪声 理论进行人脸识别的鲁棒性。本文采用基于Fisher判别约束，将12,1范数与核范数结合的方 法，既能处理字典原子间相关性强的情况，又能处理稀疏性强的情况，是一种鲁棒的人脸识 别方法。为了后续优化部分表述明确，先来给出关于几种范数的定义，其中Q=(qi,j)mXn表示 mXn的实数矩阵，qieRn(i = l，2, . . .，m)和qjer(j = l，2, . . .，n)分别是Q的第ith行和第jth 列。如果定义ΠΗ是Q,i = l,2,3,. . . ,ρ的奇异值，那么核范数、Frobenius范数和l2,i范数的定 义如下：
[0047]其中II · I I*表示矩阵的核范数，矩阵的奇异值之和；I I · I If表示矩阵的 Frobenius,矩阵所有值的平方和的平方根；II Ql ki表示矩阵的12,1范数，按照矩阵列向量 计算的2范数之和。
[004引给定训练集Υ=化，Y2, . . . .，Yc]eRdxw，Yi是第ith类的训练样本，d是特征维数，C是 样本的类个数，N是所有训练样本的个数。假设A是训练样本Y在字典D上的表示系数矩阵，那 么我们可W把表示为Y = DA+E，E表示稀疏噪声。在本文中提出一个字典学习算法来处理连 续遮挡噪声，在算法中要求字典能够有足够的分辨和重构能力。第ith类的样本Yi有很多相 关的表示方法，在运里样本矩阵K =町韦2,·.…可W通过一个低秩矩阵表示出来。基于 稀疏表示理论，希望寻找到一个低秩的稀疏表示矩阵Ai来线性表示出第i类的样本，实际 上，低秩重构对处理连续遮挡噪声是很有效的。给出了低秩矩阵相关的优化解法，所W本文 利用核范数地址表示来约束稀疏系数。
[0049]人脸图像上的重构噪声用El来表示，原始图像与重构图像的差异即为重构误差。 传统的SRC算法，1范数约束重构误差可W去除掉异常值，但是它不能排除掉连续遮挡块的 噪声，即忽略了信号的相关性信息。而Frobenius范数则更侧重于信号的相关性信息，而忽 略了稀疏性。结合两者的特性，用l2,l范数特性来约束重构误差。当信号足够稀疏时，l2,l范 数能表现出1范数的稀疏特性;当信号相关性强时，12,1范数能表现出Frobenius范数的相关 特性。本文设计模型目的是去除人脸图像上的噪声，当噪声稀疏，利用模型12,1范数基于1范 数的特性，可W有效去除稀疏噪声；当噪声是非稀疏时，即连续噪声情况，利用模型12,1范数 基于Frobenius范数的特性，有效去除非稀疏噪声。基于12,1范数约束重构误差的模型，鲁棒 性的处理了人脸图像上的噪声。W其中一类的子字典化为例，字典学习模型表示如下：
[0050]
(9)
[0051] 模型(9)的信号重构能力很好，但是还不能很好的用于分类。当样本标签已知时， 我们将它应用到模型约束中用来分类，使模型能更好的用于后续的分类工作。基于运一点， 在模型(9)中增加 F(A)约束项，表示如下：
[00对
（1巧
[0053] 其中F(A)是Fisher判别约束项，表示如下式（11)，最大化类间误差同时最小化类 内误差，来提高分辨能力。
[0054]
(11)
[005引 ms和m分别是矩阵As和A的均值向量，由于F(A)是一个非凸函数，故增加一项μΡ呆 证F(A)的凸函数特性，下式中η为参数。
[0056]
(1巧
[0057] 用Α=[Αι，Α2, . . .，Ac]表示稀疏矩阵，D=[Di，D2, . . .，Dc]表示学习得到的字典。由 于化是与第ith类相关的，那么我们期望Ai在Di有很好的表示，而在町上的表示很弱，所W我 们增加约束项R(A)，表示为0/4^ ^。基于上面的描述，得出本文的稀疏表示模型：
[005引
（13)
[0化9] 其牛
，令是Yi在子 字典化上的表示系数。模型（13)即为本文提出算法模型FDLSR。
[0060] 3算法的优化
[0061 ] 脚LSR目标函数由两部分构成：12,1范数与核范数联合部分||ΑΜ*+λι| |E| ki+AsR (A)和Fisher判别项部分λ2Ρ(Α);第一部分是数据矩阵Υ的低秩分解，λ2Ρ(Α)是基于Fisher判 别的约束，通过参数λ2来均衡低秩分解和判别约束两部分的权重。如果，那么FDLSR模型就 是经典的低秩模型。
[0062] 低秩模型通过ADMM来求解，ADMM用来解决如下问题：
[0063] minf(巫）s.t.h(巫）=0. (14)
[0064] 那么模型（14)的ADMM函数可W定义为：
[00化]
(15)
[0066] Λ运里是拉格朗日乘子矩阵，μ是一个正则项。通过算法1来解决式子(15)的问题：
[0067] 算法1: ADMM的生成算法
[0071] Rl，R2的定义如下：令Ei = [ 1 ]nXn为一个全1的矩阵，而Ri的定义为Ri= Inxn-diag 化i)/n，i = [l，2,. . .，c]，R2=l/ndiag化i)-l/nclNXN);根据变量替换原理，式子（13)转化为 式子(17)
[0077] 通过优化E，A，Z和D迭代求解式子(19)。
[007引 3.1更新Z
[0079] 基于式子（19)，固定A，E和D，更新Z:
[0080]
[0081] Q的定义为对角块位置为0元素，其他位置为全1元素的选择性矩阵，通过矩阵Q来 约束其他类别的稀疏系数最小，从而提高字典的分类能力）。按照矩阵的列向量来求解公式 (20)，如下求解：
[0082]
[0083] 其中P是矩阵Z的列数，运是一个关于的线性函数，通过求导和求导数最小得到优 化解(22):
[0084]
[0085] 3.2更新E
[00化]基于式子（19)，固定A，M和D，更新E:
[0090]
[0091] 式子(23)可W通过Lemma方法来求解：
[0092] Lemma Q是给定的一个矩阵
[0093]
(24)
[0094] 式子(24)的优化解为r，则优化解个列向量为：
[0095]
(25)
[0096] 3.3 更新 A
[0097] 基于式子(19)，固定M，E和D，更新A:
[0104]所W，式子(27)的解为：
[010 引 Ak" = PSe[S]QT
[0106] 运里 PSQT是M(Ak)的 SVD 分解。
[0107] 3.4更新0
[0108] 基于式子(19)，固定M，E和A，更新D，其中t是矩阵D的大小：
[0109] Dk" = k-SVD(t，Ak) (29)
[0110] 通过上述四个步骤，迭代更新每个变量，方法整体算法如下：
[0111] 算法2抑LSR算法优化
[0112]
[0113] 3.5基于稀疏表示的分类
[0114] 基于12,1范数的Fisher判别表示模型，利用残差最小原则来进行人脸识别，具体如 算法2所示。首先，单位规范化字典的列向量。然后通过ADMM得到优化系数《，用λ来权衡1范 数和2范数的比重。其中的非零部分将会集中在同一类上，最后计算每个类别的残差，利用 残差最小原理进行分类。具体的识别分类算法如下：
[0115] 算法3:基于稀疏表示的分类
[0116] 1:Input:the trained diction曰ry matrices D 曰nd the test image y
[0117] 2:Normalize each column of D to have unit 12-norm
[0118] 3: Implement y over D by solving
[0119]
[0120]
[0121] where.《is the coding coefficient vector associated with Ds
[0122] 5:Predict the identity of y by indentity(y)=argmin(rs)
[0123] 6:Output:the class of the test image y
[0124] 为了验证提出的FDLSR算法的有效性，本文采用了Extended Yale B化tabase和 AR化化base人脸数据库进行了实验测试。
[0125] 为了证明核范数对识别模型的优点，基于稀疏表示方法，设计了模型（30)化SR方 法来证实用核范数代替1范数的优点。同时，为了证实Fisher判别项的作用，也设计了模型 (31)RLSR 方法。
[012引除了上述的SRC，FLSR和化SR方法，也考虑了 NN，抑化，WSRC，ASRC方法做对比。
[01巧]1在Extended化le B化化base数据库上的实验
[0130] Extended化le B化tabase数据库是在不同光照条件下，38个人的2414张正面人 脸图片构成，每张图片大小为192*168。
[0131] 实验中将每个人的64张图片分为两部分，随机抽取32张图片用于训练，剩下的图 片用于测试。由于本文提出的方法主要针对带有非高斯噪声的人脸识别，为了证明本文的 FDLSRC算法的鲁棒性，设计下面2个实验；
[0132] (1)不同程度光照遮挡下的识别测试
[0133] 在运个实验中，为测试图像在不同程度光照遮挡下的识别，设计了如下实验。根据 不同数量的训练样本进行测试，在順、SRC、抑DL、WSRC、ASRC、FLSR、化SR和抑LSR各方法在无 光照变化下的识别结果。在表2中所示順、SRC、抑01^、￥5亂、45亂^1^51?、化5巧日抑1^51?各方法 在一般光照变化下的识别结果。在表3中所示順、SRC、抑化、胖5亂、45亂少1^51?、化51?和抑1^51? 各方法在严重光照变化下的识别结果。在表4中所示NN、SRC、F孤L、WSRC、ASRC、化SR、化SR和 FDLSR各方法在相同数量训练样本时，不同光照变化下的识别结果。
[0134]
[0135] 表1没有光照变化时不同方法的识别率
[0141] 表4不同光照噪声时，不同方法的识别率
[0142] 通过实验结果，可W得出FDLSR方法比其他算法都好，尤其是在严重光照遮挡情况 下。随着训练样本数量的减少，FDLSR的优势就更加明显。
[0143] (2)随机块遮挡噪声下的识别测试
[0144] 当人脸图像有光照变化遮挡时，抑LSR方法很有效。那么对于连续随机块遮挡时， 抑LSR算法的识别率如何?为此，本文设计如下测试:仍然在Extended Yale B化tabase数 据库中实验，选择一个与测试图像不相关的遮挡块，遮挡块的大小分别为测试样本大小的 10%、20%、30%和40%，用遮挡块中的像素值代替测试图像中相应的像素值，即为测试图 像加入测试图像的10 %到40 %大小的遮挡块噪声。
[0145] 为了避免人脸中特殊特征对识别的影响，遮挡块选择随机加入到测试图像中，分 别测试不同比例遮挡块下的识别率，识别结果如表5所示。
[0146]
[0147] 表5不同遮挡块噪声，各方法的识别率
[0148] 从实验结果中可W得出，对于连续遮挡块噪声情况下的人脸识别，抑LSR方法优于 其他各方法。当遮挡块面积较小时，FDLSR与化SR和SRC方法识别率相似。但是当遮挡块面积 较大时，提出的方法FDLSR较其他方法表现的更鲁棒。
[0149] 2在AR数据库上的实验
[0150] AR数据库包括126个人的4000张正面图像。其中每个人的26张图像被分为两组，每 组有13张图像。第1列是自然表情图片，第2列到第13列是不同表情下的人脸图片和带墨镜、 口罩的图片。在实验中，设计从第一部分中挑选7张用来训练，从第二部分中挑选7张图片用 来测试。实验结果如表6所示。
[0151]
[0152] 表6. AR数据库上的识别率
[0153] 从表6中，可W得出脚LSR方法比其他方法的识别率都高。当测试人脸图像带有墨 镜和口罩遮挡时，SRC、抑化、順等方法识别率都有所下降。但是，在实际情况中，会有很多测 试人脸带有墨镜和口罩，所W本文的方法更适用于现实情况。
[0154] 屯、实施例
[0K5]利用FDLSR进行字典学习，算法表示如下：
[0156] 1.输入样本库中的样本矩阵Y和参数λι,λ2;
[0157] 2.初始化：A° = E° = Z° = D° = 0,佔 >0,佔 >〇，ymax=l〇6，rho = l.l，Λι= Λ2 = 0，ε = l〇-8，k = 0
[015引 3.循环：
[0159] 更新 Zk，Ek，Ak，Dk，i3，y
[0160] 4.满足循环结束条件，输出D
[0161] W上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依 据本发明的技术实质对W上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明 技术方案的保护范围。
【主权项】
1. 一种基于Fisher判别的稀疏表示的人脸识别方法，其特征在于:包括以下步骤： (1) 通过12>1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型； (2) 利用Fisher判别的监督学习方法来训练稀疏表示模型； (3) 计算图像在字典上的稀疏表示； (4) 根据残差最小原则来进行人脸识别。2. 根据权利要求1所述的基于Fisher判别的稀疏表示的人脸识别方法，其特征在于:步 骤(1)中的稀疏表示模型为公式(13): argminl^l + {A) + ?^R{A) Λ,Ε .(13) si, Y - DA -I- E 其中尸⑷=化(~(邱-"，(&(卻+斯竭=，』/是丫浓子字典 ?=1 ·?? F Dj上的表示系数，Sw(A)表示类内距离，Sb(A)表示类间距离，E为重构误差。3. 根据权利要求2所述的基于Fisher判别的稀疏表示的人脸识别方法，其特征在于：弓丨 入拉格朗日乘子，步骤(1)中的公式(13)转换为公式(19):通过优化E，A，Z和D迭代求解公式(19)其中，拉格朗日乘子矩阵，μ是一个正则 项。4. 根据权利要求3所述的基于Fisher判别的稀疏表示的人脸识别方法，其特征在于:步 骤(2)中在训练样本中加入标签信息，通过增大类间间距和减小类内间距来约束字典学习 模型，从而提高字典的判别能力。
【文档编号】G06K9/62GK106066994SQ201610349232
【公开日】2016年11月2日
【申请日】2016年5月24日 公开号201610349232.7, CN 106066994 A, CN 106066994A, CN 201610349232, CN-A-106066994, CN106066994 A, CN106066994A, CN201610349232, CN201610349232.7
【发明人】尹宝才, 赵璐, 孙艳丰, 胡永利
【申请人】北京工业大学