一种人脸图像识别的双向鉴别特征提取方法
【专利摘要】本发明公开一种模式识别和人工智能领域中的人脸图像识别的双向鉴别特征提取方法，首先计算人脸图像矩阵列压缩时的类间散射矩阵和类内散射矩阵，再计算类内散射矩阵的逆矩阵和类间散射矩阵的乘积矩阵，取乘积矩阵前几个最大特征值所对应的特征向量形成最优投影矩阵，用最优矩阵对人脸图像矩阵进行列压缩；其次求出人脸图像矩阵行压缩时的类间散射矩阵、类内散射矩阵和总体散射矩阵，从而求出最优投影矩阵并用最优投影矩阵的转置矩阵对人脸图像矩阵行压缩；采用不同的人脸识别方法同时从人脸图像矩阵的列方向上提取线性鉴别信息和行方向上提取非相关鉴别信息，可以得到人脸图像互补的特征信息，提高人脸图像的识别率。
【专利说明】
一种人脸图像识别的双向鉴别特征提取方法
技术领域
[0001] 本发明涉及模式识别领域和人工智能领域，具体涉及一种人脸图像识别技术中的 特征信息提取方法，应用于公安刑侦、安全防盗等领域。
【背景技术】
[0002] 人脸识别在计算机模式识别研究领域非常活跃，在商业领域和安全领域得到应 用。从受控格式的照片(如护照、信用卡、驾驶执照)和面部照片的静态匹配到监控视频图像 的实时匹配。人脸识别技术主要有三个问题：图像分割、特征提取和识别。其中，提取人脸图 像的特征是完成人脸识别任务的关键。
[0003] 目前，提取人脸图像的特征大多采用三种方法，分别是：线性判别分析方法、两维 线性鉴别向量提取方法与两维非相关鉴别向量提取方法。其中，线性判别分析方法的基本 思想是作为最佳投影方向的向量能够使得Fisher准则函数达到极值，从而使得样本在该最 佳投影方向上投影后，达到最小的类内离散度和最大的类间离散度。但线性判别分析的处 理方法有很大的缺陷：将图像转换为高维向量，导致人脸识别需要很多的时间和存在小样 本问题。因此，之后采用具有更优性能的两维线性鉴别向量提取方法，二维线性鉴别分析方 法与线性判别分析方法的区别是:二维线性鉴别分析方法直接由人脸图像矩阵计算出类内 散射矩阵和类间散射矩阵，从而提高了特征提取的速度和效率。两维非相关鉴别向量提取 方法也是直接由人脸图像矩阵计算出类内散射矩阵，类间散射矩阵和总体散射矩阵，采用 迭代的计算方法，简化了求解步骤，节省了计算时间，具有高识别率的同时可以节省计算时 间和储存空间。
[0004] 当人脸图像样本较少时使用线性判别分析方法，计算得到的离散度矩阵并不可 靠，并且一般情况下，所求的类内离散度矩阵是奇异的。两维线性鉴别向量提取方法虽然解 决了小样本问题，但是当人脸图像不受外界光照、人脸表情变化等影响时，两维线性鉴别向 量提取方法的有效性还不如一般的人脸识别方法。两维线性鉴别向量提取方法主要是提取 人脸图像矩阵行方向上的鉴别信息，在这种情况下很容易忽视人脸图像矩阵列方向上的信 息，不能得到人脸的整体特征信息，造成识别时存在误判。
【发明内容】
[0005] 本发明目的是为解决上述现有人脸识别方法存在的问题，提出一种人脸图像识别 的双向鉴别特征提取方法，将线性鉴别向量提取方法与非相关鉴别向量提取方法相结合， 分别对人脸图像矩阵的列和行都进行压缩和提取鉴别信息，具有计算量小，复杂度低，识别 率高等有优点。
[0006] 本发明一种人脸图像识别的双向鉴别特征提取方法的技术方案是依序按以下步 骤：
[0007] (1)从人脸图像数据库中提取C类人脸图像，每幅人脸图像样本是mXn维矩阵图 像，mXn维人脸样本矩阵为A，C类中的第i类匕有叫个训练样本，l<i<C，计算出第i类训练 样本图像的均{!
和总的训练样本图像的均倡
幻为第j个mX η的人脸图像样本，1 < i < C，K j < N，N为训练样本总个数；
[0008] (2)计算出类内散射矩阵Sw、类间散射矩阵Sb、类内散射矩阵Sw的逆矩阵S&.与类间 散射矩阵Sb乘积矩阵的特征值ω以及ω对应的特征向量ξ:
[0009]
[0010]
[0011]
[0012] ⑶将特征值ω从大到小排列，取前f个特征值为{ωι，ω2......cof}，对应的特征 向量为Κι，Ι·2......If}，f<n，最大特征值ω χ所对应的特征向量ξχ即为投影矩阵U= {ξι, ξ2......If}的第一个列向量，利用投影矩阵U将人脸样本矩阵Α投影到投影空间，对人脸样 本矩阵A进行列压缩，得到m X f维矩阵Z=AU:
[0013] (4)计算出类内散射矩阵
、类间散射矩阵
总体散射矩阵Tw = Sw+SB、g个最优投影矢量中τι、 丁2、......Tk的前k个判别矢量以及mXg维最优投影矩阵?8=(ζι，ζ2,. . .，ζ8)τΛ彡g，g彡m;
[0014] (5)用最优投影矩阵08对人脸图像矩阵A进行行压缩，得到gXf维的图像矩阵
用最近邻分类器对图像矩阵f进行分类处理，计算出识别率。
[0015] 本发明的优点是：（1)本发明以线性判别分析方法、两维线性判别分析方法和两维 非相关判别分析方法为基础提出了一种新的人脸识别方法，采用不同的人脸识别方法同时 从人脸图像矩阵的列方向上提取线性鉴别信息和行方向上提取非相关鉴别信息，可以得到 人脸图像互补的特征信息，尽可能的保留人脸图像的主要鉴别信息，使人脸图像的鉴别信 息提取更加充分，从而提高人脸图像的识别率，增加了人脸识别的准确率。（2)本发明对人 脸图像同时进行列方向和行方向上的特征压缩，减少了特征提取的时间，使得人脸图像识 别时速度快，图像占用存储空间少，减少了资源占有量。（3)本发明直接对图像矩阵进行计 算，简单易行，实用性强。
【附图说明】
[0016] 以下结合附图和【具体实施方式】对本发明作进一步详细说明；
[0017] 图1为本发明一种人脸图像识别的双向鉴别特征提取方法的流程示意图。
【具体实施方式】
[0018] 参见图1，本发明首先计算线性鉴别向量提取方法进行人脸图像矩阵列压缩时的 类间散射矩阵和类内散射矩阵，再计算类内散射矩阵的逆矩阵和类间散射矩阵的乘积矩 阵，取乘积矩阵前几个最大特征值所对应的标准正交的特征向量形成最优投影矩阵，用最 优矩阵对人脸图像矩阵进行列压缩。其次，用非相关鉴别向量提取方法求出人脸图像矩阵 行压缩时的类间散射矩阵，类内散射矩阵和总体散射矩阵，从而求出最优投影矩阵并用最 优投影矩阵的转置矩阵对人脸图像矩阵行压缩，最后用最近邻分类器对结果进行分类处 理，实现人脸图像的准确识别。具体如下：
[0019] 从人脸图像数据库中提取C个人的脸部图像，图像数据共有C类，每人B幅图像，B幅 图像包含了人在不同姿态、不同光照、不同表情或面部饰物状态下的人脸状态，每幅人脸图 像样本是mXn维的矩阵图像，m表示行数，η表示列数。其中，C类中的第i类(^有出个训练样 本，K i ，m为第i类样本个数。N为训练样本总个数N=C X m 3 X η维人脸样本矩阵为A， 、为第j个mXn的人脸图像样本，即、表示第j个mXn的人脸图像样本，l<j<N。则可根据以 下公式计算出第i类训练样本图像的均值冗和总的训练样本图像的均值X:
[0020]
[0021]
[0022] 采用线性鉴别向量提取方法对人脸图像矩阵进行列压缩，再根据以下公式计算出 类内散射矩阵SW和类间散射矩阵S B:
[0023]
[0024] -1-· ^ 1=1
[0025] 根据类内散射矩阵Sw和类间散射矩阵Sb计算出类内散射矩阵Sw的逆矩阵.S:$与类 间散射矩阵S B乘积矩阵的特征值ω以及特征向量ξ;
[0026]
[0027] 其中，ω为#SB的特征值，ξ为特征值ω对应的特征向量。
[0028] 将特征值ω从大到小排列，取前f(f彡η)个特征值为{ωι，ω2......cof}，前f个特 征值{?^?2......?f}所对应的特征向量为{ξ:，ξ2......ξ?}，其中，最大特征值ω :所对 应的特征向量ξι即为投影矩阵U的第一个列向量，U= {ξι,ξ2......If}，由此求出了nXf维 投影矩阵U。
[0029] 然后利用投影矩阵U将人脸样本矩阵A投影到投影空间，直接对人脸样本矩阵A进 行列压缩，得到mXf维矩阵Z:
[0030] Z=AU，
[0031] 其中：Z是mXn维人脸样本图像样本矩阵A经投影后的mXf维矩阵， ξ2......ξ?}ο
[0032] 采用非相关鉴别向量提取方法进行左向压缩，计算出类内散射矩阵S'w，类间散射 矩阵S'B和总体散射矩阵T'W:
[0033]
[0034] 冬 .1'=1
[0035] r ^,= w+S^o
[0036] 计算g个最优投影矢量集τ^、·^、......Tk，其中g彡m，在最大化Fisher准则函数的 同时满足以下正交条件；
[0037]
[0038] 其中，q、τ」表示第i、j个最优投影矢量，T是矩阵转置。
[0039]统计不相关判别矢量集的第一个判别矢量仍取为Fisher最优判别矢量^，当g个 最优投影矢量集τι、T2、......Tk中的前k(k<g)个判别矢量求出之后，第k+1个判别矢量Tk+i 可由求解下列优化问题得到：
[0040] max[Jf (τ)]
[0041]
[0042] 此处的j为1到k之间的正整数，Jf(T)为定义的准则函数，Rn表示η维实数集。
[0043]最优判别矢量集具有统计不相关性，它的第k+Ι个最优投影矢量Tk+1是下列广义特 征方程中最大特征值对应的特征向量：
[0044]
[0045] 式中
I为产生的mX m维的单位矩阵，De&A，· · · Jk)T，奴为S'w 的最大特征值，的最 大特征值对应的特征向量。
[0046] 根据上式Dk=Gi，G2, . · .，ζι〇τ中求出的mXg维最优投影矩阵08=(ζι，ζ2, . . .，ζ8 )Τ，用最优投影矩阵Dg对人脸图像矩阵进行行压缩，得到gXf维的图像矩阵Ζ、
[0047]
[0048] 由此，实现同时从人脸图像矩阵的列方向上提取线性鉴别信息和行方向上提取非 相关鉴别信息，并对行列方向同时进行了压缩。最后，用最近邻分类器对图像矩阵f结果进 行分类处理，可计算出识别率。
[0049] 本发明利用了线性鉴别向量提取方法对A进行了列压缩，再利用非相关鉴别向量 提取方法进行了行压缩得到图像矩阵f。
[0050] 以下提供本发明的一个实施例：
[0051 ] 实施例
[0052] 本实施例使用0RL人脸数据库（http : //down · 61eda · com/down/Code/61EDA_ C1584.rar) WRL人脸数据库是由英国剑桥大学AT&T实验室创建，该数据库共包含了40个人 的脸部图像，每人10幅，每幅人脸图像样本是112X92的矩阵图像，即图像数据共有40类，C =40，第i类Ci有m个训练样本，m = 5，1彡i彡40，训练样本总个数N=C X m = 40 X 5 = 200 〇A 为112 X 92维人脸样本矩阵，Aj为第j个mXη的人脸图像样本，即Aj表示第j个112 X 92的人脸 图像样本，l<j<200。则可计算出：第i类训练样本图像的均僅
j和总的训练 样本图像的均值
[0053] 首先，计算线性鉴别向量提取方法进行人脸图像矩阵列压缩时的类内散射矩阵Sw 和类间散射矩阵SB，计算结果是，SW和SB均为92 X 92维矩阵，
[0056] 再计算类内散射矩阵SW的逆矩阵与类间散射矩阵SB乘积矩阵的特征值以及特征向
[0054]
[0055] 量
并求出投影矩阵U。
[0057] 取f = 10,取前10个特征值为{ ω1; ω2......ω 1Q}，对应特征向量排列为{ ， ξ2......ho}，最大特征值ω:所对应的特征向量ξ:即为投影矩阵U的第一个列向量，BP:
[0058] { ωι, ω2......ω10} = {7·432、6·123、2·538、1·620、1·563、1·184、1·133、0·957、 0.804^0.723},
[0059]
[0060] 利用投影矩阵U将人脸样本矩阵Α投影到投影空间，得到样本矩阵Α经投影后的112 X 10维矩阵Z，直接对图像矩阵进行列压缩：
[0061] Z=AU，
[0062] υ={ξι,ξ2......ξιο}为92 X 10维投影矩阵，Α为112 X 92的人脸样本矩阵。
[0063] 计算用非相关鉴别向量提取方法进行左向压缩时的类内散射矩阵 I间散射矩卩和总体散射
一 .：!=丄
矩阵1%=3/計3、，计算出的3'《^、和1'\均为112\112维矩阵：
[0064
[0065
[0066
[0067]计算g(g彡m)个最优投影矢量集TU2、......Tk，在最大化Fisher准则函数的同时 满足以下正交条件；
[0068]
[0069]其中，表示第i、j个最优投影矢量。
[0070]统计不相关判别矢量集的第一个判别矢量仍取为Fisher最优判别矢量^，当前k (k彡g)个判别矢量m.......~求出之后，第k+1个判别矢量ik+1，可由求解下列优化问题 得到：
[0071] max[Jf (τ)]
[0072] τ]?Ψτ = 0
[0073] TeRn
[0074] 其中j为1到k之间的正整数，Jf(T)为定义的准则函数，Rn表示n维实数集。
[0075]最优判别矢量集具有统计不相关性，它的第k+Ι个最优投影矢量Tk+1是下列广义特 征方程中最大特征值?对应的特征向量Tk+l。
[0076]
[0077] 式中：
[为产生的112 XI12维的 单位矩阵，Dk= (ζ!，ζ2，· · ·，ζι0Τ，?为S'w 的最大特征值，Tk+1为的最大特征值? 对应的特征向量。
[0078] 取g = 20 时，前 20个最大特征值取为：7.692、5.147、3.272、3.025、 2.183...........0.567,0.543,0.515〇
[0079] -
〇：
[0080] 用112X20维最优投影矩阵08=((1<2,...，ζ 8)τ对人脸图像矩阵进行行压缩：
[0081 ] Ζ/ = 1:)::(Αυ)，
[0082] 计算结果是:Ζ'为20 X 10 (g X f = 20 X 10)的图像矩阵，计算得到的识别率为91 %。
[0083] 下表1是本发明用线性鉴别向量提取方法进行列压缩，同时用非相关鉴别向量提 取方法进行行压缩时f和g取不同值时识别率大小的列表，其中f的取值分别为2、3、4、5、10、 30、50、70$的取值分别为4、5、10、20、30、50、70。
[0084] 表 1
[0085]
[0086] 由表1可知：随着行压缩时g的取值越来越大，识别率的总体趋势也是越来越大；而 随着列压缩时f的取值越来越大，识别率的总体趋势是首先达到一个最大值，然后逐渐减 小，在f = 5，g = 10时识别率达到最大值93 %。
【主权项】
1. 一种人脸图像识别的双向鉴别特征提取方法，其特征是依序按W下步骤： (1) 从人脸图像数据库中提取C类人脸图像，每幅人脸图像样本是mXn维矩阵图像，mX η维人脸样本矩阵为A，C类中的第i类Cl有m个训练样本，计算出第i类训练样本图 像的均总的训练样本图像的均值^为第j个mXn的人脸 图像样本，l《i《C，l《j《N，N为训练样本总个数； (2) 计算出类内散射矩阵Sw、类间散射矩阵Sb、类内散射矩阵Sw的逆矩阵S去与类间散射 矩阵Sb乘积矩阵的特征值ω及ω对应的特征向量ξ:(3) 将特征值ω从大到小排列，取前f个特征值为{ωι，《2......Wf}，对应的特征向量 为Κ?，ξ2......1:}^《11，最大特征值〇1所对应的特征向量写1即为投影矩阵1]={号1， ξ2......Cf}的第一个列向量，利用投影矩阵闲尋人脸样本矩阵A投影到投影空间，对人脸样 本矩阵A进行列压缩，得到m X f维矩阵Z=AU: (4 )计算出类内散射矩阵类间散射矩阵當体散射矩阵r w= S/ W+少B、g个最优投影矢量中τι、 Τ2.......~的前k个判别矢量W及mXg维最优投影矩阵Dg=(Ci点，...，Cg)T，k《g，g《m; (5)用最优投影矩阵Dg对人脸图像矩阵A进行行压缩，得到gXf维的图像矩阵,用最近邻分类器对图像矩阵Z/进行分类处理，计算出识别率。2. 根据权利要求1所述一种人脸图像识别的双向鉴别特征提取方法，其特征是：步骤 (4)中，所述计算g个最优投影矢量集τι、Τ2.......Tk中的前k个判别矢量的方法是在最大化 Fisher准则函数的同时满足正交条巧分别是第i、j个最 优投影矢量，T是矩阵转置。3. 根据权利要求2所述一种人脸图像识别的双向鉴别特征提取方法，其特征是：由max [Jf(T)L弓Τ；.Γ = 0，Ter求解出第k+1个判别矢量Tk+i，Jf(T)为准则函数，r是η维实数集。4. 根据权利要求3所述一种人脸图像识别的双向鉴别特征提取方法，其特征是:判别矢 量Tk + l是广义特征方程中最大特征值对应的特征向量，为产生的mXm维的单位矩阵，Dk = (ζι，ζ2，...，ζ〇τ，巧为均最大特征值。5.根据权利要求1所述一种人脸图像识别的双向鉴别特征提取方法，其特征是:f = 5，g 二 10。
【文档编号】G06K9/00GK105975965SQ201610567745
【公开日】2016年9月28日
【申请日】2016年7月18日
【发明人】武小红, 曹丹华, 贾红雯, 傅海军, 武斌
【申请人】江苏大学