一种基于核lda的并行特征融合人脸表情识别方法
【专利摘要】本发明涉及一种基于核LDA的并行特征融合人脸表情识别方法，通过将两组经过不同表达的特征向量采用复数的组合形式并行融合，构成复特征向量，并将核Fisher鉴别准则引入复空间，从而在复空间的基础上解决传统LDA只能分析线性问题的缺陷，同时对类内散度矩阵重定义，通过可调控的参数来解决小样本问题和特征矩阵不平衡问题。本发明的方法比传统并行特征融合方法和串行特征融合方法有不同程度上的改进，不仅解决了传统LDA在人脸表情识别等领域对非线性特征无法处理的问题，方法同时在一定程度上解决了小样本问题，在人脸表情特征库的数据库上的实验取得了较高的识别率。
【专利说明】
一种基于核LDA的并行特征融合人脸表情识别方法
技术领域
[0001 ]本发明属于数据识别;数据表示;记录载体;记录载体的处理的技术领域，特别涉 及一种通过可调控的参数来解决小样本问题和特征矩阵不平衡问题以提高人脸识别率的 基于核LDA的并行特征融合人脸表情识别方法。
【背景技术】
[0002] 特征提取是表情识别中最关键的环节之一，提取具有鉴别意义的特征对准确分类 人脸表情，解决实际问题起着重要作用，特征提取越到位，则表情识别越精确。表情识别的 技术可以应用到各行各业，例如应用到公安刑侦领域，可以辅助对目标对象的微表情判断 做出更为可靠的数据支撑。
[0003] 随着相关研究的不断深入，特征融合技术逐渐受到了业内的关注。特征融合技术 既融合多种特征的有效鉴别信息，又消除大部分冗余的信息，从而实现信息的有效压缩、节 约信息存储空间、有利于加快运算速度和进行信息的实时处理。
[0004] 目前常用的特征融合方法主要是串行融合方法。串行融合方法首先将两组或多组 特征向量按照首尾相连的方式生成一个联合向量，然后再对这个新的特征向量进行特征提 取，该方法保留了多种特征的鉴别信息，具有一定的优势，但同时会导致合并后新特征的维 数急剧增加，从而加大后续步骤如特征抽取和识别的难度，使甄别速度和准确率大幅降低。
[0005] 由此，研究人员对传统的串行融合方法进行大量的改进研究，其中，杨健等研究提 出了一种并行特征融合的方法，该方法的原理是利用复向量将样本空间上的两组或多组特 征集合起来构成复特征向量空间，即将实向量空间的特征拓展到复向量空间。并行特征融 合的方法用线性鉴别准则(LDA)来抽取有效鉴别特征，LDA是目前常用的特征提取方法之 一，但由于其本质上提取的是线性特征，对非线性特征处理存在不足。因此，相关研究人员 提出了基于核的LDA方法，即基于核判别分析方法(KDA)，该方法通过将样本映射到一个高 维空间，在该高维空间利用Fisher方法提取鉴别特征，得到原图像的非线性特征，实践证明 核判别方法对解决非线性问题具有显著优势，然而实践亦表明，在使用KDA过程中核空间的 维数往往大于训练样本的数目，即小样本问题，对小样本的改进方法很多，如对Fisher准则 局部加权、重新定义类间散度矩阵、用零空间解决小样本问题等，甚至，基于并行特征融合 的特征方法由于使用的是Fisher鉴别准则，因此不但存在小样本问题，同时还存在融合特 征矩阵不平衡的问题，使类内散度矩阵不但受小样本问题影响而丢失类内散射信息，还会 因特征矩阵不平衡而产生偏差和较大方差，影响实验效果。
【发明内容】
[0006] 本发明解决的技术问题是，现有技术中，串行融合方法虽保留了多种特征的鉴别 信息，具有一定的优势，但同时会导致合并后新特征的维数急剧增加，从而加大后续步骤如 特征抽取和识别的难度，使甄别速度和准确率大幅降低，而采用并行特征融合方法用线性 鉴别准则(LDA)来抽取有效鉴别特征的过程中，核空间的维数往往大于训练样本的数目，即 小样本问题，甚至，由于此方法使用的是Fisher鉴别准则，故还同时存在融合特征矩阵不平 衡的问题，使类内散度矩阵不但受小样本问题影响而丢失类内散射信息，还会因特征矩阵 不平衡而产生偏差和较大方差，严重影响实验效果的问题，进而提供了一种优化的基于核 LDA的并行特征融合人脸表情识别方法。
[0007] 本发明所采用的技术方案是，一种基于核LDA的并行特征融合人脸表情识别方法， 所述方法包括以下步骤：
[0008] 步骤1.1:从任一人脸表情特征库中采用Gabor滤波器提取人脸特征，得到若干个 方向上的全局特征向量β;采用PCA算法对人脸的局部特征进行提取，得到局部特征向量α， 将α和β通过并行特征信息融合，得到矩阵X;
[0009] 步骤1.2:在进行特征融合时，当同一样本的两组特征向量在数量关系上存在较大 差别时，通过对类内离散矩阵3?重新定义来解决小样本问题，即
[0011] 其中，Si = Si+kl，k为控制参数，0彡k彡1，Si是单个样本类的协方差矩阵;控制k的 值以增加小特征向量值、减小大特征向量值，使得S u的偏差最小；
[0012] 步骤1.3:将矩阵X经过非线性映射Φ变换到特征空间F中，即Φ : Xi G X- Φ (Xi) e F;在特征空间F中，线性Fisher鉴别函数为
[0017 ] 贫和g分别为特征空间F中对应的类内散布矩阵和类间散布矩阵，
表示在特征空间F中的第i个类别中的样本均值，
表示在特 征空间F中的所有样本的均值；
[0018]步骤1.4:将式（II)和式（III)引入复空间，得到复空间的类间散度矩阵和类内 散度矩阵於'，
[0021]其中，川广=^^(.丫/和/}，"C =E!(1)(.i:,)丨；p( 〇i)为第i类训练样本的先验概率；
[0022]步骤1.5:由再生核理论，解向量ω在特征空间F中可以按所有训练样本数据展开，
[0024] 其中，核鉴别矢量 ζ= (ζ1，ζ2，···，ζη)τ，Φ = (Φ(χι)，Φ(χ2)，···，Φ(χη))，ζ*Φ* 鉴别向量ω的最佳核鉴别向量；
[0025] 步骤1.6:将式(IV)、式(V)和式(VI)代入式(I)后，经过矩阵变换，得到
[0030] 步骤1.7:将式(VII)和式(VIII)代入式（I)后，得到特征空间F中的线性Fisher鉴
[0033] 步骤1.9:求当ζ何值时J〇取得最大值，
采用Lagrange算法求解， 得到Ρζ = λ(Τζ，求得一组基特征向量，得到最佳投影方向ζ，即当取最佳投影方向ζ时，JG) 取得最大值；
[0034] 步骤1.10:利用最佳投影方向ζ将矩阵X投影到相应的特征空间，得到所有样本的 最佳分类特征Y:yi = GHxi，yieY;
[0035] 步骤1.11:以71为特征值识别任一人脸表情特征库的人脸。
[0036] 优选地，所述步骤1.1中，采用PCA提取的人脸的局部特征包括嘴部特征、眼部特 征、鼻部特征。
[0037] 优选地，所述步骤1.1中，Χ = α+?β或Χ = β+?α。
[0038] 优选地，所述步骤1.1中，全局特征向量β-般为4~8个方向上的向量。
[0039] 优选地，所述步骤1.2中，增大控制参数k以控制k的值以增加 Su的小特征值、减小 大特征值，使得Su的偏差最小。
[0040] 本发明提供了一种优化的基于核LDA的并行特征融合人脸表情识别方法，通过将 两组经过不同表达的特征向量采用复数的组合形式并行融合，构成复特征向量，并将核 Fisher鉴别准则引入复空间，从而在复空间的基础上解决传统LDA只能分析线性问题的缺 陷，同时对类内散度矩阵重定义，通过可调控的参数k来解决小样本问题和特征矩阵不平衡 问题。本发明的方法比传统并行特征融合方法和串行特征融合方法有不同程度上的改进， 不仅解决了传统LDA在人脸表情识别等领域对非线性特征无法处理的问题，方法同时在一 定程度上解决了小样本问题，在人脸表情特征库的数据库上的实验取得了较高的识别率。
【附图说明】
[0041 ]图1为本发明在JAFFE数据库下选择不同k时的分类识别精度；
[0042]图2为本发明在Yale数据库下选择不同k时的分类识别精度。
【具体实施方式】
[0043]下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于 此。
[0044] 本发明涉及一种基于核LDA的并行特征融合人脸表情识别方法，所述方法包括以 下步骤：
[0045] 步骤1.1:从任一人脸表情特征库中采用Gabor滤波器提取人脸特征，得到若干个 方向上的全局特征向量β;采用PCA算法对人脸的局部特征进行提取，得到局部特征向量α， 将α和β通过并行特征信息融合，得到矩阵X;
[0046] 步骤1.2:在进行特征融合时，当同一样本的两组特征向量在数量关系上存在较大 差别时，通过对类内离散矩阵3?重新定义来解决小样本问题，即
[0048]其中，Si = Si+kl，k为控制参数，0彡k彡1，Si是单个样本类的协方差矩阵;控制k的 值以增加小特征向量值、减小大特征向量值，使得su的偏差最小；
[0049] 步骤1.3:将矩阵X经过非线性映射Φ变换到特征空间F中，即Φ : xi G X- Φ (Xi) e F;在特征空间F中，线性Fisher鉴别函数为
[0054] Sf和$分别为特征空间F中对应的类内散布矩阵和类间散布矩阵，
表示在特征空间F中的第i个类别中的样本均值，表示在特 征空间F中的所有样本的均值；
[0055] 步骤1.4:将式（II)和式(III)引入复空间，得到复空间的类间散度矩阵和类内 散度矩阵#'，
[0058] 其中，"广=ΖΓ?Φ?Υν??Μ.^^Ε?Φ (Χι)} ;Ρ( 为第i类训练样本的先验概率；
[0059]步骤1.5:由再生核理论，解向量ω在特征空间F中可以按所有训练样本数据展开，
[0061 ]其中，核鉴别矢量 ζ= (ζ1，ζ2，···，ζη)Τ，Φ = (Φ(Χ1)，Φ(Χ2)，···，Φ(Χη))，ζ*Φ* 鉴别向量ω的最佳核鉴别向量；
[0062] 步骤1.6:将式(IV)、式(V)和式(VI)代入式(I)后，经过矩阵变换，得到
[0067] 步骤1.7:将式(VII)和式(VIII)代入式（I)后，得到特征空间F中的线性Fisher鉴
[0070] 步骤1.9:求当ζ何值时J〇取得最大值，
采用Lagrange算法求解， 得到Ρζ = λ(Τζ，求得一组基特征向量，得到最佳投影方向ζ，即当取最佳投影方向ζ时，JG) 取得最大值；
[0071] 步骤1.10:利用最佳投影方向ζ将矩阵X投影到相应的特征空间，得到所有样本的 最佳分类特征Y:yi = GHxi，yieY;
[0072] 步骤1.11:以71为特征值识别任一人脸表情特征库的人脸。
[0073] 本发明中，在进行并行特征融合时，同一样本的两组特征值在数量关系上可能存 在较大差别:大的特征值偏大，而小的特征值偏小，融合后可能使特征矩阵失衡。为此，需要 通过对类内离散矩阵3?重新定义来解决小样本问题，
[0074] 本发明中，设有样本空间Ω上的两组特征集A、B，A对应的特征向量为aeA，B对应 的特征向量为βεΒ。γ =α+?β表示特征向量的组合，其中i为虚数单位，g卩在样本空间Ω上 经过组合的特征空间可定义为C = {α+?β | a e A，β e Β}，即本发明中的矩阵X，若两组特征向 量α与β的维数不等，则低维的特征向量用零补足，该样本空间为η维复向量空间，n = max {dimA，dimB}。定义内积(X，Y) =XHY，其中，X，Ye C，H为共辄转置符号，称定义了内积的复空 间为酉空间。相应地，假设有L个已知模式类，酉空间内类间散度矩阵、类内散度矩阵和总体 散度矩阵分别表不为：
[0077] St = Sb+Scj = E{ (X_m。）（X_m〇)H}
[0078]其中，P| c〇i|为第i类训练样本的先验概率，mi = E|X| c〇i|为第i类训练样本的均
为全体训练样本的均值。
[0079]
，且X，YG C，C= {α + ?β | a G A，β G Β}，类推可知步骤1.2中的类内离散矩阵Su和单个样本类的协方差矩阵为与局部特征 向量α和全局特征向量β相关的矩形。
[0080] 本发明中，由此，可以通过调整参数k来增大类内离散度矩阵&的小特征值、减小 其大的特征值来抑制偏差，从而达到提高识别率的目的。
[0081] 本发明中，Xi是矩阵X中的样本向量。
[0082]本发明中，Q是非负定矩阵，参数k和单位矩阵I的积是正定的，则Q+kl就是正定的，
中ζ有解，并且与核类内散度矩阵Q的奇异性无关，解决了 Q的奇异性问 题，从而小样本的问题得到了解决，在抑制34扁差的同时也平衡了在融合中可能存在的特 征向量不均等问题。
[0083] 本发明中，为了充分表达表情信息，采用PCA算法提取局部信息，采用Gabor滤波器 提取人脸表情的整体信息，首先执行PCA算法得到局部特征向量α，将α和经由Gabor变化得 到的全局特征向量β通过并行特征信息融合得到矩阵X，分析α和β的维数大小和训练样本 数，得到调节可控参数k的值，用以重新定义类内散度矩阵，计算得到复空间的核类内散度 矩阵和核类间散度矩阵，求解广义特征方程Ρζ = λ(Τζ，找到一组基特征向量，得到最佳投影 方向ζ。将X投影到一个t维空间，得到所有样本的最佳分类特征Αρζ%。
[0084] 所述步骤1.1中，采用PCA提取的人脸的局部特征包括嘴部特征、眼部特征、鼻部特 征。
[0085] 所述步骤1 · 1中，X = a+i0 或 Χ = β+?α。
[0086] 本发明中，设样本空间Ω上的两组合特征空间分别定义为d = {α+?β | aeA，i3e B}，C2={0+ia |aGA，0GB}，设矩阵Η(α，β) = (α+?β)(α+?β)Η，Η(α，β) = (β+?α)(β+?α)Η， //(/人<2) = //(/人<2).其中，€[，0为11维实向量，设，€[ = (€[1，...，€[11)1'，0=(131，...，13 11)1'，则 Ο
[0091] 故，得到 χ = α+?β 或 χ = β+?α。
[0092] 所述步骤1.1中，全局特征向量β-般为4~8个方向上的向量。
[0093] 本发明中，全局特征向量β-般为4~8个方向上的向量，方向均分，如一般以Gabor 提取六个方向上的全局特征，六个方向分别为〇，V6，2π/6，3π/6，4π/6，5π/6。
[0094] 所述步骤1.2中，增大控制参数k以控制k的值以增加 Su的小特征值、减小大特征 值，使得&的偏差最小。
[0095] 本发明中，选择JAFFE和Yale两个表情库;为不失一般性，分类器采用KNN(基于K近 邻法则）。其中，JAFFE人脸表情数据库由10人的213幅图像组成，每人展示7种表情；而Yale 表情库包含15个人的4种表情，共165幅图像，均为320X243的8位灰度图像。
[0096] 本发明中，从JAFFE中选择每人6种表情各一副共计60副，从Yale中选择10人4种表 情各一副共计40幅，以每种表情的前Μ幅图像作为训练样本，后（10-M)幅作为测试样本。这 样，训练样本和测试样本形成典型的高维小样本问题。循环5次，取所有表情的平均值作为 实验结果。
[0097] k在[0，1]间进行变化，可以是连续变化也可以是离散变化。从图1和图2可以看出， 当Μ多4时由于有足够多的训练样本，k值很小也能保证方差和偏差平衡，当M=2,3时，由于 训练样本不足，类内离散矩阵&会出现高额方差。因此，就必须增大控制参数来增加它的小 的特征值，减小大的特征值抑制其偏差，从而控制零空间的方差，才能达到比较好的识别 率。实验同时可知随着k值的增大识别率不断增大，当增大到一定值后取得峰值，且在识别 率最高点附近识别率变化缓慢。
[0098] 本发明表明不同的表情库或同一样库中不同样本值的情况下识别率最高点所对 应的k并不相同，且本发明更适用于小样本作业中，当样本较小时，采用可调控的参数k来解 决小样本问题和特征矩阵不平衡问题效果更好。
[0099]本发明中，在JAFFE和Yale两个数据库中取一人每种表情中的一张表情图像作为 测试样本，其余的作为训练样本。循环5次，取平均值作为识别率，JAFFE数据库下所用的k为 0.9，Yale数据库下所用的k值为0.85，得到如下验证结果：
[0100]表1 JAFFE数据库下不同方法的识别率（％ )
[0102]表2 Yale数据库下不同方法分类器的分类精度（％ )
[0104] 从表1和表2可见，串行特征融合的方法在三种方法中得到的识别率是最低的，这 是由于Gabor特征提取产生较大特征维度，在没有降维的情况下，经过串行特征融合将使特 征维度急剧增加。传统的LDA并行特征融合在两个样本库上的平均识别率分别为90.2%和 92.1%，而本发明所提出的方法，分别得到了93.4%和95.90%的识别率，验证了本发明所 提出并行融合方法的有效性。
[0105] 本发明中，再次采取与人无关测试方法，测试5次取平均值。本实验中所用的k值同 样分别为0.9和0.85。
[0106] 表3 JAFFE数据库下不同特征提取方法的识别率（％)
[0108]表4 Yale数据库下不同特征提取方法的分类精度（％ )
[0110] 从表3和表4可以得出，与单一人脸表情PCA特征和Gabor特征识别结果相比较，将 两种特征采用提到的并行融合策略进行融合，提高了识别率，这是由于并行融合这两种方 法包含了人脸表情的局部特征和整体特征，保留了其有效鉴别信息的同时也防止了信息冗 余。而本发明提出的方法由于充分处理了表情图像的非线性特征，在两个数据库上的识别 率达到92.9 %和95.3 %，比传统方法分别提高了 2.6 %和2.7 %，证明了在核空间并行特征 融合策略的有效性。
[0111] 本发明解决了现有技术中，串行融合方法虽保留了多种特征的鉴别信息，具有一 定的优势，但同时会导致合并后新特征的维数急剧增加，从而加大后续步骤如特征抽取和 识别的难度，使甄别速度和准确率大幅降低，而采用并行特征融合方法用线性鉴别准则 (LDA)来抽取有效鉴别特征的过程中，核空间的维数往往大于训练样本的数目，即小样本问 题，甚至，由于此方法使用的是Fisher鉴别准则，故还同时存在融合特征矩阵不平衡的问 题，使类内散度矩阵不但受小样本问题影响而丢失类内散射信息，还会因特征矩阵不平衡 而产生偏差和较大方差，严重影响实验效果的问题，通过将两组经过不同表达的特征向量 采用复数的组合形式并行融合，构成复特征向量，并将核Fisher鉴别准则引入复空间，从而 在复空间的基础上解决传统LDA只能分析线性问题的缺陷，同时对类内散度矩阵重定义，通 过可调控的参数k来解决小样本问题和特征矩阵不平衡问题。本发明的方法比传统并行特 征融合方法和串行特征融合方法有不同程度上的改进，不仅解决了传统LDA在人脸表情识 别等领域对非线性特征无法处理的问题，方法同时在一定程度上解决了小样本问题，在人 脸表情特征库的数据库上的实验取得了较高的识别率。
【主权项】
1. 一种基于核LDA的并行特征融合人脸表情识别方法，其特征在于:所述方法包括以下 步骤： 步骤1.1:从任一人脸表情特征库中采用Gabor滤波器提取人脸特征，得到若干个方向 上的全局特征向量β;采用PCA算法对人脸的局部特征进行提取，得到局部特征向量α，将α和 β通过并行特征信息融合，得到矩阵X; 步骤1.2:在进行特征融合时，当同一样本的两组特征向量在数量关系上存在较大差别 时，通过对类内离散矩阵3?重新定义来解浓/丨、样太间题· ΒΡ其中，Si = Si+kl，k为控制参数，1，Si是单个样本类的协方差矩阵;控制k的值以 增加小特征向量值、减小大特征向量值，使得Su的偏差最小； 步骤1.3:将矩阵X经过非线性映射Φ变换到特征空间F中，即Φ : Xi e X- Φ (Xi) e F;在 特征空间F中，线性Fisher鉴别函数为 /=1 _/=*和?^分别为特征空间F中对应的类内散布矩阵和类间散布矩阵，表 示在特征空间F中的第i个类别中的样本均值！示在特征空间F中的所有 样本的均值；步骤1.4:将式（II)和式（III)引入复空间，得到复空间的类间散度矩阵和类内散度 矩阵<'，其中，/< = /」1Φ(.γ/)|<，"?(,φ = Δ'丨Φ(χ,)丨;Ρ( ω 〇为第i类训练样本的先验概率； 步骤1.5:由再生核理论，解向量ω在特征空间F中可以按所有训练样本数据展开，其中，核鉴别矢量ζ = (ζ?，ζ2,…，ζη)Τ，Φ = ( Φ (XI)，Φ (Χ2)，…，Φ (Χη) )，ζ为Φ中鉴别向 量ω的最佳核鉴别向量； 击3娶1 _ fi.您τν).忒以）和)枰λ忒m后.怒忖钜咗亦拖.徨？丨丨 /=1 J-1κ( ·，·）为内积核函数Φ(χι〇, ...，Φ(χη)ΗΦ(χι〇 | 〇i]H，k= 1,2, ···，]! ;Ρ为核类间散度矩阵，Q为核类内散度矩阵； 步骤1.7:将式(VII)和式(VIII)代入式（I)后，得到特征空间F中的线性Fi sher鉴别函 数为步骤1.8:由式(VIII)和，步骤1.9 :求当ζ何值时J〇取得最大值，对算法求解，得到 ρζ=λ(Τζ，求得一组基特征向量，得到最佳投影方向ζ，即当取最佳投影方向ζ时，JG)取得 最大值； 步骤1.10:利用最佳投影方向ζ将矩阵X投影到相应的特征空间，得到所有样本的最佳 分类特征Y:yi=Cxi，yieY; 步骤1.11:以特征值识别任一人脸表情特征库的人脸。2. 根据权利要求1所述的一种基于核LDA的并行特征融合人脸表情识别方法，其特征在 于:所述步骤1.1中，采用PCA提取的人脸的局部特征包括嘴部特征、眼部特征、鼻部特征。3. 根据权利要求1所述的一种基于核LDA的并行特征融合人脸表情识别方法，其特征在 于:所述步骤1 · 1中，X=a+i0或X=0+ia。4. 根据权利要求1所述的一种基于核LDA的并行特征融合人脸表情识别方法，其特征在 于:所述步骤1.1中，全局特征向量β-般为4~8个方向上的向量。5. 根据权利要求1所述的一种基于核LDA的并行特征融合人脸表情识别方法，其特征在 于:所述步骤1.2中，增大控制参数k以控制k的值以增加 Su的小特征值、减小大特征值，使得 Scj的偏差最小。
【文档编号】G06K9/00GK105868713SQ201610185925
【公开日】2016年8月17日
【申请日】2016年3月29日
【发明人】李文书
【申请人】杭州农鑫科技有限公司