一种基于半监督双源人脸特征融合的人脸识别方法

1.本发明涉及一种基于半监督双源人脸特征融合的人脸识别方法，属于人脸图像处理技术领域。


背景技术：

2.近几十年来，人脸识别技术取得了飞速发展和广泛应用。现有人脸识别方法常常仅使用单源人脸图像，训练人脸识别分类预测模型。当人脸图像受到噪声等因素的“污染”时，基于单源人脸图像，很难学得鲁棒的人脸识别模型。事实上，在实际生活中，我们容易获得多源人脸图像，例如，不同摄像机视角下的人脸图像、分别由自然光和红外线成像的人脸图像等。直觉地，不同视图间的人脸图像，存在着互补的人脸识别信息。如果能将多源人脸图像，进行特征融合，提取出额外的视图间互补的人脸识别信息，可以提高人脸识别模型的分类精度。
3.现有人脸识别方法的另一个缺陷是追求最小的识别错误率，即假设不同错误分类所带来的损失相同。然而，在真实的人脸识别应用中，这一假设往往不成立，不同错误分类所带来的错分损失不同。例如，在人脸识别门禁系统中，假设存在入侵者类和合法者类，明显地，将入侵者错分成合法者的损失远高于将合法者错分成入侵者的损失，而将合法者错分成其他合法者的损失又要低于将合法者错分成入侵者的损失。
4.此外，现有人脸识别方法常假设监督的训练数据集，即所有的训练图像都已被手工标注。事实上，手工标注人脸图像较困难，需要付出大量的人力和财力。因此，在实际应用中，人们往往更关注半监督条件下的人脸识别模型，即训练集中只有少量人脸图像被标注，其余大部分人脸图像的标签信息未知。
5.针对真实人脸识别应用中存在的半监督和多视图学习问题，研究者提出了许多半监督多视图人脸识别方法。但，这些方法都是代价不敏感的学习模型，忽略了人脸识别中存在的不等错分损失问题；针对真实人脸识别应用中存在的半监督和代价敏感学习问题，研究者提出了许多半监督的代价敏感人脸识别模型。但，这些方法仅使用单源人脸图像用于人脸识别模型的构建，忽略了多源人脸图像间存在的互补人脸识别信息。


技术实现要素：

6.为了解决现有技术中存在的问题，本发明提出了一种基于半监督双源人脸特征融合的人脸识别方法，能够将双源人脸图像进行特征融合，获得视图间互补的人脸识别信息，而且学得的代价敏感人脸特征表示满足最小错分损失准则，能够有效提高人脸识别模型的分类性能。
7.为解决上述技术问题，本发明采用了如下技术手段：
8.本发明提出了一种基于半监督双源人脸特征融合的人脸识别方法，包括如下步骤：
9.获取预设双视图下的多个人脸图像数据；
10.将人脸图像数据输入训练好的半监督代价敏感典型相关分析模型；
11.利用半监督代价敏感典型相关分析模型中的代价敏感特征提取矩阵进行双源特征融合，得到人脸图像数据的特征表示；
12.根据人脸图像数据的特征表示，利用分类模型进行分类，得到人脸识别结果。
13.进一步的，半监督代价敏感典型相关分析模型的目标函数表达式如下：
[0014][0015]
其中，v表示人脸视图的数目，v＝1,2，w
(1)
、w
(2)
分别表示1视图和2视图的代价敏感特征提取矩阵，f表示半监督代价敏感典型相关分析模型预测的人脸图像类别的标签矩阵，f＝[f1,
…
,fn]
t
，g
12
表示代价敏感的跨视图协方差矩阵，g
vv
表示视图内的数据协方差矩阵，h(i)表示第i个人脸图像的重要性，fi表示半监督代价敏感典型相关分析模型预测的第i个人脸图像的类别标签，fj表示半监督代价敏感典型相关分析模型预测的第j个人脸图像的类别标签，表示v视图中第i个人脸图像和第j个人脸图像的相似性，m表示每一个人脸视图中手工标注的监督人脸图像的样本数，yi表示第i个人脸图像的真实标签信息，in为对角矩阵，in＝diag(n1,
…
,nc)，nk表示每一视图中第k类人脸图像的样本数，k＝1,
…
,c，c表示人脸图像的总类别数，λ、μ、τ分别为平衡参数，上标t表示矩阵转置运算，||
·
||f表示frobenius范数，i,j＝1,
…
,n，n为每一个视图中人脸图像总数，
[0016]
进一步的，代价敏感的跨视图协方差矩阵g
12
的表达式如下：
[0017][0018]
其中，表示1视图中的第i个人脸图像，表示2视图中的第j个人脸图像，函数用于计算的类别标签，h(j)表示第j个人脸图像的重要性，x
(1)
表示1视图的人脸图像数据集，x
(2)
表示2视图的人脸图像数据集，f
(k)
表示标签矩阵f的第k列，h为对角矩阵，h＝diag(h(1),
…
,h(n))；
[0019]
视图内的数据协方差矩阵g
vv
＝x
(v)
x
(v)t
，其中，x
(v)
表示v视图的人脸图像数据集。
[0020]
进一步的，在半监督代价敏感典型相关分析模型中，代价敏感特征提取矩阵w
(1)
、w
(2)
的学习函数为：
[0021]
[0022]
进一步的，在半监督代价敏感典型相关分析模型中，标签矩阵f的学习函数为：
[0023][0024]
通过矩阵变换，将标签矩阵f的学习函数转换成标签矩阵f的目标函数：
[0025][0026]
其中，sum(hs,1)表示对hs矩阵按行进行求和运算，sum(sh,1)表示对sh矩阵按行进行求和运算，s＝s
(1)
+s
(2)
，s
(1)
表示1视图的样本相似性矩阵，s
(2)
表示2视图的样本相似性矩阵，y
l
表示m个监督样本的代价标签信息，y
l
＝[y1,
…
,ym]。
[0027]
进一步的，半监督代价敏感典型相关分析模型的训练方法如下：
[0028]
获取双视图下的多个人脸图像数据，作为模型训练样本；
[0029]
对人脸图像数据进行向量归一化；
[0030]
随机初始化代价敏感特征提取矩阵w
(1)
、w
(2)
和标签矩阵f，得到初始化后的半监督代价敏感典型相关分析模型；
[0031]
将归一化后的人脸图像数据输入半监督代价敏感典型相关分析模型，计算第t次迭代中半监督代价敏感典型相关分析模型的目标函数值；
[0032]
迭代次数加1，固定标签矩阵f，根据代价敏感特征提取矩阵w
(1)
、w
(2)
的学习函数更新w
(1)
、w
(2)
；
[0033]
固定更新后的代价敏感特征提取矩阵w
(1)
、w
(2)
，根据标签矩阵f的目标函数更新标签矩阵f；
[0034]
根据更新后的w
(1)
、w
(2)
和f，得到更新后的半监督代价敏感典型相关分析模型，计算第t+1次迭代的目标函数值；
[0035]
当相邻两次迭代的目标函数值之差小于预设阈值t，或者迭代次数达到最大迭代次数tn时，结束迭代，完成半监督代价敏感典型相关分析模型训练，否则，进入下一次迭代，继续更新w
(1)
、w
(2)
和f。
[0036]
进一步的，固定标签矩阵f，根据代价敏感特征提取矩阵w
(1)
、w
(2)
的学习函数得到w
(1)
、w
(2)
的更新规则：
[0037][0038]
[0039]
其中，
[0040]
进一步的，固定更新后的代价敏感特征提取矩阵w
(1)
、w
(2)
，根据标签矩阵f的目标函数，对标签矩阵f中的元素f
ij
求偏导，得到：
[0041][0042]fij
的更新规则为：
[0043]fij
＝(δ2(f
ij
)/δ1(f
ij
))f
ij
ꢀꢀꢀ
(9)
[0044]
归一化标签矩阵f，令f
t
f＝in。
[0045]
进一步的，利用半监督代价敏感典型相关分析模型中的代价敏感特征提取矩阵进行双源特征融合，得到人脸图像数据的特征表示x，x的表达式如下：
[0046][0047]
其中，w
(1)
、w
(2)
分别表示1视图和2视图的代价敏感特征提取矩阵，x
(1)
表示1视图的人脸图像数据集，x
(2)
表示2视图的人脸图像数据集。
[0048]
进一步的，分类模型采用支持向量机模型。
[0049]
采用以上技术手段后可以获得以下优势：
[0050]
本发明提出了一种基于半监督双源人脸特征融合的人脸识别方法，在仅使用少量监督的双源人脸图像的条件下，利用半监督代价敏感典型相关分析模型进行人脸识别，不仅能够将双源人脸图像进行特征融合，获得视图间互补的人脸识别信息，而且学得的代价敏感人脸特征表示满足最小错分损失准则，能够提高人脸识别模型的分类性能，适应于真实人脸识别场景，能够获得更加准确可靠的人脸识别结果，具有较高的实用价值。
附图说明
[0051]
图1为本发明一种基于半监督双源人脸特征融合的人脸识别方法的步骤流程图；
[0052]
图2为本发明实施例中半监督代价敏感典型相关分析模型的训练流程图。
具体实施方式
[0053]
下面结合附图对本发明的技术方案作进一步说明：
[0054]
本发明提出了一种基于半监督双源人脸特征融合的人脸识别方法，如图1所示，具体包括如下步骤：
[0055]
步骤a、获取预设双视图下的多个人脸图像数据。获取不同视图的人脸数据的方式和方法很多，本发明可以根据具体场景、需求等选择人脸视图，比如一个选择主视图，另一个选择俯视图。本发明实施例以“自然光——小波”组合为例，假设已有n张自然光成像的人脸图像其中，表示自然光视图中的第i个人脸图像，d1表示人脸
图像空间，i＝1,
…
,n；采用小波变化方法处理自然光成像的人脸图像，得到对应的小波人脸图像其中，表示小波视图中的第i个人脸图像。
[0056]
步骤b、将人脸图像数据输入训练好的半监督代价敏感典型相关分析模型。
[0057]
为了解决真实人脸识别应用中存在的半监督、多视图以及代价敏感学习问题，本发明通过将样本的错分代价信息h(i)和推断的样本类别标签信息嵌入典型相关分析模型，设计了一个半监督代价敏感典型相关分析模型，用于在双源特征融合的同时，联合学习双源人脸图像的代价敏感特征提取矩阵和无标签人脸图像的标签信息
[0058]
在本发明实施例中，半监督代价敏感典型相关分析模型的目标函数表达式如下：
[0059][0060]
其中，v表示人脸视图的数目，v＝1,2，表示分布于dv空间内的n个采自于v视图的人脸图像，w
(1)
、w
(2)
分别表示1视图和2视图的代价敏感特征提取矩阵，f表示半监督代价敏感典型相关分析模型预测的人脸图像类别的标签矩阵，f＝[f1,
…
,fn]
t
，g
12
表示代价敏感的跨视图协方差矩阵，g
vv
表示视图内的数据协方差矩阵，h(i)表示第i个人脸图像的重要性，fi表示半监督代价敏感典型相关分析模型预测的第i个人脸图像的类别标签，fj表示半监督代价敏感典型相关分析模型预测的第j个人脸图像的类别标签，表示v视图中第i个人脸图像和第j个人脸图像的相似性，m表示每一个人脸视图中手工标注的监督人脸图像的样本数，yi表示第i个人脸图像的真实标签信息，in为对角矩阵，in＝diag(n1,
…
,nc)，nk表示每一视图中第k类人脸图像的样本数，k＝1,
…
,c，c表示人脸图像的总类别数，λ、μ、τ分别为平衡参数，上标t表示矩阵转置运算，||
·
||f表示frobenius范数，i,j＝1,
…
,n，n为每一个视图中人脸图像总数，
[0061]
在本发明实施例中，考虑到数据标注的成本，令m＜＜n。人脸图像的类别指人脸图像属于哪个人，假设某个人脸图像数据集中有15个人、每人10张的人脸图像，则人脸图像数据集中共有150张人脸图像，总类别c为15。
[0062]
在本发明实施例中，代价敏感的跨视图协方差矩阵g
12
的表达式如下：
[0063][0064]
其中，表示1视图中的第i个人脸图像，表示2视图中的第j个人脸图像，函数
用于计算的类别标签，h(j)表示第j个人脸图像的重要性，x
(1)
表示1视图的人脸图像数据集，x
(2)
表示2视图的人脸图像数据集，f
(k)
表示标签矩阵f的第k列，h为对角矩阵，h＝diag(h(1),
…
,h(n))。
[0065]
在本发明实施例中，视图内的数据协方差矩阵g
vv
＝x
(v)
x
(v)t
，其中，x
(v)
表示v视图的人脸图像数据集。
[0066]
在半监督代价敏感典型相关分析模型中，代价敏感特征提取矩阵w
(1)
、w
(2)
的学习过程，不仅依赖于双源人脸图像{x
(1)
,x
(2)
}，还有效利用了人脸图像的预测标签矩阵f，代价敏感特征提取矩阵w
(1)
、w
(2)
的学习函数为：
[0067][0068]
在特征融合后的代价敏感人脸特征空间，学习人脸图像标签矩阵f：通过定义代价敏感的标签扩展项，有效利用了人脸图像的局部流形结构和m个监督样本的代价标签信息y
l
＝[y1,
…
,ym]；此外，还通过定义标签非负正则化项，约束标签矩阵f的非负性。在半监督代价敏感典型相关分析模型中，标签矩阵f的学习函数为：
[0069][0070]
通过矩阵变换，将标签矩阵f的学习函数转换成标签矩阵f的目标函数：
[0071][0072]
其中，矩阵b、q、y、分别定义如下：
[0073][0074]
其中，sum(hs,1)表示对hs矩阵按行进行求和运算，sum(sh,1)表示对sh矩阵按行进行求和运算，s＝s
(1)
+s
(2)
，s
(1)
表示1视图的样本相似性矩阵，s
(2)
表示2视图的样本相似性矩阵，y
l
表示m个监督样本的代价标签信息，y
l
＝[y1,
…
,ym]。
[0075]
本发明基于公式(11)、(13)、(15)，采用交替迭代方法，求解、更新代价敏感特征提取矩阵w
(1)
、w
(2)
以及标签矩阵f，实现利用不同视图的人脸图像训练半监督代价敏感典型相关分析模型的功能，如图2所示，训练方法包括如下步骤：
[0076]
步骤201、定义重要性函数h(i)和样本相似性矩阵s
(v)
。在本发明实施例中，以人脸识别门禁系统为例，给出重要性函数h(i)，i＝1,
…
,n的定义。具体的，对于人脸识别门禁系
统，假设包含有入侵者类i和c-1个合法者类gk,k＝1,2,
…
,c-1，容易得到如表1所示的错分代价矩阵c：
[0077]
表1
[0078] g1…gc-1
ig
10…cggcgi
…ꢀꢀꢀꢀgc-1cgg
…
0c
gi
ic
ig
…cig0[0079]
在表1中，c
gi
、c
ig
、c
gg
分别表示如下三种不同错误分类所导致的错分代价：(1)false rejection：错误的将合法者错分成入侵者；(2)false acceptance：错误的将入侵者错分成合法者；(3)false identification：错误的将某一合法者错分成其他合法者。基于表1所示的错分代价矩阵c，重要性函数h(i)可定义如下：
[0080][0081]
其中，参数δ用于度量无标签训练图像的重要性。
[0082]
本发明以k近邻图为例，说明样本相似性矩阵s
(v)
的定义方法：给定任意两个样本和其中，i,j＝1,
…
,n，其相似性权值可定义如下：
[0083][0084]
步骤202、获取双视图下的多个人脸图像数据，作为模型训练样本。
[0085]
步骤203、对人脸图像数据进行向量归一化。假设给定人脸图像x
(v)
，利用公式将人脸图像归一到单位向量在本发明中，如果不做特别说明，x
(v)
表示归一化后的人脸图像。
[0086]
步骤204、随机初始化代价敏感特征提取矩阵w
(1)
、w
(2)
和标签矩阵f，得到初始化后的半监督代价敏感典型相关分析模型。
[0087]
步骤205、将归一化后的人脸图像数据输入半监督代价敏感典型相关分析模型，利用公式(11)计算第t次迭代中半监督代价敏感典型相关分析模型的目标函数值。
[0088]
步骤206、迭代次数加1，固定标签矩阵f，根据代价敏感特征提取矩阵w
(1)
、w
(2)
的学习函数更新w
(1)
、w
(2)
。
[0089]
本发明根据代价敏感特征提取矩阵w
(1)
、w
(2)
的学习函数，采用奇异值分解法，得到w
(1)
、w
(2)
的更新规则：
[0090][0091][0092]
其中，
[0093]
步骤207、固定更新后的代价敏感特征提取矩阵w
(1)
、w
(2)
，根据标签矩阵f的目标函
数更新标签矩阵f。
[0094]
本发明根据标签矩阵f的目标函数，对标签矩阵f中的元素f
ij
求偏导，可得：
[0095][0096]
进而，得到f
ij
的更新规则为：
[0097]fij
＝(δ2(f
ij
)/δ1(f
ij
))f
ij
ꢀꢀꢀ
(22)
[0098]
步骤208、归一化标签矩阵f，令f
t
f＝in。
[0099]
步骤209、根据步骤206～208更新后的w
(1)
、w
(2)
和f，得到更新后的半监督代价敏感典型相关分析模型，计算第t+1次迭代的目标函数值。
[0100]
步骤210、当相邻两次迭代的目标函数值之差小于预设阈值t，或者迭代次数达到最大迭代次数tn时，结束迭代，完成半监督代价敏感典型相关分析模型训练，否则，返回步骤206，进入下一次迭代，继续更新w
(1)
、w
(2)
和f。
[0101]
步骤c、利用半监督代价敏感典型相关分析模型中的代价敏感特征提取矩阵进行双源特征融合，得到鲁棒的人脸图像数据的特征表示。
[0102]
在本发明实施例中，人脸图像数据的特征表示x的表达式如下：
[0103][0104]
步骤d、根据人脸图像数据的特征表示，利用分类模型进行分类，得到人脸识别结果。
[0105]
训练人脸识别分类决策模型，本发明实施例采用支持向量机模型进行人脸识别。经过模型训练，可得分类模型y
pred
＝f
svm
(x)，其中，y
pred
表示输入x经由支持向量机模型f
svm
(
·
)分类预测，得到的类别标签矩阵。
[0106]
本发明将样本的错分代价信息h(i)和推断的样本类别标签信息fi，嵌入典型相关分析模型，设计了一种半监督代价敏感典型相关分析模型，用于在双源特征融合的同时，联合学习双源人脸图像的代价敏感特征提取矩阵w
(v)
和无标签人脸图像的标签信息f。双源人脸特征融合、代价敏感特征提取矩阵w
(v)
以及标签矩阵f的学习过程相互依赖，交替更新。这不仅建立了标签学习和代价敏感多视图学习之间的联系，有利于获得鲁棒的代价敏感特征提取矩阵w
(v)
；而且，通过定义代价敏感标签扩展项，有效利用了人脸图像的局部流形结构和训练集中少量监督样本的代价标签信息y
l
＝[y1,
…
,ym]，从而可提高预测标签f的准确度。此外，本发明学得的代价敏感特征提取矩阵w
(v)
最小化了人脸识别的整体错分损失，从而可提高人脸识别模型的分类性能。
[0107]
与现有技术相比，本发明同时兼顾了半监督、多视图以及代价敏感学习，能够有效提高人脸识别模型的分类性能，适应于真实人脸识别场景，能够获得更加准确可靠的人脸识别结果，具有较高的实用价值。
[0108]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。