技术特征：
1.一种基于人脸感兴趣区域贡献度的跨数据集微表情识别方法，其特征在于，包括：s1、微表情样本预处理步骤，包括：s11、分别对源微表情数据集和目标微表情数据集进行采样，捕捉视频帧，分别按顺序排列得到源图像序列和目标图像序列；s12、对所述源图像序列和目标图像序列进行降采样，调整图像的尺寸；s13、对图像序列中人脸区域定位，以及对各图像序列进行面部图像裁剪，得到源面部图像序列和目标面部图像序列；s14、对每个面部图像序列中的第一帧图像进行人脸地标点检测，得到描述人脸关键位置的q个特征点；s15、利用所述特征点的坐标将面部图像划分成n个特定的互不重叠但又紧密相邻的感兴趣区域，其中，n＜q，且q，n均为正整数；s16、将各面部图像序列灰度化；s2、提取主方向平均光流特征步骤，计算各面部图像序列的光流场，提取mdmo特征，其中mdmo特征为基于光流的主方向平均光流特征；s3、根据源面部图像序列的特征分布特点，对目标样本的特征结构进行约束，目标样本是目标微表情数据集中的测试样本；s4、对源面部图像序列的mdmo特征建立组稀疏模型，对每个感兴趣区域的贡献度进行量化；s5、使用所述组稀疏模型对所述目标面部图像序列进行微表情种类识别，输出识别结果。2.根据权利要求1所述的微表情识别方法，其特征在于，步骤s13包括：对每个图像序列中的第一帧图像进行人脸检测，以定位面部区域，以原始矩形包围框的中心点作为基准，对该图像的前脸选框按照同等比例向四周进行外扩，得到面部区域；根据检测出的面部区域的位置和尺寸，对该图像序列中的其他图像进行区域裁剪操作，得到源面部图像序列和目标面部图像序列。3.根据权利要求1所述的微表情识别方法，其特征在于，步骤s15中根据人脸动作编码系统中的面部动作单元划分感兴趣区域，每个感兴趣区域都和面部动作单元相对应。4.根据权利要求1所述的微表情识别方法，其特征在于，步骤s16之后还包括：s17、对各面部图像序列的帧数归一化，采用时间插值模型对每个面部图像序列的帧数进行归一化。5.根据权利要求1所述的微表情识别方法，其特征在于，步骤s2中计算各面部图像序列的光流场的方法为：计算所述面部图像序列中除第一帧之外的每一帧f
i
(i＞1)和第一帧f1之间的光流向量[v
x
,v
y
]，并转换为极坐标(ρ,θ)的表达形式，其中v
x
和v
y
分别是光流运动速度的x分量和y分量，ρ和θ分别是光流运动速度的幅值和光流运动速度的角度。6.根据权利要求5所述的微表情识别方法，其特征在于，步骤s2中提取mdmo特征的方法为：在每一帧f
i
(i＞1)中，每一个感兴趣区域r
k
i(k＝1,2,
…
,n)中所有的光流向量，根据它们的角度分类为8个方向的bins，选择光流向量数量最多的bin作为主方向，记作bmax；
计算所有属于bmax的光流向量的平均值，将其定义为的主方向光流，符号化为的主方向光流，符号化为是光流运动速度的平均幅值，是光流运动速度的平均角度；通过一个原子光流特征ψ
i
来表示每一帧f
i
(i＞1)：ψ
i
的维数是2n，一个m帧的微表情视频片段γ可被表示为一组原子光流特征：γ＝(ψ2,ψ3,
…
,ψ
m
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)对所有ψ
i
(i＞1)中的取平均，即：取平均，即：为第k个感兴趣区域的主方向平均光流向量；对向量中的幅值做归一化处理：将公式(5)中的代入公式(4)并替换掉其中的得到一个新的2n维行向量作为描述视频片段γ的mdmo特征：7.根据权利要求1所述的微表情识别方法，其特征在于，步骤s3中对目标面部图像序列的特征结构进行约束的方法为：源面部图像序列的mdmo特征为目标面部图像序列的mdmo特征为其中d为特征向量的维数，n
s
和n
t
分别是源样本的个数和目标样本的个数，源样本是源微表情数据集中的训练样本，对所述目标样本的特征变换满足以下两个要求：s31、源样本的特征在此过程中应保持不变，即需要满足下面的条件：其中g是目标样本特征变换算子；s32、采用函数f
g
(x
s
,x
t
)作为公式(7)的正则项，得到目标函数：其中λ是权重系数，用于调节目标函数中两项的平衡；目标样本特征变换算子g通过核映射和线性投影操作确定。8.根据权利要求7所述的微表情识别方法，其特征在于，目标样本特征变换算子g的确定方法为：
通过一个核映射算子φ将源样本从原始特征空间投影到希尔伯特空间；通过一个投影矩阵φ(c)∈r
∞
×
d
将源样本从希尔伯特空间变换回原始特征空间，g可以表示为g(
·
)＝φ(c)
t
φ(
·
)的形式；公式(8)中的目标函数改写为：最小化目标函数在希尔伯特空间内的最大均值差异距离mmd；把mmd当作正则项f
g
(x
s
,x
t
)：其中h代表希尔伯特空间，1
s
和1
t
分别是长度为n
s
和n
t
且元素全为1的列向量；将公式(10)中的mmd变换为如下形式，作为f
g
(x
s
,x
t
)：将公式(11)中的f
g
(x
s
,x
t
)带入公式(9)，则目标函数变为：公式(12)通过计算核函数代替核空间中的内积运算，转换为可求解形式，包括：令φ(c)＝[φ(x
s
),φ(x
t
)]p，其中线性系数矩阵则公式(12)被改写为如下形式，作为最终的目标函数：其中四个核矩阵的计算公式为k
ss
＝φ(x
s
)
t
φ(x
s
)，k
st
＝φ(x
s
)
t
φ(x
t
)，k
ts
＝φ(x
t
)
t
φ(x
s
)和k
tt
＝φ(x
t
)
t
φ(x
t
)；在公式(13)中添加了一个关于p的l1范数作为目标函数的约束项，即其中p
i
是p的第i列，p的稀疏性通过加权系数μ调节。9.根据权利要求1所述的微表情识别方法，其特征在于，步骤s4中采用组作为稀疏表示单位，每个组由一个人脸感兴趣区域的mdmo特征矩阵构成，实现对每个人脸感兴趣区域的贡献度进行量化，包括：m个微表情训练样本对应的mdmo特征矩阵为x＝[x1,
…
,x
m
]∈r
d
×
m
，其中d是特征向量的维度，d＝2n；采用标签向量表示微表情的类别，包括：令l＝[l1,
…
,l
m
]∈r
c
×
m
表示特征矩阵x对应的标签矩阵，其中c是微表情的种类数；l的第k列l
k
＝[l
k,1
,
…
,l
k,c
]
t
(1≤k≤m)是一个列向量，其每个元素根据如下规则取值0或1：
所述标签向量是一组规范正交基，将其扩张成一个包含标签信息的向量空间，引入一个投影矩阵u来建立样本的特征空间和标签空间的联系，所述投影矩阵u通过求解目标函数来得到：公式(15)中的u
t
x通过矩阵分解改写为其中n是人脸感兴趣区域的数量，n＝36；x
i
是第i个感兴趣区域的mdmo特征矩阵；u
i
是x
i
对应的子投影矩阵；用置换公式(15)中的u
t
x，可以得到等价公式：在公式(16)中为每个感兴趣区域引入一个加权系数β
i
，并添加一个有关β
i
的非负l1范数作为正则项，形成线性的组稀疏模型：其中μ是一个权衡系数，决定着学习到的权重向量β中非零元素的个数；把所述组稀疏模型的的线性内核扩展为非线性内核，利用非线性映射φ:r
d
→
f把x
i
和u
i
映射到核空间f，也就是用和分别替换公式(17)中的x
i
和u
i
：通过核函数取代核空间中的内积运算，在核空间f中，通过核函数取代核空间中的内积运算，在核空间f中，的每一列可以表示为即的线性组合，其中p
j
是线性系数向量；故可由表示，其中p＝[p1,
…
,p
c
]；将代入公式(18)，并增加一个关于p的l1范数作为约束项，以确保p
j
的稀疏性并避免在优化目标函数时发生过拟合，得到组稀疏模型的最终形式：其中是格拉姆矩阵；λ是加权系数，用于调节p的稀疏性；采用交替方向法求解公式(19)的优化问题，即:交替迭代更新参数p和β
i
的值，直到目标函数收敛。10.根据权利要求1所述的微表情识别方法，其特征在于，步骤s5包括：对源微表情数据集中的训练样本，通过迭代学习到最优的参数值和后，采用组稀疏模型作为分类器对目标数据集中的测试样本进行标签向量的预测，即微表情的种类识别；测试样本的特征向量为x
t
∈r
72
×1，预测所述测试样本的标签向量l
t
：
其中通过组稀疏模型学习时选择的核函数计算获得；为标签向量，则该测试样本的微表情种类为其中表示的第k个元素。
技术总结
本发明公开了一种基于人脸感兴趣区域贡献度的跨数据集微表情识别方法，包括：S1、微表情样本预处理步骤；S2、提取主方向平均光流特征步骤，计算各面部图像序列的光流场，提取MDMO特征；S3、根据源面部图像序列的特征分布特点，对目标样本的特征结构进行约束；S4、对源面部图像序列的MDMO特征建立组稀疏模型，对每个感兴趣区域的贡献度进行量化；S5、使用所述组稀疏模型对所述目标面部图像序列进行微表情种类识别，输出识别结果。本发明的方法，识别准确率更高，而且针对不同目标数据集和不同微表情类别的分类稳定性更好，对具有不同特点的测试样本均表现出较强的适应性，能够大幅度提升跨数据集微表情识别的性能。升跨数据集微表情识别的性能。升跨数据集微表情识别的性能。
技术研发人员：于堃
受保护的技术使用者：山东外贸职业学院
技术研发日：2021.08.06
技术公布日：2022/1/25