一种基于标签特征信息分布学习的人脸表情识别方法及系统与流程

本技术涉及人脸表情识别方法，特别是涉及一种基于标签特征信息分布学习的人脸表情识别方法及系统。

背景技术：

1、由于人脸表情识别在医疗保健、视频监控、人机交互中发挥着重要作用，因此受到研究界和企业界的广泛关注。最新的人脸表情识别方法利用深度学习方法，获得了比手工特征方法更好的结果。具体而言，现有方法首先通过将人脸表情分为与基本普遍情绪相对应的离散类别，然后利用面部五官特征实现人脸表情识别。

2、人脸表情识别的一个挑战性问题是由于人脸表情定义的主观性和固有的类间相似性，使得模型难以判别那些存在类别模糊性或歧义性的人脸表情，从而导致人脸表情识别精度的降低。

3、为了克服这一挑战，azadi等人提出首先利用预训练的模型提取精确的人脸表情特征，再结合噪声人脸表情特征提高模型精度。王奕森等人利用噪声容忍损失函数来提高模型的鲁棒性。王凯等人则首先度量采集到的脸部特征属于不同类别的概率，再利用脸部特征分属不同类别的加权策略来提高模型的识别精度。张宇航等人则将脸部特征分属不同类别的概率视为权重，并设计一个累加损失实现脸部特征来自不同类别概率的判断。

4、解决人脸表情识别过程中类别歧义的另一种方法是标签分布学习。贾修一等人利用局部低秩结构隐式捕获局部标签相关性，并利用捕获的局部标签相关性达到更为准确描述面部表情的目的。赵曾群等人首先利用局部特征提取器和信道空间调制器提取局部和全局显著的面部特征，然后引入一种简单有效的标签分布学习方法实现人脸表情识别。佘家辉等人首先引入一个多分支学习框架，用以更好挖掘和描述标签间的潜在分布规律；然后，利用标签间语义特征的成对关系，估计标签的模糊程度。tuong do等人介绍了一种自评估分类器，它同时利用人脸图像特征标注和前k个预测结果重新评估分类结果，以提高人脸表情识别结果。

5、在解决人脸表情具有模糊性或歧义性这个挑战性问题，也就是训练模型难以判别那些类别不确定的面部表情时，现有的人脸表情识别方法只专注于提高那些被错误标记数据的准确性，而没有解决那些面部表情类别不确定的问题；有些方法要么在很大程度上依赖于具有局部线性的人脸特征进行表情识别，要么只使用挖掘的标签分布信息正则化模型的训练过程，而不是直接对标签分布信息进行学习。

6、因此，有必要提出一种基于标签特征信息分布学习的人脸表情识别方法及系统。

技术实现思路

1、为了解决上述技术缺陷之一，克服人脸表情识别过程中的类别不确定的问题，本技术实施例中提供了一种基于标签特征信息分布学习的人脸表情识别方法及系统。

2、根据本技术实施例的第一个方面，提供了一种基于标签特征信息分布学习的人脸表情识别方法，其特征在于，包括以下步骤：

3、s1、计算给定图片与相邻图片间的自适应相似性度量；

4、s2、构建给定图片不确定标签信息的特征分布；

5、s3、引入符合不确定标签信息分布的损失函数。

6、作为进一步地，所述步骤s1包括以下步骤：

7、s11、在valence-arousal空间，基于k最近邻法计算给定图像 x i与其它图像间的距离，确定给定图像的k个邻域图像n( x i)；

8、然后，利用下面公式计算给定图像 x i与每个邻域图像间 x k的局部相似性，

9、，

10、上式中的 f i表示给定图像 x i在valence-arousal空间下的特征， f k表示邻域图像 x k在valence-arousal空间下的特征，λ为防止自适应相似值为零的超参数；

11、s12、由于valence-arousal空间的特征信息可能不够准确，从而导致 as k i的计算存在一定误差，因此采用如下式所示的自适应相似性度量纠正这些潜在的误差：

12、，

13、上式中的 g i表示利用五层残差网络获得的给定图像 x i的特征， g k表示利用五层残差网络获得的邻域图像 x k的特征，c[·]表示拼接操作；

14、s13、对于给定图像 x i，其邻域图像n( x i)最终的贡献度可表示为局部相似性和自适应相似性的乘积：

15、。

16、作为进一步地，所述步骤s2包括：

17、在获得每张邻域图像n( x i)对于给定图像 x i贡献度的基础上，利用下式表示的逻辑标签和聚合分布计算给定图像 x i的标签特征信息：，

18、上式中的f( x k)表示利用本技术设计的网络模型获得的图像 x k的特征，

19、 a i表示手动标注的类别信息，

20、 β i表示给定图像 x i的类别信息的不确定因子系数，用以平衡给定的标签信息和来自邻域图像聚合标签信息间的平衡。

21、作为进一步地，所述步骤s2中，

22、（1） β i的值越小，表示给定的标签 a i与聚合标签越不一致；

23、（2） β i的值越大，表示给定的标签 a i与聚合标签越接近。

24、作为进一步地，所述步骤s3中包括：

25、本技术的损失函数表达式如下所述：

26、，

27、上式中的 y i表示给定图像 x i的类别信息，分别表示第m类别、第n个类别、第 y i个类别的中心。

28、作为进一步地，所述步骤s3中，

29、损失函数的第一项用于确保每张图像的特征向量都接近其类别中心，

30、损失函数的第二项用于通过扩大不同类别中心的距离来提高类别间的区分度，

31、损失函数的第三项用于提高每张图像的特征向量都接近其给定类别。

32、根据本技术实施例的第二个方面，提供了一种基于标签特征信息分布学习的人脸表情识别系统，应用于如上述所述的基于标签特征信息分布学习的人脸表情识别方法。

33、采用本技术实施例中提供的一种基于标签特征信息分布学习的人脸表情识别方法及系统，首先利用自适应相似性有效弥补了valence-arousal特征的误差，并准确测量了每张相邻图像的贡献度；然后，结合给定图像的类别标签信息和相邻图像的类别特征信息构建给定图像的类别标签特征信息分布，从而有效刻画人脸表情的类别特征信息。通过大量公开数据集及自行采集数据集的实验结果表明，在人脸表情类别不确定的条件下，本技术所提方法可实现人脸表情类别的准确识别。