一种基于双重对比学习的跨域人脸面部运动单元检测方法

本发明属于面部识别，尤其是涉及一种基于双重对比学习的跨域人脸面部运动单元检测方法。

背景技术：

1、面部表情是人们表达并传递情绪的一种自然方式，也是非语言沟通的重要手段。除了反映人的情绪及意图，面部表情也被广泛用于辅助诊断多种生理及精神疾病。自动化的面部表情分析是未来人机交互的关键步骤，也是情感计算的重要研究内容，具有广泛的需求和应用前景。人脸面部运动单元(action unit,au)检测是面部表情分析的重要一环。au标注具有极高的标注代价，已有研究表明，标注专家需要花费半个小时方能标注一分钟人脸视频。当已有的au检测模型应用于新环境和场景时，往往需要使用新场景的au数据和标签进行模型微调。如直接将au检测模型应用于跨域场景时，检测性能往往呈现显著下降。跨域性能的下降是由于不同数据集所依赖的图像传感器(即摄像机)、环境(即照明条件、视频采集背景)和被采集者(即种族、年龄、性别等)变化的导致的结果。因此，研究跨域au检测，即高效利用固定场景的标注au数据，在以及新场景的无标注数据，具有重要的研究意义和实用价值。

2、相关专利：cn113392822a、cn113780099a。cn113392822a是一种基于特征分离表征学习的面部运动单元检测方法及系统，使用特征分离编码器分离出与面部运动特征无关的信息，以提高面部运动单元检测准确率。cn113780099a提出了一种基于对抗学习的半监督面部运动单元检测方法和系统，构建基于光流融合的生成对抗网络模型用于实现对面部运动单元检测的精确检测。尽管这些方法提高了面部运动单元检测的精度，但是模型泛化能力不足，无法缓解或解决跨域au检测问题。

技术实现思路

1、本发明的目的是提供一种基于双重对比学习的跨域人脸面部运动单元检测方法，解决上述技术存在的对面部运动检测时模型泛化能力不足，跨域au检测难以缓解的问题。

2、为实现上述目的，本发明提供一种基于双重对比学习的跨域人脸面部运动单元检测方法，包括数据准备阶段、端到端模型设计阶段、端到端模型训练阶段和端到端模型测试阶段；所述数据准备阶段中使用源场景的au数据集及au标注和无标注的目标场景数据集；所述端到端模型设计阶段包括预准备、搭建模型架构和设计损失函数。

3、优选的，所述端到端模型设计阶段的具体过程如下：

4、s1、预准备，准备一个源域域特征提取器es，一个目标域域特征提取器et，一个au特征提取器eau，一个解码器dec，一个源域图像判别器ds，一个目标域图像判别器dt，以及由一层全连接层构成的分类器c；

5、s2、搭建模型架构，具体过程如下：

6、s21、输入原始源域图片ss0和原始目标域图片tt0；ss0分别经过eau和es，得到原始源域au特征和原始源域域特征tt0分别经过eau和et，得到原始目标域au特征和原始目标域域特征

7、s22、交叉生成，将和传入dec生成迁移目标域图片st1；将和传入dec生成迁移源域图片ts1；ts1分别经过eau和es，得到迁移源域au特征和迁移源域域特征st1分别经过eau和et，得到迁移目标域au特征和迁移目标域域特征

8、s23、重建，将和传入dec生成迁移源域重建图片ts2；将和传入dec生成迁移目标域重建图片st2；将和传入dec生成原始源域重建图片ss2；将和传入dec生成原始目标域重建图片tt2；ts2分别经过eau和es，得到迁移源域重建au特征和迁移源域重建域特征st2分别经过eau和et，得到迁移目标域重建au特征和迁移目标域重建域特征ss2分别经过eau和es，得到原始源域重建au特征和原始源域重建域特征tt2分别经过eau和et，得到原始目标域重建au特征和原始目标域重建域特征

9、s3、设计au多标签分类损失函数ltask、正交损失函数lorth、特征交叉损失函数lfeat、重建损失函数lrec、局部对比损失函数ldom、全局对比损失函数lcl、对抗生成损失函数ladv。

10、优选的，所述au多标签分类损失函数ltask通过被分类器c中的全连接层映射为au类别，然后经过sigmoid层得到预测值，经过二值交叉熵计算得到，具体表达式如下：

11、

12、式中n是au标签的类别，yc是第c个au的真实标签，是对应的预测值，lbce为二值交叉熵。

13、优选的，所述正交损失函数lorth通过对和和和和分别施加正交约束，然后求和后得到，具体表达式如下：

14、

15、式中，是平方弗罗贝尼乌斯范数；

16、所述特征交叉损失函数lfeat通过对和和和和分别计算均方差损失，然后求和得到，具体表达式如下：

17、

18、式中，是平方l2范数。

19、优选的，所述重建损失函数lrec利用绝对值损失函数约束原图的重建图像使解码器学会生成重建图像，具体表达式如下：

20、lrec＝||ss0-ss2||1+||tt0-tt2||1

21、式中，||·||1是均绝对误差。

22、优选的，所述局部对比损失函数ldom的表达式如下：

23、

24、式中，表示原始源域域特征，b表示批次的大小，表示第i个域特征；n表示与相同身份的特征的数量，ij表示与相同身份的特征在批次中的索引，m表示与不相同身份的特征的数量，ik表示与不相同身份的特征在批次中的索引；α表示距离。

25、优选的，所述全局对比损失函数lcl通过对比学习，首先输入原始图片ss0和tt0，迁移图片st1和ts1，以及重建图片ss2、tt2、st2和ts2的au特征和域特征，然后拼接每张图像的au特征和域特征，之后经过两层全连接层，得到该图像参与对比学习损失计算的特征；最后利用无监督对比学习损失函数指导模型学习得到，具体表达式如下：

26、

27、式中，b是批次大小，因此总共有8b张图片，对于每张图片的特征qj，有仅且有一张图片的特征k+是它的正样本，其它图片的特征皆为负样本，如果qj是原始图片或迁移图片的特征，则k+是qj对应的重建图像的特征，否则k+是qj对应的被重建图像的特征；温度系数τ是一个超参数。

28、优选的，所述对抗生成损失函数ladv通过利用对抗生成的思想约束交叉生成图像st1和ts1，采用迭代式训练得到，具体表达式如下：

29、

30、其中，表示期望。

31、优选的，所述端到端模型训练阶段的具体过程如下：

32、①、选择两组数据集，一个作为源域数据集s，另一个作为目标域数据集t，使用源域数据集s和目标域数据集t共有的au标签作为标签，将s整个数据集作为源域训练集ss，而t分为目标域训练集tt和验证集v；

33、②、将训练集ss和tt输入到端到端模型设计阶段的搭建好的模型架构中，利用批次随机梯度下降方法进行模型训练；采用迭代式训练，训练生成器，冻结判别器参数，具体表达式如下：

34、lgen＝ltask+lorth+lfeat+ldom+lrec+lcl+ladv

35、然后训练判别器，固定住生成器，具体表达式如下：

36、ldis＝-ladv

37、其中，lgen表示生成损失，ldis表示判别损失。

38、优选的，所述端到端模型测试阶段的具体过程如下：通过au特征提取器eau和分类器c，将验证集v输入eau提取au特征，再通过分类器c分类获得预测值。

39、因此，本发明采用上述一种基于双重对比学习的跨域人脸面部运动单元检测方法，具有以下有益效果：

40、(1)只提取面部运动单元这种域不变特征，以尽可能减少跨域导致的au检测性能衰退。通过设计au特征提取器和域特征提取器，用au特征提取器提取面部运动单元特征，用域特征提取器提取随环境变化的au无关特征，针对不同数据集，au特征提取器共享参数，域特征提取器采用独立参数；

41、(2)通过设计交叉生成图像的方式达到可视化特征解耦的效果；

42、(3)通过双重对比学习的思想，使au特征和域特征更好的解耦，从而提高au特征提取器提取au特征的能力；

43、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。