基于自监督学习技术的被遮挡的人脸表情识别方法及应用与流程

1.本发明属于遮挡表情识别，情感计算，自监督学习领域，具体的说是一种基于自监督学习技术的被遮挡的人脸表情识别方法及应用。


背景技术：

2.被遮挡的人脸表情识别作为人脸表情识别的一种复杂情况，在真实生产、生活中有着广泛的应用。现有的被遮挡的人脸表情识别方法主要分为四类，分别是：基于鲁棒人脸特征的方法、基于无遮挡的人脸图像重建的方法、基于子区域分析的方法和基于无遮挡的人脸图像辅助的方法。基于鲁棒人脸特征的方法旨在找到一种对遮挡不敏感，但对不同表情具有可区分性的特征表示。但遮挡可能在人脸图像中的任意位置上出现，因此很难找到一种对遮挡具有鲁棒性的人脸特征表示；基于无遮挡的人脸图像重建的方法旨在使用生成模型重建待识别图像的无遮挡版本，然后根据重建后的图像进行表情分类。但是生成的图像的真实度通常都不高，这直接影响了面部表情识别的性能；基于子区域分析的方法将图像划分为若干区域，再从这些子区域和整个图像中进行面部表情识别。一般来说进行面部子区域分割会使用到面部关键点检测和注意力机制技术，但对被遮挡的面部图像进行面部关键点检测仍然是具有挑战性的，这也影响了该类方法对面部表情识别的精度；基于无遮挡的人脸图像辅助的方法通常采用无遮挡人脸图像作为特权信息来辅助被遮挡的人脸表情识别。在训练过程中，这些方法一般会构建两个网络：一个用于无遮挡的人脸表情识别，另一个用于被遮挡的人脸表情识别。在测试过程中，这些方法假设所有的人脸图像都被遮挡，只使用被遮挡的人脸表情识别网络进行识别。但是在现实场景中人们无法知道人脸图像是否是被遮挡的。此外，上述所有方法都需要完整的表情标注图像进行训练，但因为遮挡部分的类型和位置是无限的，为这些方法收集具有各种表情和遮挡的大规模图像数据集是十分困难的。


技术实现要素：

3.本发明是为了解决上述现有技术存在的不足之处，提出一种基于自监督学习技术的被遮挡的人脸表情识别方法及应用，以期能使用无遮挡人脸和遮挡图案位置信息协助被遮挡人脸表情的识别，从而能提升被遮挡人脸表情识别的准确率。
4.本发明为达到上述发明目的，采用如下技术方案：
5.本发明一种基于自监督学习的被遮挡人脸表情识别方法的特点是按如下步骤进行：
6.步骤1、对包含无标签人脸图像的数据库进行图像预处理：
7.根据数据库中每张图像的人脸关键点信息，对包含无标签人脸图像的数据库中的每张图像进行尺寸裁剪、缩放和旋转的操作，使得图像中的人脸处于在中间位置后，得到处理后的图像集，记作其中，n
p
表示训练样本的总数，表示
第i张无遮挡的人脸图像；h代表图像的高度，w代表图像的宽度；
8.从nc种遮挡图案中随机选择的一种遮挡图案并随机添加到第i张无遮挡的人脸图像上，生成第i张有遮挡的人脸图像且对应的遮挡掩码记为m(i)∈{0,1}h×w；
9.将处理后的图像集经过合成后的被遮挡图像集及其对应的遮挡掩码集记作自监督学习的前置任务阶段数据集
10.步骤2、构建自监督学习的前置任务阶段网络模型，包括：前置特征提取器fb，图像特征提取器f，遮挡识别器uo和特征映射头r；
11.前置特征提取器fb由输入卷积层、批归一化层和relu激活函数构成；
12.图像特征提取器f由最大池化层、resnet特征提取层和均值池化层构成；
13.遮挡识别器uo由输入卷积层、上采样卷积层和输出卷积层构成，输入卷积层和上采样卷积层后均接入批归一化层和relu激活函数，输出卷积层后接入批归一化层；
14.特征映射头r由输入线性层、relu激活函数和输出线性层构成；
15.遮挡识别器uo和特征映射头r中的参数需要进行初始化；
16.步骤3、构造相似性损失和遮挡识别损失；
17.步骤3.1、相似性损失：
18.步骤3.1.1、将所述第i张无遮挡的人脸图像输入所述前置特征提取器fb中进行处理，得到第i个无遮挡前置特征
19.将所述第i张有遮挡的人脸图像输入所述前置特征提取器fb中进行处理，得到第i个有遮挡前置特征
20.步骤3.1.2、将所述无遮挡前置特征输入所述图像特征提取器f中进行处理，得到无遮挡中间特征
21.将所述有遮挡前置特征输入所述图像特征提取器f中进行处理，得到有遮挡中间特征
22.步骤3.1.3、将所述无遮挡中间特征输入所述特征映射头r中进行处理，得到无遮挡面部表示
23.将所述有遮挡中间特征输入所述特征映射头r中进行处理，得到有遮挡面部表示示
24.步骤3.1.4利用式(1)构建相似性损失函数
[0025][0026]
式(1)中，和分别表示和的相似性损失，并由式(2)和式(3)得到：
[0027][0028][0029]
式(2)和式(3)中，τ表示温度参数，sim()表示余弦相似度函数；z表示除之外的所有面部表示的集合中的任意一个面部表示，z'表示除之外的所有面部表示的集合中的任意一个面部表示；
[0030]
步骤3.2、遮挡识别损失：
[0031]
步骤3.2.1、将所述有遮挡前置特征输入所述遮挡识别器uo中进行处理，得到遮挡预测矩阵
[0032]
步骤3.2.3、利用式(4)构建遮挡识别损失函数
[0033][0034]
式(4)中，m[g,k]表示遮挡掩码m(i)中第g行第k列的像素点是否属于遮挡图案，表示遮挡预测矩阵中第g行第k列的像素点属于遮挡图案的预测概率；
[0035]
步骤4、使用梯度下降法对自监督学习的前置任务阶段网络模型参数进行优化；
[0036]
步骤4.1、利用式(5)构建自监督学习的前置任务阶段网络模型的总损失函数函数
[0037][0038]
式(5)中，λ
ss
和λ
mask
分别是控制相似性损失和遮挡识别损失权重的权重因子；
[0039]
步骤4.2、设置外部的总训练步数为k，外部的当前训练步数为k；设置内部的总训练步数为kb，内部的当前训练步数为kb；设置训练中每次采样的样本数为b；初始化k＝1，kb＝1；
[0040]
步骤4.3、从自监督学习的前置任务阶段数据集中进行外部第k次内部第kb次随机不放回的取出b组样本并作为外部第k次内部第kb次迭代的训练样本；其中，表示所述第j张无遮挡的人脸图像，表示所述第j张有遮挡的人脸图像，m
(j)
表示所述第j张有遮挡图像对应的遮挡掩码；
[0041]
步骤4.4、将外部第k次内部第kb次迭代的训练样本输入自监督学习的前置任务阶段网络模型中，并使用梯度下降法对所述自监督学习的前置任务阶段网络模型进行训练，同时计算总损失函数函数以外部第k次内部第kb次更新网络模型参数；
[0042]
步骤4.5、将kb+1赋值给kb后，判断kb*b≥n
p
是否成立，若成立，则执行步骤4.6，否则返回步骤4.3继续执行；
[0043]
步骤4.6、将k+1赋值给k后，判断k≥k是否成立，若成立，则表示自监督学习的前置任务阶段网络模型训练结束，并得到自监督学习的前置任务阶段训练后的前置特征提取器f'b，图像特征提取器f'，遮挡识别器u'o和特征映射头r'，执行步骤5，否则，初始化kb＝1后，返回步骤4.3继续执行；
[0044]
步骤5、对包含具有n类人脸表情图像的数据库进行图像预处理；
[0045]
对数据库中所有的人脸图像进行裁剪、缩放和旋转操作，得到归一化后的人脸图像数据集共有n
fo
+n
fc
个训练样本，其中，表示无遮挡的人脸图像，是向中添加遮挡之后的有遮挡的人脸图像，y
(i')
∈{0,1,
…
,n
e-1}表示第i'个样本的表情标签；
[0046]
步骤6、构建自监督学习的下游任务阶段网络模型，包括自监督学习的前置任务阶段训练后的前置特征提取器f'b，自监督学习的前置任务阶段训练后的图像特征提取器f'和表情分类器c；
[0047]
表情分类器c依次由一个线性层、一个批归一化层、一个relu激活函数、一个线性层、一个批归一化层、一个relu激活函数和一个线性层组成，其中线性层参数需要进行初始化；
[0048]
步骤7、构造分类损失；
[0049]
步骤7.1、从所述中任意取一对样本与他们的真实标签将样本输入所述前置特征提取器f'b，得到前置特征将样本输入所述前置特征提取器f'b，得到前置特征
[0050]
步骤7.2、将所述前置特征分别输入所述图像特征提取器f'，得到中间特征分别输入所述图像特征提取器f'，得到中间特征将所述前置特征分别输入所述图像特征提取器f'，得到中间特征
[0051]
步骤7.3、将所述中间特征输入表情分类器c，得到分类概率向量将所述中间特征输入表情分类器c，得到分类概率向量
[0052]
步骤7.4、利用式(6)构建分类损失
[0053][0054]
式(6)中，表示交叉熵损失函数，softmax表示softmax函数；
[0055]
步骤8、使用梯度下降法对自监督学习的下游任务阶段网络模型参数进行优化；
[0056]
步骤8.1、设置总的训练步数为k'，当前总的训练步数为k'；设置内部的训练步数为k'b，当前内部的训练步数为k'b；设置训练中每次采样的样本数为b'；初始化k',k'b为1；
[0057]
步骤8.2、从所述中进行外部第k'次内部第k'b次随机不放回的取出b'组样本并作为外部第k'次内部第k'b次迭代的训练样本；
[0058]
步骤8.3、将训练样本输入自监督学习的下游任务阶段网络模型，使用梯度下降法根据式(6)优化前置特征提取器f'b，图像特征提取器f'和表情分类器c；
[0059]
步骤8.4、将k'b+1赋值给k'b后，判断k'b*b'≥n
fo
是否成立，若成立，则执行步骤8.5，否则，返回步骤8.2继续执行；
[0060]
步骤8.5、将k'+1赋值给k'后，判断k'≥k'是否成立，若成立，则表示自监督学习的下游任务阶段网络模型训练结束，并得到自监督学习的下游任务阶段训练后的前置特征提取器f”b
，图像特征提取器f”和表情分类器c'，执行步骤9，否则，将初始化k'b＝1后，返回步骤8.2继续执行；
[0061]
步骤9、利用训练好的自监督学习的下游任务阶段训练后的前置特征提取器f”b
，图像特征提取器f”和表情分类器c'对待测的人脸图像进行预测，以实现人脸表情的分类识别。
[0062]
本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述被遮挡人脸表情识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0063]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述被遮挡人脸表情识别方法的步骤。
[0064]
与现有技术相比，本发明的有益效果在于：
[0065]
1、本发明通过提出向无遮挡的人脸图像添加遮挡图案的方法生成被遮挡的人脸表情图像，并使用在这一过程中的无遮挡人脸图像和遮挡图案的位置信息来辅助进行被遮挡的人脸图像的表情识别。解决了现有的被遮挡表情识别方法受限于样本数量、多样性的问题，实现了效果更为优秀的被遮挡人脸表情识别。
[0066]
2、本发明通过提出使用对比学习的技术，以相似性损失衡量无遮挡人脸图像特征与有遮挡人脸图像特征之间的差距，使得有遮挡人脸图像的特征表示更趋近与相同表情的无遮挡人脸图像的特征表示，指导了网络从有遮挡人脸图像中提取对遮挡更具有鲁棒性的特征表示，提升了在实际环境中的可用性。
[0067]
3、本发明通过提出遮挡预测损失，使得网络能够预测出有遮挡图像上遮挡图案的位置，并更少的关注遮挡图案区域上的信息，以此降低遮挡带来的影响，提高所提取特征表示与表情的相关性，有效提升了被遮挡表情的识别准确率。
[0068]
4、本发明通过提出使用自监督学习技术，通过在自监督学习的前置任务阶段中应
用相似性损失和遮挡预测损失，为自监督学习的下游任务阶段提供一个具有更好初始参数的特征提取器，在提高被遮挡人脸表情识别率的同时也使得该方法能够更容易的迁移到其他数据集上，拥有更佳的泛化能力。
附图说明
[0069]
图1为本发明模型自监督学习的前置任务阶段的框架图。
[0070]
图2为本发明模型自监督学习的下游任务阶段的框架图。
具体实施方式
[0071]
本实施例中，如图1所示，一种基于自监督学习的被遮挡人脸表情识别方法的前置任务阶段是按如下步骤进行：
[0072]
步骤1、对包含无标签人脸图像的数据库进行图像预处理：
[0073]
根据数据库中每张图像的人脸关键点信息，对包含无标签人脸图像的数据库中的每张图像进行尺寸裁剪、缩放和旋转的操作，使得图像中的人脸处于在中间位置后，得到处理后的图像集，记作其中，n
p
表示训练样本的总数，表示第i张无遮挡的人脸图像；h代表图像的高度，w代表图像的宽度；本实施例中，经过归一化处理后的所有人脸图像的像素大小为224
×
224；即h＝224，w＝224。使用vggface2作为无标签人脸图像数据库，vggface2包含来自9131个人的3141890张图像，该数据库是从google image search下载的，在种族、年龄和姿势方面有很大差异，在本实施例中作为自监督学习的前置任务阶段数据集使用，即n
p
＝3141890；
[0074]
从nc种遮挡图案中随机选择的一种遮挡图案并随机添加到第i张无遮挡的人脸图像上，生成第i张有遮挡的人脸图像且对应的遮挡掩码记为m(i)∈{0,1}h×w；本实施例中，nc＝15，分别为5种手部遮挡图案，5种食物遮挡图案和5种饮品遮挡图案。
[0075]
将处理后的图像集经过合成后的被遮挡图像集及其对应的遮挡掩码集记作自监督学习的前置任务阶段数据集
[0076]
步骤2、构建自监督学习的前置任务阶段网络模型，包括：前置特征提取器fb，图像特征提取器f，遮挡识别器uo和特征映射头r；
[0077]
本实施例中，前置特征提取器fb依次由一个输入卷积层、一个批归一化层和一个relu激活函数构成；本实施例中，输入卷积层、批归一化层和relu激活函数均由resnet34预训练网络提供，分别为resnet34.conv1、resnet34.bn1和resnet34.relu；
[0078]
图像特征提取器f依次由一个最大池化层、四个resnet特征提取层和一个均值池化层构成；本实施例中，最大池化层和四个resnet特征提取层均由resnet34预训练网络提供，分别为resnet34.maxpool和resnet34.layer1-4，均值池化层为尺寸为1
×
1的自适应均值池化层；
[0079]
遮挡识别器uo依次由一个输入卷积层(本实施例中该卷积层设置为输入通道数为64，输出通道数为32，卷积核尺寸为3
×
3，填充为1)、一个上采样卷积层(本实施例中该卷积
层设置为尺度因子为2，采样模式为bilinear)和一个输出卷积层(本实施例中该卷积层设置为输入通道数为32，输出通道数为1，卷积核尺寸为3
×
3，填充为1)构成，输入卷积层和上采样卷积层后均接入一个批归一化层(本实施例中批归一化特征数为32)和relu激活函数，输出卷积层后接入一个批归一化层(本实施例中批归一化特征数为1)；
[0080]
本实施例中，特征映射头r依次由一个输入线性层(本实施例中该线性层输入数量为512，输出数量为128)、一个relu激活函数和一个输出线性层(本实施例中该线性层输入数量为128，输出数量为128)构成；
[0081]
遮挡识别器uo和特征映射头r中的参数需要进行初始化；本实施例中所有的卷积层使用kaiming正态分布进行权值初始化，如果卷积层中存在偏移量则将偏移量初始化为常数0、所有批归一化层中的权重均初始化为常数1、所有批归一化层中的偏移量初始化为常数0、所有的线性层均使用正态分布初始化权值(均值为0，方差为0.005的正态分布)，线性层中的偏移量初始化为常数0；
[0082]
步骤3、构造相似性损失和遮挡识别损失；
[0083]
步骤3.1、相似性损失：
[0084]
步骤3.1.1、将第i张无遮挡的人脸图像输入前置特征提取器fb中进行处理，得到第i个无遮挡前置特征
[0085]
将第i张有遮挡的人脸图像输入前置特征提取器fb中进行处理，得到第i个有遮挡前置特征
[0086]
步骤3.1.2、将无遮挡前置特征输入图像特征提取器f中进行处理，得到无遮挡中间特征
[0087]
将有遮挡前置特征输入图像特征提取器f中进行处理，得到有遮挡中间特征输入图像特征提取器f中进行处理，得到有遮挡中间特征
[0088]
步骤3.1.3、将无遮挡中间特征输入特征映射头r中进行处理，得到无遮挡面部表示
[0089]
将有遮挡中间特征输入特征映射头r中进行处理，得到有遮挡面部表示
[0090]
步骤3.1.4本方法期望相同人脸的有遮挡面部表示和无遮挡面部表示是相似的，而对比学习最大化正对之间的相似性，最小化负对之间的相似性的特点满足了本方法的需要，所以本方法根据对比学习的思想利用式(1)构建相似性损失函数
[0091]
[0092]
由于是从变换得到的，其特征应当更为相似，因此本方法将视为正对，将和视为负对，所以有式(1)中，和分别表示和的相似性损失，并由式(2)和式(3)得到：
[0093][0094][0095]
式(2)和式(3)中，τ表示温度参数，sim()表示余弦相似度函数作为相似度度量方法；z表示除之外的所有面部表示的集合中的任意一个面部表示，z'表示除之外的所有面部表示的集合中的任意一个面部表示；
[0096]
步骤3.2、遮挡识别损失：
[0097]
步骤3.2.1、在人脸图像中，被遮挡的区域通常仅包含较少的甚至不包含关于表情的信息，如果网络能够得知遮挡所在的位置，并更少的关注被遮挡区域上的信息，那么遮挡带来的影响就会更小，网络也能够获得与表情更相关的特征，因此本方法将有遮挡前置特征输入遮挡识别器uo中进行处理，得到遮挡预测矩阵
[0098]
步骤3.2.3、利用类似交叉熵的思想监督网络预测遮挡位置的结果，因此有式(4)构建遮挡识别损失函数
[0099][0100]
式(4)中，m[g,k]表示遮挡掩码m(i)中第g行第k列的像素点是否属于遮挡图案，表示遮挡预测矩阵中第g行第k列的像素点属于遮挡图案的预测概率；
[0101]
步骤4、使用梯度下降法对自监督学习的前置任务阶段网络模型的参数进行优化；
[0102]
步骤4.1、利用式(5)构建自监督学习的前置任务阶段网络模型的总损失函数函数
[0103][0104]
式(5)中，λ
ss
和λ
mask
分别是控制相似性损失和遮挡识别损失权重的权重因子(本实施例中λ
ss
＝5，λ
mask
＝1)；
[0105]
步骤4.2、本实施例中，设置外部的总训练步数为k＝2，外部的当前训练步数为k；设置内部的总训练步数为kb＝4910，内部的当前训练步数为kb；设置训练中每次采样的样本数为b＝64；初始化k＝1，kb＝1；
[0106]
步骤4.3、从自监督学习的前置任务阶段数据集中进行外部第k次内部第kb次随机不放回的取出b组样本并作为外部第k次内部第kb次迭代的训练样
本；其中，表示第j张无遮挡的人脸图像，表示第j张有遮挡的人脸图像，m
(j)
表示第j张有遮挡图像对应的遮挡掩码；
[0107]
步骤4.4、将外部第k次内部第kb次迭代的训练样本输入自监督学习的前置任务阶段网络模型中，并使用梯度下降法对自监督学习的前置任务阶段网络模型进行训练，同时计算总损失函数函数以外部第k次内部第kb次更新网络模型参数；
[0108]
步骤4.5、将kb+1赋值给kb后，判断是否全部训练样本已经被取出，即判断kb*b≥n
p
是否成立，若成立，则执行步骤4.6，否则返回步骤4.3继续执行；
[0109]
步骤4.6、将k+1赋值给k后，判断k≥k是否成立，若成立，则表示自监督学习的前置任务阶段网络模型训练结束，并得到自监督学习的前置任务阶段训练后的前置特征提取器f'b，图像特征提取器f'，遮挡识别器u'o和特征映射头r'，作为下一阶段的初始网络，执行步骤5，否则，初始化kb＝1后，返回步骤4.3继续执行；
[0110]
本实施例中，如图2所示，一种基于自监督学习的被遮挡人脸表情识别方法的下游任务阶段是按如下步骤进行：
[0111]
步骤5、对包含具有n类人脸表情图像的数据库进行图像预处理；
[0112]
对数据库中所有的人脸图像进行裁剪、缩放和旋转操作，得到归一化后的人脸图像数据集共有n
fo
+n
fc
个训练样本，其中表示无遮挡的人脸图像，是向中添加遮挡之后的有遮挡的人脸图像，y
(i')
∈{0,1,
…
,n
e-1}表示第i'个样本的表情标签。本实施例中共在三个数据库进行了后续操作，分别为raf-db、affectnet和ck+。在raf-db中本方法将所有人脸图像归一化处理为224
×
224的像素大小；即h＝224，w＝224，n
fo
＝n
fc
＝12271，ne＝7；在affectnet中本方法将所有人脸图像归一化处理为224
×
224的像素大小；即h＝224，w＝224，n
fo
＝n
fc
＝287651，ne＝7；在affectnet中本方法将所有人脸图像归一化处理为48
×
48的像素大小；即h＝48，w＝48，n
fo
＝n
fc
＝636，ne＝7；
[0113]
步骤6、构建自监督学习的下游任务阶段网络模型，包括自监督学习的前置任务阶段训练后的前置特征提取器f'b，自监督学习的前置任务阶段训练后的图像特征提取器f'和表情分类器c；
[0114]
表情分类器c依次由一个线性层(本实施例中该线性层设置为输入数为512，输出数为256)、一个批归一化层(本实施例中批归一化特征数为256)、一个relu激活函数、一个线性层(本实施例中该线性层设置为输入数为256，输出数为128)、一个批归一化层(本实施例中批归一化特征数为128)、一个relu激活函数和一个线性层(本实施例中该线性层设置为输入数为128，输出数为128)组成，其中线性层参数需要进行初始化(本实施例中都使用正态分布初始化权值(均值为0，方差为0.003的正态分布)，偏移量初始化为常数0)；
[0115]
步骤7、构造分类损失；
[0116]
步骤7.1、从中任意取一对样本与他们的真实标签将样
本输入前置特征提取器f'b，得到前置特征将样本输入前置特征提取器f'b，得到前置特征
[0117]
步骤7.2、将的前置特征分别输入图像特征提取器f'，得到中间特征将的前置特征分别输入图像特征提取器f'，得到中间特征
[0118]
步骤7.3、将中间特征输入表情分类器c，得到分类概率向量将中间特征输入表情分类器c，得到分类概率向量
[0119]
步骤7.4、使用交叉熵损失来优化该分类任务，即利用式(6)构建分类损失
[0120][0121]
其中，表示交叉熵损失函数，softmax表示softmax函数。
[0122]
步骤8、使用梯度下降法对自监督学习的下游任务阶段网络模型参数进行优化；
[0123]
步骤8.1、本实施例中，设置总的训练步数为k'＝20，当前总的训练步数为k'；设置内部的训练步数为k'b(在raf-db上k'b＝31；在affectnet上k'b＝411；在raf-db上k'b＝8；)，当前内部的训练步数为k'b；设置训练中每次采样的样本数为b'＝64；初始化k',k'b为1；
[0124]
步骤8.2、从中进行外部第k'次内部第k'b次随机不放回的取出b'组样本并作为外部第k'次内部第k'b次迭代的训练样本；
[0125]
步骤8.3、将训练样本输入自监督学习的下游任务阶段网络模型，使用梯度下降法根据式(6)优化前置特征提取器f'b，图像特征提取器f'和表情分类器c。
[0126]
步骤8.4、将k'b+1赋值给k'b后，判断是否全部训练样本已经被取出，即判断k'b*b'≥n
fo
是否成立，若成立，则执行步骤8.5，否则返回步骤8.2继续执行；
[0127]
步骤8.5、将k'+1赋值给k'后，判断k'≥k'是否成立，若成立，则表示自监督学习的下游任务阶段网络模型训练结束，并得到自监督学习的下游任务阶段训练后的前置特征提取器f”b
，图像特征提取器f”和表情分类器c'，执行步骤9，否则将1赋值给k'b后返回步骤8.2继续执行；
[0128]
步骤9、利用训练好的自监督学习的下游任务阶段训练后的前置特征提取器f”b
，图像特征提取器f”和表情分类器c'对待测的人脸图像进行预测，以实现人脸表情的分类识别。
[0129]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行该被遮挡人脸表情识别方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0130]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行该被遮挡人脸表情识别方法的步骤。