人脸图像质量评价方法、电子设备及存储介质与流程

1.本发明涉及图像处理领域，特别涉及一种人脸图像质量评价方法、电子设备及存储介质。


背景技术：

2.摄像头拍摄人脸时，因为遮挡、光照、姿态等复杂情况，常常产生质量不一的人脸图像。目前评价人脸在图像中的质量的方法较少，常用的方法之一是从人脸的各个属性出发进行评价。比如，设计和训练人脸图像的光照情况、模糊程度、遮挡情况、人脸姿态角等属性的检测器，再根据这些属性，结合业内专家的经验，给出综合的人脸图像质量分数。然而，这种方法过于繁琐，需要设计的子模块较多，且搜集不同人脸属性的有标签数据通常也需耗费不少人力物力。
3.另外一种常用的人脸质量评价方法从人脸识别模型出发，通过人脸识别模型提取人脸图像特征，再依据相同人脸特征相似，不同人脸特征相异的特点，对人脸图像质量评分。然而，这种方法的可解释性差，人眼看起来质量很好的人脸图像，经常被评价为差质量，人眼看起来质量很差的人脸图像，经常被评价为好质量。因此，这种人脸质量评价通常只能服务具体的人脸识别模型，不具备通用性。


技术实现要素：

4.本发明实施方式的目的在于提供一种人脸图像质量评价方法、电子设备及存储介质，该方案不需要人工标注数据，可以无监督训练，得到能够对人脸图像质量评价的模型，并且模型对人脸图像质量评价的结果符合人类主观感觉，可解释性强。
5.为解决上述技术问题，本发明的实施方式提供了一种人脸图像质量评价方法，包括：
6.以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；
7.对由两个n维高斯函数构成的混合高斯函数，以所述n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到所述混合高斯函数的均值和协方差；
8.将所述人脸图像中好质量的人脸图像对应的所述n维特征向量，与所述混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；
9.将待评价的人脸图像经所述特征提取模型处理后得到的n维特征向量输入至所述选定的n维高斯函数，得到该人脸图像为好质量的评价值。
10.本发明的实施方式还提供了一种电子设备，包括：
11.至少一个处理器；以及，
12.与所述至少一个处理器通信连接的存储器；其中，
13.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行如上所述的人脸图像质量评价方法。
14.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人脸图像质量评价方法。
15.本发明实施方式相对于现有技术而言，通过以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；对由两个n维高斯函数构成的混合高斯函数，以n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到混合高斯函数的均值和协方差；将人脸图像中好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为好质量的评价值。本方案不需要人工标注数据，可以无监督训练，得到能够对人脸图像质量评价的模型，并且模型对人脸图像质量评价的结果符合人类主观感觉，可解释性强。
附图说明
16.图1是根据本发明实施方式的人脸图像质量评价方法的具体流程图一；
17.图2是根据本发明实施方式的人脸图像质量评价方法的具体流程图二；
18.图3是根据本发明实施方式的人脸图像质量评价方法的具体流程图三；
19.图4是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
21.本发明的一实施方式涉及一种散斑图像生成方法，如图1所示，本实施例提供的人脸图像质量评价方法，包括如下步骤。
22.步骤101：以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型。
23.具体地，构建深度学习网络e作为特征提取模型，e的可训练参数记为we；e的输入为不同质量的人脸图像，输出为人脸的n维特征向量。其中，n为超参数，可依据经验设定，例如取n＝128。人脸图像的质量可通过限定人脸图像的光照情况、模糊程度、遮挡情况、人脸姿态等进行评价。
24.在一个例子中，如图2所示，本步骤可通过如下子步骤实现。
25.子步骤1011：获取多张第一人脸图像。
26.具体地，通过如相机拍照等方式获取包含人脸的人脸图像作为第一人脸图像，也称“原始图像”，记为x。其中，第一人脸图像x可以是不同光照情况、模糊程度、遮挡情况、人脸姿态下的不同质量的人脸图像。
27.子步骤1012：对第一人脸图像进行退化处理，得到第二人脸图像。
28.具体地，可以预先构建一图像退化器，该图像退化器的输入为人脸图像，输出为较
输入图像更差质量的人脸图像。图像退化器可以增加输入图像的模糊程度，将图像调整为过亮、过暗图像，以丢失部分细节信息。将第一人脸图像x经图像退化器进行退化处理后，得到第二人脸图像，也称“退化后的图像”，记为xd。
29.子步骤1013：以第一人脸图像、第二人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型。
30.具体地，以第一人脸图像作为质量较好的人脸图像、以第二人脸图像作为质量较差的人脸图，共同作为特征提取模型的输入，经特征提取模型处理后得到相应的n维特征向量。其中，x的n维特征向量记为f
x
＝e(x)，xd的n维特征向量记为f
xd
＝e(xd)，f
ix
和f
ixd
分别表示对应n维特征向量中第i个特征。
31.子步骤1014：以n维特征向量作为输入，以与人脸图像的形状相同的张量作为输出，构建图像重构模型。
32.具体地，构建深度学习网络g作为图像重构模型，g的可训练参数记为wg；g的输入为特征提取模型e输出的n维特征向量，g的输出为e中输入的人脸图像的形状的张量。本步骤的目的是对n维特征向量重构形成e中输入的人脸图像的图像重构模型进行训练，从而利用像素损失约束特征提取模型的特征提取能力。其中，x的n维特征向量f
x
经图像重构模型处理后得到的人脸图像记为g
x
＝g(f
x
)，xd的n维特征向量f
xd
经图像重构模型处理后得到的人脸图像记为g
xd
＝g(f
xd
)。
33.子步骤1015：对特征提取模型和图像重构模型进行联合训练，得到训练完成的特征提取模型。其中，特征提取模型和图像重构模型联合训练时的损失函数基于以下至少一种损失构成：像素损失、信息熵损失和梯度损失。
34.具体地，可对特征提取模型和图像重构模型进行联合训练，利用特征提取模型、图像重构模型的输入、输出数据构建损失项，从而基于各损失项构建特征提取模型的损失函数。其中，损失项可为像素损失、信息熵损失和梯度损失中的至少一种。以下将对各损失项分别进行说明。
35.像素损失：利用图像重构前后的人脸图像中对应像素点的像素差值构造的损失项。
36.在一个例子中，通过如下公式(1)计算人脸图像重构时的平均像素重构误差：
37.l
p
＝mean(|x-g
x
|)+mean(|xd-g
xd
|)
………………………
(1)
38.其中，lp为平均像素重构误差，mean(*)为均值，x为第一人脸图像，xd为第二人脸图像，g
x
为x对应的图像重构后的图像，g
xd
为xd对应的图像重构后的图像。
39.信息熵损失：针对n维特征向量f
x
、f
xd
中各特征的无序性构造的损失项。
40.在一个例子中，通过如下公式(2)、(3)分别计算第一图像、第二图像转变成n维特征向量的信息熵：
41.[0042][0043]
其中，l
ex
、l
exd
依次为第一图像、第二图像转变成n维特征向量的信息熵，f
ix
、f
ixd
依次为第一图像、第二图像对应的n维特征向量中第i个特征。
[0044]
梯度损失：利用图像重构后的人脸图像中像素点的像素梯度构造的损失项。
[0045]
在一个例子中，构建如公式(4)中的梯度算子k：
[0046][0047]
通过如下公式(5)计算人脸图像重构时梯度损失：
[0048]
lk＝conv(g
x
,k)+conv(g
xd
,k)
………………………
(5)
[0049]
其中，lk为人脸图像重构时梯度损失，conv(*,*)为卷积运算，g
x
为所述第一人脸图像x对应的图像重构后的图像，g
xd
为所述第二人脸图像xd对应的图像重构后的图像。
[0050]
在此基础上，本实施例可基于以上至少一项损失项构建特征提取模型的损失函数。
[0051]
在一个例子中，特征提取模型和图像重构模型联合训练时的损失函数通过如下公式(6)构建：
[0052][0053]
其中，loss为损失函数，l
p
为像素损失下人脸图像重构时的平均像素重构误差，l
ex
、l
exd
依次为信息熵损失下第一图像、第二图像转变成n维特征向量的信息熵，lk为梯度损失下人脸图像重构时梯度损失。
[0054]
具体地，本实施例在构建用于训练特征提取模型的损失函数时，通过像素损失l
p
约束人脸图像重构前后的像素之间的差距；通过信息熵损失l
ex
、l
exd
、|l
ex-l
exd
|分别约束图像退化前后各人脸图像自身的n维特征向量的无序性，以及各人脸图像之间在n维特征向量上的差异性；通过梯度损失lk约束人脸图像重构时图像中像素的梯度情况。
[0055]
步骤102：对由两个n维高斯函数构成的混合高斯函数，以n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到混合高斯函数的均值和协方差。
[0056]
具体地，构建人脸图像数据集，要求人脸图像质量的分布符合即将应用场景，通常既包含好质量人脸图像，也包含坏质量人脸图像。例如，该人脸图像数据集中的图像可以为上述的第一人脸图像和第二人脸图像。使用特征提取模型e提取这些人脸图像的特征，构成每个人脸图像的n维特征向量，记为f。
[0057]
构建由两个n维高斯函数构成的混合高斯函数，以f作为输入，使用常规的期望最大化(expectationmaximum，em)算法迭代更新混合高斯函数的混合系数，均值uj以及协方差vj，直到继续迭代时，混合高斯函数的混合系数、均值uj和协方差vj的数值变化不明显，比如数值变化不超过1e-3，其中j＝1，2。其中，u1、v1，u2、v2分别为两个n维高斯函数的均值和协方差。
[0058]
步骤103：将人脸图像中好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
[0059]
具体地，在经步骤102得到的两个n维高斯函数(j＝1,2)，一个为好质量图像的高斯分布，高斯分布的中心为质量最好值(u1)，另一个为坏质量图像的高斯分布，高斯分布的中心为质量最坏值(u2)。在实践中需要通过验证，确定出哪一个为好质量图像的高斯分布，哪一个为坏质量图像的高斯分布。具体验证方法为，将预先确定为好质量的人脸图像的n维特征向量与上述混合高斯函数中的两个n维高斯函数的均值uj(j＝1,2)进行比较，将与该n维特征向量距离较近的均值所对应的n维高斯函数作为评价好质量的n维高斯函数选择出来。
[0060]
在一个例子中，为了防止预先确定的好质量的人脸图像的不稳定性，可以将用于训练特征提取模型的不同质量的人脸图像中多张好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值的向量采用欧式距离进行距离比较，并将多张好质量的人脸图像中超半数距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
[0061]
例如，确定20张好质量的人脸图像，将这些人脸图像经特征提取模型处理，得到每张人脸图像对应n维特征向量；分别计算每个n维特征向量到两个n维高斯函数的均值uj(j＝1,2)之间的欧氏距离；分别统计每张好质量的人脸图像距离哪个均值的距离较近；当判断多张好质量的人脸图像中超半数距离某个均值较近，则将该均值对应的n维高斯函数作为选定的n维高斯函数，以评价人脸图像为好质量的概率。
[0062]
步骤104将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为好质量的评价值。
[0063]
具体地，将待评价的人脸图像先输入至特征提取模型得到n维特征向量，再将该n维特征向量输入至选定的n维高斯函数，由于该选定的n维高斯函数的作用为评价人脸图像是否为好质量的人脸图像。因此，当得到的高斯函数值(评价值)越大，对应的该人脸图像为好质量人脸图像的概率越大。
[0064]
同理，如图3所示，在步骤102之后，还可包括如下步骤。
[0065]
步骤105，将人脸图像中坏质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
[0066]
具体地，在经步骤102得到的两个n维高斯函数(j＝1,2)，一个为好质量图像的高斯分布，高斯分布的中心为质量最好值(u1)，另一个为坏质量图像的高斯分布，高斯分布的中心为质量最坏值(u2)。在实践中需要通过验证，确定出哪一个为好质量图像的高斯分布，哪一个为坏质量图像的高斯分布。具体验证方法为，将预先确定为坏质量的人脸图像的n维特征向量与上述混合高斯函数中的两个n维高斯函数的均值uj(j＝1,2)进行比较，将与该n维特征向量距离较近的均值所对应的n维高斯函数作为评价坏质量的n维高斯函数选择出来。
[0067]
在一个例子中，为了防止预先确定的坏质量的人脸图像的不稳定性，可以将用于训练特征提取模型的不同质量的人脸图像中多张坏质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值的向量采用欧式距离进行距离比较，并将多张坏质量的人脸图像
中超半数距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
[0068]
例如，确定20张坏质量的人脸图像，将这些人脸图像经特征提取模型处理，得到每张人脸图像对应n维特征向量；分别计算每个n维特征向量到两个n维高斯函数的均值uj(j＝1,2)之间的欧氏距离；分别统计每张坏质量的人脸图像距离哪个均值的距离较近；当判断多张好质量的人脸图像中超半数距离某个均值较近，则将该均值对应的n维高斯函数作为选定的n维高斯函数，以评价人脸图像为坏质量的概率。
[0069]
步骤106，将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为坏质量的评价值。
[0070]
具体地，将待评价的人脸图像先输入至特征提取模型得到n维特征向量，再将该n维特征向量输入至选定的n维高斯函数，由于该选定的n维高斯函数的作用为评价人脸图像是否为坏质量的人脸图像。因此，当得到的高斯函数值(评价值)越大，对应的该人脸图像为坏质量人脸图像的概率越大。
[0071]
与相关技术相比，本实施例通过以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；对由两个n维高斯函数构成的混合高斯函数，以n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到混合高斯函数的均值和协方差；将人脸图像中好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为好质量的评价值。本方案不需要人工标注数据，可以无监督训练，得到能够对人脸图像质量评价的模型，并且模型对人脸图像质量评价的结果符合人类主观感觉，可解释性强。
[0072]
本发明的另一实施方式涉及一种电子设备，如图4所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。
[0073]
其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。
[0074]
处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。
[0075]
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
[0076]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方
法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0077]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。