一种保护人脸图像隐私的方法及电子设备与流程

1.本技术涉及图像隐私保护技术领域，尤其涉及一种保护人脸图像隐私的方法及电子设备。


背景技术：

2.随着人工智能技术的发展，一些智慧应用具有人脸图像识别和人脸图像发布等功能，这就意味着，在用户允许的情况下，其人脸图像将会被发送至第三方进行云存储或发布。云存储的泄露、发布图像的p图等恶意行为，无疑会侵犯用户的个人隐私。
3.目前，防止人脸图像泄露个人隐私的方法，主要包括像素化技术和模糊化技术两种。其中，像素化技术通过将人脸图像划分为网格单元，并将每个单元内的所有像素设置为公共像素强度以减少人脸图像传递的个人信息；模糊化技术通过添加正态、高斯分布的噪声，对人脸图像或人脸图像的特定区域进行模糊。
4.然而，上述两种技术均是直接对人脸图像内的像素值进行的处理，可能会导致处理后的人脸图像与原始的人脸图像差距较大，或者处理后的人脸图像异常，从而降低了隐私处理后人脸图像的视觉友好性。


技术实现要素：

5.本技术实施例提供了一种保护人脸图像隐私的方法及电子设备，用保护人脸图像的隐私，提高隐私处理后人脸图像的友好性。
6.一方面，本技术实施例提供一种保护人脸图像隐私的方法，包括：
7.获取原始人脸图像；
8.利用已训练的人脸生成模型，确定差分噪声矩阵，并将所述差分噪声矩阵分别与所述原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和，得到每个关键部位的视觉生成矩阵，其中，所述差分噪声矩阵用于保持所述关键部位的视觉生成矩阵与原始图像矩阵的分布一致；
9.根据至少一个视觉生成矩阵，生成相应的关键部位的人脸局部图像；
10.通过特征点匹配，用至少一个人脸局部图像，分别替换所述原始人脸图像中相应的关键部位，获得隐私保护后的目标人脸图像；
11.测试所述目标人脸图像，并在测试通过后进行处理以保护身份隐私。
12.另一方面，本技术实施例提供一种电子设备，包括处理器、存储器和通信接口，所述通信接口、所述存储器与所述处理器通过总线连接；
13.所述存储器包括数据存储单元和程序存储单元，所述处理器根据所述程序存储单元存储的计算机程序，执行以下操作：
14.通过所述通信接口，获取原始人脸图像，并存储至所述数据存储单元；
15.利用已训练的人脸生成模型，确定差分噪声矩阵，并将所述差分噪声矩阵分别与所述原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和，得到每个关键部位
的视觉生成矩阵，其中，所述差分噪声矩阵用于保持所述关键部位的视觉生成矩阵与原始图像矩阵的分布一致；
16.根据至少一个视觉生成矩阵，生成相应的关键部位的人脸局部图像；
17.通过特征点匹配，用至少一个人脸局部图像，分别替换所述原始人脸图像中相应的关键部位，获得隐私保护后的目标人脸图像；
18.测试所述目标人脸图像，并在测试通过后通过所述通信接口进行发布以保护身份隐私。
19.另一方面，本技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本技术实施例提供的保护人脸图像隐私的方法。
20.本技术的有益效果如下：
21.本技术实施例提供一种保护人脸图像隐私的方法及电子设备，针对需要进行隐私保护的原始人脸图像，利用已训练的人脸生成模型，确定差分噪声矩阵，并将差分噪声矩阵分别与原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和，得到每个关键部位的视觉生成矩阵，由于差分噪声矩阵能够保持关键部位的视觉生成矩阵与原始图像矩阵的分布一致，这样，在利用关键部位的视觉生成矩阵生成的人脸局部图像替换原始人脸图像中相应的关键部位后，可以保证获得的目标人脸图像为正常的人脸图像，即保持视觉有好性；并且，通过对目标人脸图像进行测试，保证目标人脸图像可用性的同时，也保护了用户的个人隐私。
22.本技术实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
23.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本技术实施例提供的人脸生成模型的网络架构图；
25.图2为本技术实施例提供的保护人脸图像隐私的方法流程图；
26.图3为本技术实施例提供的人脸的关键部位的视觉生成矩阵的确定方法流程图；
27.图4为本技术实施例提供的目标人脸图像的视觉友好性测试方法流程图；
28.图5为本技术实施例提供的目标人脸图像的重识别测试方法流程图；
29.图6为本技术实施例提供的另一目标人脸图像的重识别测试方法流程图；
30.图7为本技术实施提供的针对一个关键部位隐私处理后的效果图；
31.图8为本技术实施提供的针多个关键部位隐私处理后的另一效果图；
32.图9为本技术实施例提供的电子设备的结构图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.为了防止攻击者对云存储或已发布的人脸图像进行非授权使用、人脸重制、仿冒、盗刷等恶意行为，目前主要采用像素化技术或模糊化技术保护人脸图像包含的个人隐私。虽然这两种技术能够使人或设备无法识别出原始的人脸图像中的隐私内容，起到保护个人隐私的作用，但是由于这两种技术均是直接对像素值进行处理，导致处理后的人脸图像与原始的人脸图像差距较大，或者处理后的人脸图像异常，从而降低了隐私处理后人脸图像的视觉友好性。
35.鉴于此，本技术实施例提供了一种保护人脸图像隐私的方法及设备，通过对原始人脸图像进行格式化表示，获得需要进行隐私处理的人脸部位的像素点的原始图像矩阵，并对原始图像矩阵添加差分噪声进行隐私扰动，获得视觉生成矩阵，用视觉生成矩阵生成的人脸局部图像替换原始人脸图像的关键部位，得到包含人脸关键信息的目标人脸图像，同时防止人脸关键信息被利用来获取个人的敏感信息，从而保护个人隐私，并且，将生成的目标人脸图像进行云存储或发布时，可以保证目标人脸图像的质量，提高视觉友好性。
36.在本技术的实施例中，可以使用已训练的人脸生成模型对原始人脸图像进行隐私处理，获得目标人脸图像，并对目标人脸图像进行测试，从而在保护个人隐私的情况下，提高人脸图像的实用性和视觉友好性。
37.为了对本技术实施例提供的人脸生成模型进行训练，可预先采集带有身份标签的真实人脸样本，获得人脸生成模型的训练样本集。其中，身份标签包括但不限于真实人脸样本中用户的姓名、年龄、职业。通过获得的训练样本集，对图1所示的人脸生成模型进行至少一次迭代训练后，得到训练好的人脸生成模型以保护人脸图像中的个人隐私。
38.参见图1，为本技术实施例提供的人脸生成模型的整体架构图，主要包括特征提取模块、差分混淆模块、图像生成模块和隐私测试模块。
39.特征提取模块，用于对输入的真实人脸样本进行格式化表示，获得需要进行人脸隐私处理的多个部位，并提取每个部位包含的像素点的分布特征，获得原始人脸分布矩阵；以及，对输入的真实人脸样本的身份标签进行向量表示，并提取真实人脸样本和处理后的隐私人脸样本的人脸特征，以便测试隐私处理后的效果。
40.差分混淆模块，用于根据自定义的隐私参数，使用差分噪声对提取的原始人脸分布矩阵进行扰动，获得隐私处理后的目标人脸分布矩阵，其中，原始人脸分布矩阵与目标人脸分布矩阵满足一致性分布。
41.图像生成模块，用于根据人脸多个部位的目标人脸分布矩阵生成混淆样本，并用多个混淆样本替换相应的真实人脸样本中的部位实现样本间拼接，获得相应的隐私人脸样本。
42.隐私测试模块，用于根据真实人脸样本和处理后的隐私人脸样本的人脸特征进行测试，包括但不限于视觉友好性测试、重识别测试，并根据隐私处理后的隐私人脸样本是否通过测试，确定隐私效果，并根据测试结果，强化训练样本集和调整待训练的人脸生成模型
的参数。
43.其中，隐私测试模块包括视觉友好性测试和重识别测试，视觉友好性测试是在视觉观感上，确定生成的目标人脸图像是否符为正常图像，重识别测试用于判断隐私处理后的目标人脸图像是否可以通过已训练的人脸识别模型。重识别测试包括图像相似度测试和身份测试，图像相似度测试属于一种无偏估计，当测试样本较少时，仍能保证有效的测试结果。
44.在隐私测试模块中，可计算模型的损失函数，以确保训练的人脸生成模型收敛，保证使用该人脸生成模型获得的目标人脸图像在可用性和视觉友好性上具有较高的评分。
45.在图1所示的人脸生成模型的网络结构中，本技术的差分混淆模块可加在特征提取模块的第二层神经网络中。在实际应用过程中，差分混淆模块也可以增加在其它一个或多个神经网络中，例如，加在浅层神经网络中。
46.本技术实施例提供的人脸生成模型，学习得到原始人脸图像中各部位内像素点的分布，并基于设计的差分隐私算法对该分布进行扰动，利用扰动后的多个部位的原始图像矩阵，生成面部的关键部位，如五官、额头、腮部等，进而通过人脸对齐，将生成的关键部位替换原始人脸图像中的相应部位，得到融合后目标人脸图像。通过将差分噪声应用于人脸生成模型，获得隐私处理后的人脸实例图像，从而保护用户的个人隐私，相对于打码、模糊、像素替换等方法，具有更好的视觉友好性，且在隐私处理过程中，提供了严格的数学证明，保证了隐私处理的可靠性。
47.基于图1所示的人脸生成模型，本技术实施例提供了一种保护人脸图像隐私的方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行。其中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表，智能家电、车载终端、可穿戴设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
48.参见图2，该方法的流程主要包括以下几步：
49.s201：获取原始人脸图像。
50.一种可选的实施方式为，用户通过相机拍摄自己的人脸图像，并授权给人脸应用。人脸应用将未经处理的原始人脸图像发送给终端或服务器进行隐私处理。
51.s202：利用已训练的人脸生成模型，确定差分噪声矩阵，并将差分噪声矩阵分别与原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和，得到每个关键部位的视觉生成矩阵。
52.其中，差分噪声矩阵用于保持每个关键部位的视觉生成矩阵与原始图像矩阵的分布一致，这样，利用差分扰动后的视觉生成矩阵生成的人脸局部图像，与原始人脸图像进行融合，获得隐私处理后的目标人脸图像时，虽然目标人脸图像中关键部位内像素点的rgb分量发生改变，但关键部位的亮度、轮廓形状、对比度等信息的分布保持不变。
53.本技术的实施例中，基于差分噪声矩阵，扰动的是由人脸生成模型计算的原始人脸图像中关键部位内像素点的分布，相对于直接利用差分噪声扰动像素点的像素值，能够保证隐私处理后的图像在视觉上是正常的人脸图像，在保护用户隐私的同时，具有视觉友
好性。
54.具体实施时，本技术的实施例中，人脸中不同的关键部位(如：五官、脸部轮廓、发型等)可视为不同的类别，需要进行隐私处理的至少一个关键部位可根据实际需求预先进行设置。当执行s202时，针对每一关键部位，参见图3，执行以下步骤：
55.s2021：从已构建的人脸部位数据库中，选择与该关键部位的类别相同的一张参考图像，并确定该参考图像内像素点的参考矩阵。
56.例如，假设关键部位为鼻子，从已构建的人脸部位数据库中，选择一张鼻子的参考图像，并确定该参考图像内像素点的参考矩阵。
57.s2022：根据参考矩阵和原始人脸图像中该关键部位的原始图像矩阵，确定差分噪声初始的扰动系数。
58.仍以关键部位为鼻子为例，假设原始人脸图像中鼻子的原始图像矩阵记为x1，鼻子的参考图像的参考矩阵记为x0，计算参考矩阵x0和原始图像矩阵x1之间归一化后的距离d(x1，x0)，并将d(x1，x0)作为差分噪声初始的扰动系数。归一化公式如下：
[0059][0060][0061]
其中，di(x1，x2)表示原始图像矩阵中第i个位置元素x1与参考矩阵中第i个位置元素x0之间的距离，n为原始图像矩阵和参考矩阵包含的位置元素总数，|i
max
，i
min
|表示原始图像矩阵中第i个位置元素的颜色取值区间。
[0062]
s2023：根据该关键部位的原始图像矩阵，以及初始的扰动系数和预先设定的表示差分噪声扰动程度的差分隐私系数，获得该关键部位初始的视觉生成矩阵。
[0063]
假设，表示差分噪声扰动程度的差分隐私系数记为λ，λ∈[0，1]，则差分噪声初始的概率分布可用初始的扰动系数和差分隐私系数表示，具体表示为通过调整差分隐私系数，可以实现不同级别的隐私处理，从而调整目标人脸图像相对于原始人脸图像的可区分性。
[0064]
在执行s2023时，通过初始的扰动系数和差分隐私系数获得差分噪声初始的概率分布后，可以获得该概率分布表征的差分噪声矩阵，将初始的差分噪声矩阵与原始图像矩阵进行求和，可以得到该关键部位初始的视觉生成矩阵。
[0065]
s2024：确定该关键部位初始的视觉生成矩阵和原始图像矩阵的分布是否一致，若不一致，执行s2025，否则，执行s2026。
[0066]
假设，关键部位(如：鼻子)的原始图像矩阵x1的第一分布记为d(x1)，差分扰动后关键部位(如：鼻子)初始的视觉生成矩阵x2的第二分布记为d(x2)，差分噪声的概率分布能够令第一分布d(x1)和第二分布d(x2)一致，视觉生成矩阵和原始图像矩阵的分布是否一致的判定公式为：
[0067][0068]
其中，pr(d(x1)＝r)表示第一分布d(x1)为pr(r)分布，pr(d(x2)＝r)表示第二分布d(x2)也为pr(r)分布。
[0069]
s2025：将该关键部位初始的视觉生成矩阵作为参考矩阵，返回s2022，直至该关键
部位的视觉生成矩阵和原始图像矩阵的分布一致。
[0070]
通过保持关键部位的视觉生成矩阵和原始图像矩阵的分布一致，可以保证隐私处理后的目标人脸图像中关键部位的亮度、轮廓形状、对比度等信息的分布保持不变，从而保证了目标人脸图像的视觉特性。
[0071]
s2026：将当前的视觉生成矩阵作为该关键部位最终的视觉生成矩阵。
[0072]
在本技术的实施例中，可以按照隐私保护的程度，预先设定需要进行隐私处理的至少一个关键部位，其中，关键部位的数量与隐私保护的程度呈正相关。
[0073]
例如，当隐私保护的程度较小时，可对人脸的6个关键部位(如：左眼、右眼、鼻子、额头、腮部、嘴巴)进行隐私处理。
[0074]
再例如，当隐私保护的程度较大时，可对人脸的16个关键部位(如：左右眼、左右眉毛、左右腮、上下左右嘴唇、上下左右额头、胡须/痣)进行隐私处理。
[0075]
值得说明的是，在一次隐私处理过程中，针对不同的关键部位，可以使用相同的差分噪声矩阵。
[0076]
本技术实施例确定差分噪声的扰动系数的过程中，每个矩阵的位置元素的颜色取值范围可用作保持隐私处理后图像的视觉质量，如果超出取值范围，可能会导致隐私处理后的图像出现视觉伪影或失真。考虑到基于差分噪声的隐私处理，在任何形式下的二次处理仍满足差分分布，且噪声值的动态调整不属于敏感信息，不会破坏隐私保护的条件。因此，本技术实施例为了保证隐私处理后图像的视觉质量，对使隐私处理后的视觉生成矩阵中位置元素的颜色取值超过取值区间的噪声值，捉回最接近的有效值，从而保证视觉生成矩阵中位置元素的颜色取值范围。
[0077]
s203：根据至少一个视觉生成矩阵，生成相应的关键部位的人脸局部图像。
[0078]
在执行s203时，一种可选的实施方式为，针对每一个视觉生成矩阵，通过上卷积，阿将视觉生成矩阵转换为像素空间的视觉表示，生成人脸局部图像。
[0079]
s204：通过特征点匹配，用至少一个人脸局部图像，分别替换原始人脸图像中相应的关键部位，获得隐私保护后的目标人脸图像。
[0080]
在本技术的实施例中，人脸生成模型输入的是人脸部位的局部图像，而不是完整的人脸图像，因此，获得至少一个人脸局部图像后，需要将至少一个人脸局部图像融合在原始人脸图像上，从而获得完整的人脸图像。
[0081]
在执行s204时，针对每一个人脸局部图像，提取该人脸局部图像的特征点，以及提取原始人脸图像的特征点，通过特征点进行匹配进行人脸对齐，并根据匹配后的结果，用人脸局部图像替换原始人脸图像中相应的关键部位。当至少一个人脸局部图像全部替换后，获得隐私保护后的目标人脸图像。
[0082]
在本技术的实施例中，在用户允许的前提下，可继续对目标人脸图像进行人脸测试。
[0083]
s205：测试目标人脸图像，并在测试通过后进行处理以保护身份隐私。
[0084]
在本技术的实施例中，为了保证隐私处理后的目标人脸图像的视觉友好性和可用性，需要对生成的目标人脸图像进行友好性测试和重识别测试。
[0085]
视觉友好性测试是在视觉观感上，确定生成的目标人脸图像是否符为正常图像。本技术的实施例中，视觉友好性测试可利用关键部位在两幅人脸图像中的视觉相似性来实
现。具体的，通过亮度、对比度和结构差异中的至少一项，来衡量原始人脸图像和目标人脸图像中关键部位的视觉相似性，进而判断隐私保护后的目标人脸图片是否具备视觉友好性。
[0086]
参见图4，视觉友好性测试主要包括以下几步：
[0087]
s205_11：确定目标人脸图像中各关键部位，与原始人脸图像中相应的关键部位间的亮度差异、对比度差异和结构差异中的至少一项。
[0088]
其中，人脸图像的亮度可用平均灰度表示，人脸图像的对比度可用灰度标准差表示，则亮度差异、对比度差异、结构差异可表示为：
[0089][0090][0091][0092]
其中，l(x1，x2)表示原始人脸图像与目标人脸图像中关键部位间的亮度差异，c(x1，x2)原始人脸图像与目标人脸图像中关键部位间的对比度差异，s(x1，x2)表示原始人脸图像与目标人脸图像中关键部位间的结构差异，和分别表示原始人脸图像与目标人脸图像中关键部位的灰度均值，和分别表示原始人脸图像和目标人脸图像中关键部位的灰度标准差，表示原始人脸图像和目标人脸图像中关键部位的灰度协方差，c1、c2和c3均为设定的常数。
[0093]
s205_12：根据亮度差异、对比度差异和结构差异中的至少一项，确定目标人脸图像中各关键部位与原始人脸图像中相应的关键部位间的视觉相似度。
[0094]
当视觉友好性测试考虑亮度差异、对比度差异和结构差异中的全部时，视觉相似度确定公式如下：
[0095]
ssim(x1，x2)＝[l(x1，x2)
α
c(x1，x2)
β
s(x1，x2)
γ
]
ꢀꢀꢀ
公式7
[0096]
其中，α、β和γ分别为亮度差异、对比度差异和结构差异对应的预设权重，ssim(x1，x2)表示原始人脸图像和目标人脸图像中关键部位间的视觉相似度。
[0097]
s205_13：根据各视觉相似度的和与第一阈值的比较结果，确定目标人脸图像是否通过视觉相似度测试。
[0098]
在s205_13中，获得各关键部位的视觉相似度后，确定各视觉相似度的和，并将该和与第一阈值进行比较，当该和大于第一阈值时，确定隐私处理后的目标人脸图像满足视觉友好性要求，即确定目标人脸图像通过视觉友好性测试。
[0099]
可选的，第一阈值取为0.5，当目标人脸图像通过视觉友好性测试时，通过肉眼观察一般不会发现目标人脸图像与原始人脸图像具有明显差异。
[0100]
本技术实施例提供的人脸生成模型可部署于具有人脸识别功能的智能服务系统或设备中，如果隐私处理后的目标人脸图像在人脸识别时仍能确定用户的身份信息，这样，在保护用户个人隐私的条件下，将会大幅度的提高目标人脸图像的可用性，这就要求对隐私处理后的目标人脸图像进行重识别测试。
[0101]
重识别测试用于判断隐私处理后的目标人脸图像是否可以通过已训练的人脸识别模型。其中，重识别测试包括图像相似度测试，图像相似度测试是衡量原始人脸图像和目
标人脸图像之间距离的最大均值误差，距离越小，代表生成效果越好，属于无偏估计。
[0102]
参见图5，图像相似度测试主要包括以下几步：
[0103]
s205_21：提取目标人脸图像中各关键部位的特征向量，以及原始人脸图像中相应的关键部位的特征向量。
[0104]
在一种可选的实施方式中，针对每一个关键部位，使用卷积神经网络，提取原始人脸图像的关键部位的n*2048维的特征向量，记为r，并计算特征向量r的均值μr和协方差∑r；使用inceptionv3网络，提取目标人脸图像的关键部位的m*2048维特征向量，记为g，并计算特征向量g的均值μg和协方差∑g。
[0105]
s205_22：根据各关键部位的两个特征向量，确定相应的关键部位在原始人脸图像和目标人脸图像间的图像相似度。
[0106]
假设，特征向量的迹为tr，则原始人脸图像的关键部位与目标人脸图像的关键部位间的图像相似度fid为：
[0107]
fid＝||μ
r-μg||2+tr(∑r+∑
g-2(∑r∑g)
1/2
)
ꢀꢀꢀꢀꢀꢀꢀ
公式8
[0108]
s205_23：根据各图像相似度与第二阈值的比较结果，确定目标人脸图像是否通过重识别测试。
[0109]
在s205_23中，一种可选的实施方式为，将各关键部位的图像相似度分别与第二阈值进行比较，当各图像相似度均小于第二阈值时，确定隐私处理后的目标人脸图像通过重识别测试。可选的，第二阈值设至为8。
[0110]
另一种可选的实施方式为，将各关键部位的图像相似度分别与第二阈值进行比较，当各图像相似度中小于第二阈值的图像相似度的数量超过预设个数时，确定隐私处理后的目标人脸图像通过重识别测试。
[0111]
可选的，重识别测试还可以是基于人脸图像中识别的身份信息测试的。当图像相似度满足阈值要求时，可利用训练好的人脸识别模型提取的身份信息，对原始人脸图像和目标人脸图像进行二次重识别测试。
[0112]
参见图6，重识别测试还包括以下几步：
[0113]
s205_31：根据已训练的人脸识别模型，获取目标人脸图像的第一身份信息，以及获取原始人脸图像的第二身份信息。
[0114]
可选的，身份信息可以是图像中人脸对应的用户姓名。
[0115]
s205_32：根据第一身份信息和第二身份信息的比较结果，确定目标人脸图像是否通过重识别测试。
[0116]
一种可选的实施方式为，当第一身份信息和第二身份信息一致时，确定目标人脸图像通过重识别测试。
[0117]
值得说明的是，人脸识别结果和测试结果是根据实际需求进行设置的，并非严格固定的。
[0118]
例如，在用户或产品对目标人脸图像要求扰动足够大，以至于生成的目标人脸图像无法完成人脸识别时，即目标人脸图像重识别失败时，此时，确定目标人脸图像通过重识别测试。
[0119]
值得说明的是，本技术实施例中的人脸识别模型，可以与人脸生成模型集成在一起，可以与人脸生成模型独立部署，本技术不做限制性要求。
[0120]
在s205中，当目标人脸图像测试通过后，将目标人脸图像安全的发布到网路、存储在第三方或云端等处理，在保证目标人脸图像正常使用的同时，有效保护了用户的个人隐私。
[0121]
本技术实施例提供的保护人脸图像隐私的方法中，针对需要进行隐私保护的原始人脸图像，利用已训练的人脸生成模型，根据选取的关键部位的参考图像的参考矩阵和原始人脸图像中关键部位的原始图像矩阵，确定初始的差分噪声矩阵，并基于初始的差分噪声矩阵，确定初始的视觉生成矩阵，通过判定初始的视觉生成矩阵与原始图像矩阵之间是否满足一致分布，调整差分噪声矩阵，分布一致的视觉生成矩阵。由于差分噪声矩阵能够保持关键部位的视觉生成矩阵与原始图像矩阵的分布一致，这样，在利用关键部位的视觉生成矩阵生成的人脸局部图像替换原始人脸图像中相应的关键部位后，可以保证获得的目标人脸图像为正常的人脸图像，即保持视觉有好性；并且，对目标人脸图像进行测试的过程中，给出的评价目标人脸图像的可用性(即目标人脸图像能否被重识别)和视觉友好性(即与原始人脸图像相似)，保证目标人脸图像可用性的同时，也保护了用户的个人隐私。
[0122]
参见图7，为采用本技术实施例提供的保护人脸图像隐私的方法，对人眼关键部位进行差分扰动后获得的目标人脸图像，由图7中隐私处理前的原始人脸图像(a)和隐私处理后的目标人脸图像(b)的对比效果可知，对人眼关键部位进行隐私保护后，人脸的整体样貌基本不变，从而是隐私处理后的图像仍能用于人脸识别，且保持视觉友好性。
[0123]
参见图8，为采用本技术实施例提供的保护人脸图像隐私的方法，对人眼关键部位和嘴巴关键部位进行差分扰动后获得的目标人脸图像，由图8可知，由图8中隐私处理前的原始人脸图像(a)和隐私处理后的目标人脸图像(b)的对比效果可知，对人眼关键部位和嘴巴关键部位进行隐私保护后，人脸的整体样貌基本不变，从而是隐私处理后的图像仍能用于人脸识别，且保持视觉友好性。
[0124]
基于相同的技术构思，本技术实施例提供了一种电子设备，该电子设备可以是终端，也可以是服务器，能够执行上述实施例提供的保护人脸图像隐私的方法步骤，且能达到同样的技术效果，在此不再赘述。
[0125]
参见图9，该电子设备包括处理器901、存储器902、通信接口903，通信接口903、存储器902与处理器901通过总线904连接：
[0126]
存储器902包括数据存储单元和程序存储单元，处理器901根据所述程序存储单元存储的计算机程序，执行以下操作：
[0127]
通过所述通信接口903，获取原始人脸图像，并存储至所述数据存储单元；
[0128]
利用已训练的人脸生成模型，确定差分噪声矩阵，并将所述差分噪声矩阵分别与所述原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和，得到每个关键部位的视觉生成矩阵，其中，所述差分噪声矩阵用于保持所述关键部位的视觉生成矩阵与原始图像矩阵的分布一致；
[0129]
根据至少一个视觉生成矩阵，生成相应的关键部位的人脸局部图像；
[0130]
通过特征点匹配，用至少一个人脸局部图像，分别替换所述原始人脸图像中相应的关键部位，获得隐私保护后的目标人脸图像；
[0131]
测试所述目标人脸图像，并在测试通过后通过所述通信接口903进行发布以保护身份隐私。
[0132]
可选的，所述处理器901确定差分噪声矩阵，并将所述差分噪声矩阵分别与所述原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和，得到每个关键部位的视觉生成矩阵，具体操作为：
[0133]
针对每一个关键部位，执行以下操作：
[0134]
从已构建的人脸部位数据库中，选择与所述关键部位的类别相同的一张参考图像，并确定所述参考图像内像素点的参考矩阵；
[0135]
根据所述参考矩阵和所述关键部位的原始图像矩阵，确定差分噪声初始的扰动系数；
[0136]
根据所述关键部位的原始图像矩阵，以及初始的扰动系数和预先设定的表示差分噪声扰动程度的差分隐私系数，获得所述关键部位初始的视觉生成矩阵；
[0137]
确定初始的视觉生成矩阵和原始图像矩阵的分布是否一致，若不一致，则将初始的视觉生成矩阵作为所述参考矩阵，重新确定扰动系数，直至视觉生成矩阵和原始图像矩阵的分布一致。
[0138]
可选的，针对每一个关键部位，所述关键部位的视觉生成矩阵与原始图像矩阵的一致分布关系为：
[0139][0140]
其中，d(x1)表示所述关键部位的原始图像矩阵的第一分布，d(x2)表示所述关键部位的视觉生成矩阵的第二分布，pr(d(x1)＝r)表示所述第一分布为pr(r)分布，pr(d(x2)＝r)表示所述第二分布为pr(r)分布，λ为用于表示差分噪声扰动程度的差分隐私系数，λ∈[0，1]，d(x1，x0)表示所述关键部位的原始图像矩阵和所述参考矩阵之间归一化后的距离，表示差分噪声矩阵的概率分布。
[0141]
可选的，所述关键部位的原始图像矩阵和参考矩阵之间归一化后的距离d(x1，x0)的计算公式为：
[0142][0143][0144]
其中，di(x1，x0)表示所述原始图像矩阵中的第i个位置元素x1与所述参考矩阵中的第i个位置元素x0之间的距离，n为所述原始图像矩阵和所述参考矩阵包含的位置元素总数，|i
max
，i
min
|表示所述原始图像矩阵中第i个位置元素的取值区间。
[0145]
可选的，所述测试包括视觉友好性测试，所述处理器901测试所述目标人脸图像，具体操作为：
[0146]
确定所述目标人脸图像中各关键部位，与所述原始人脸图像中相应的关键部位间的亮度差异、对比度差异和结构差异中的至少一项；
[0147]
根据所述亮度差异、所述对比度差异和所述结构差异中的至少一项，确定所述目标人脸图像中各关键部位与所述原始人脸图像中相应的关键部位间的视觉相似度；
[0148]
根据各视觉相似度的和与第一阈值的比较结果，确定所述目标人脸图像是否通过所述视觉友好性测试。
[0149]
可选的，所述视觉相似度的确定公式为：
[0150]
ssim(x1，x2)＝[l(x1，x2)
α
c(x1，x2)
β
s(x1，x2)
γ
]
[0151][0152][0153][0154]
其中，ssim(x1，x2)表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位之间的视觉相似度，l(x1，x2)表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位间的亮度差异，c(x1，x2)表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位间的对比度差异，s(x1，x2)表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位间的结构差异，和分别表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位的灰度均值，和分别表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位的灰度标准差，表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位的灰度协方差，c1、c2和c3均为设定的常数，α、β和γ分别为所述亮度差异、所述对比度差异和所述结构差异对应的预设权重。
[0155]
可选的，所述测试包括重识别测试，所述重识别测试是基于图像相似度测试的，所述处理器901测试所述目标人脸图像，具体操作为：
[0156]
提取所述目标人脸图像中各关键部位的特征向量，以及所述原始人脸图像中相应的关键部位的特征向量；
[0157]
根据所述各关键部位的两个特征向量，确定相应的关键部位在原始人脸图像和目标人脸图像间的图像相似度；
[0158]
根据各图像相似度与第二阈值的比较结果，确定所述目标人脸图像是否通过重识别测试。
[0159]
可选的，所述图像相似度用于衡量所述目标人脸图像和所述原始人脸图像之间距离的最大均值误差，所述图像相似度计算公式为：
[0160]
fid＝||μ
r-μg||2+tr(∑r+∑
g-2(∑r∑g)
1/2
)
[0161]
其中，r表示所述原始人脸图像的关键部位的特征向量，g表示所述目标人脸图像的关键部位的特征向量，μr表示所述原始人脸图像的关键部位的特征向量的均值，μg表示所述目标人脸图像的关键部位的特征向量的均值，∑r表示所述原始人脸图像的关键部位的特征向量的协方差，∑g表示所述目标人脸图像的关键部位的特征向量的协方差，tr表示向量的迹，fid表示所述原始人脸图像的关键部位与所述目标人脸图像的关键部位之间的图像相似度。
[0162]
可选的，所述测试包括重识别测试，所述重识别测试是基于人脸图像中识别的身份信息测试的，所述处理器901测试所述目标人脸图像，具体操作为：
[0163]
根据已训练的人脸识别模型，获取所述目标人脸图像的第一身份信息，以及获取所述原始人脸图像的第二身份信息；
[0164]
根据所述第一身份信息和所述第二身份信息的比较结果，确定所述目标人脸图像
是否通过所述重识别测试。
[0165]
需要说明的是，图9仅是电子设备实现本技术实施例提供的保护人脸图像隐私的方法所需的必要硬件，可选的，该电子设备还包括显示器等常规硬件。
[0166]
本技术实施例上述涉及的处理器可以是中央处理器(central processing unit，cpu)，通用处理器，数字信号处理器(digital signal processor，dsp)，专用集成电路(application-specific integrated circuit，asic)，现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
[0167]
本技术实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。
[0168]
本技术实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。
[0169]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
[0170]
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。