基于生成对抗网络和化妆迁移的男性人脸隐私保护方法

本发明涉及图像识别技术，尤其涉及人脸图像的身份识别，具体是一种基于生成对抗网络和化妆迁移的男性人脸隐私保护方法。

背景技术：

1、近年来，基于深度神经网络的人脸识别系统迅速发展，人脸识别系统广泛应用于识别社交网络文件、验证用户身份、分析用户关系。人脸识别系统的识别精度不断提高、技术日益精进，随着人脸识别系统的迅速发展，可能会带来非法获取人脸数据信息、或者利用大数据分析追踪某张照片中人的人际关系，这种对隐私的过度侵犯、对用户的过度监控等行为会导致人脸隐私大量泄露的问题，急需有效的防御手段对未经授权的人脸识别系统加以限制及遏止。目前用于人脸隐私保护的方法有两种：对恶意人脸识别模型的训练数据集发起数据中毒攻击、利用对抗样本来发起规避攻击，数据中毒(第一种)要求用户自己可以将中毒的人脸图像加入到恶意人脸识别模型的数据集中，如果目标模型被训练或者模型自行在干净的数据集上进行推理，这种方法就会失效；通过生成对抗样本(第二种)来保护用户隐私的这种方法，用户只要修改自己的数据就可以实现隐私保护，但这种方法存在对目标模型的可访问性依赖程度高、视觉效果差、可迁移性差等问题，目前的技术对商用api攻击成功率相对较低，迁移性弱，同时保证图片的视觉质量和对抗人脸图像的攻击性依然较为困难。

2、通过化妆能够改变一个人的外观及面部细节，化妆转移能够在不需要用户手动交互的情况下帮助用户选择合适的化妆风格。目前化妆技术多用于女性，如果直接在男性脸上进行化妆，生成的图片会存在人脸特征丢失、视觉质量差等问题，生成的对抗样本无法达到对男性进行隐私保护的目的。

技术实现思路

1、本发明的目的是针对现有技术的不足，而提供一种基于生成对抗网络和化妆迁移技术的人脸隐私保护方法。这种方法能构建黑盒攻击力更强、视觉质量更好的对抗样本来避免未授权的人脸识别系统恶意识别，改变人脸识别系统的识别结果，保护人脸隐私。

2、实现本发明目的的技术方案是：

3、一种基于生成对抗网络和化妆迁移的男性人脸隐私保护方法，包括如下步骤：

4、1)图像到图像的转换：训练一个生成器g和判别器d，生成器g学习原始域标签c′和目标域标签c之间的映射，将男性图像input image x和目标域标签c作为生成器g的输入，通过生成器g输出转换后的女性图像fake image，判别器d学习区分真假图像并将图像分类到其相应的域，然后生成器g从给定原始域标签的fake image重构原始图像，生成与真实图像无法区分的图像，并可被判别器d分类到目标域c，具体转换过程为：生成器g将输入的真实男性图像x转换到目标女性标签域c，将目标函数ladv最小化，缩小自己生成的伪造女性图像与真实男性图像x的差别，让判别器d难辨真假，欺骗判别器d将生成器g生成的假图片分类到目标域中；判别器d将目标函数ladv最大化，从而正确地识别出真实男性图像和生成器g伪造的女性图像，采用对抗性损失ladv，生成器g生成一个伪造女性图像g(x,c)，g(x,c)以输入图像x和目标域标签c作为输入条件,对抗性损失ladv定义如公式(1)所示：

5、ladv＝logd(x)+log(1-d g(x,c))(1)，

6、在转换过程中分别优化判别器d的真实图像的域分类损失以及优化生成器g的假图像的域分类损失用于优化判别器d和生成器g的域分类损失定义如公式(2)、公式(3)所示：

7、

8、

9、通过最小化判别器d能够将真实图像真实男性图像x分类到x对应的原始男性域c′,即实现判真为真，生成器g通过最小化来生成能够被分类为目标域female domainc的图像即实现判假为真，生成器g将转换后的图像g(x,c)和原始标签c′作为输入，重新生成原始图像x，自重构过程中最小化损失函数和并不能保证保留输入图像上与域转换无关的内容不变，而只改变与域转换相关的部分，在模型的生成器中引入了重构损失lrec，即使用两次生成器，将原始图像x转换为目标域中的图像，从转换后的图像重建原始图像，最后比较原始图像和重构图像的l1正则化距离，判别器d损失由两部分损失函数组成：对抗损失和域分类损失；生成器g损失由三部分构成：对抗损失、域分类损失和重构损失，优化生成器g的目标函数lg和优化判别器d的目标函数ld的定义如公式(5)、公式(6)所示：

10、lrec＝||x-g(g(x,c),c'))||1  (4)，

11、lg＝ladv+uclslcls+ulrec  (5)，ld＝-ladv+uclslcls  (6)；

12、2)离散余弦变换过程：离散余弦变换dct将图像的重要信息集中在照片左上角，dct将图像分成由不同频率组成的小块，再进行量化，采用频率对抗攻击去直接修改频域的能量能够做到更微不可察的改动，在对图像进行化妆迁移前，对图像进行预处理，在预处理阶段将离散余弦变换dct应用于输入图像，具体过程为：采用融合过程来捕获频域中对手的突出区域，在频域增加对抗扰动，首先在输入图像x转到频域的过程中应用dct变换，利用融合模块的对抗损失对不同频段的能量进行微调，间接的在频域中加入对抗避免空间域中攻击的冗余噪声，再将逆离散余弦变换idct应用回空间域，将攻击隐藏在频率段中，获得增加对抗性的输入图像，对每个块采用公式(7)所示进行dct过程：

13、

14、其中，d(·)表示离散余弦变换，x(i,j)是图像坐标(i,j)上的值，c(u)和c(v)让dct矩阵正交，n是每个块的大小，生成初始扰动p～u(0,1)注入频带，当图像传输到频域时，不同频域的能量范围是不平衡的，步长自适应的矩阵m基于每个频段的比例平衡不平衡能量的影响，矩阵m针对不同的输入进行动态复位，xadv表示生成的增加了对抗性的图像，d(xadv)表示对xadv进行离散余弦变换，完整的融合过程定义为：

15、f(xadv)＝d(xadv)+m⊙pn+～1  (8)，

16、引入频率扰动pn和预定义的权重矩阵m，m用于控制不同频段的步长，⊙表示哈达玛集，在优化过程中，pn+1表示下一次引入的频率扰动，按如下方式更新：

17、

18、在每个块从频域转回空间域的过程中应用idct，当idct达到最大迭代或将对抗样本分类错误时结束循环并输出最后的对抗样本xadv；

19、3)化妆迁移过程：训练两个生成器g1、g2和两个判别器da、db，在实现参考化妆图像和未化妆图像之间的妆容迁移过程中包含两个不同的数据集a、b，a表示未化妆且被转换为女性图片的数据集合，b表示化妆的数据集合，生成器g1和生成器g2学习两个域之间的映射，给定两个图像x，y作为输入，源图像x∈a，参考图像y∈b，此时的x经过了dct和idct变换，加入了不可察扰动，生成迁移了参考图像化妆风格的已化妆的图像g(x,y)，迁移了y的化妆样式，同时保留了x的面部标识，并保持x的身份不变，具体过程为：在化妆迁移过程中，引入作用于不同化妆区域的像素级直方图损失在化妆过程保证结果图像和参考图像化妆风格一致，引入感知损失来维持面部身份和结构防止在转换过程中丢失源图像的特征，判别器da负责从未化妆真实样本集合a中区分出生成器g1和生成器g2生成的假图像，判别器da损失函数定义如公式(10)所示：

20、lda＝log da(x)+[log(1-da(g(y,x)))]  (10)，

21、判别器db负责从具有多种化妆风格的真实样本集合b中区分出生成器g2生成的假图像，判别器db损失函数定义如公式(11)所示：

22、ldb＝log db(y)+log(1-db(g(x,y)))  (11)，

23、生成器g1、g2损失函数包括对抗性损失、循环一致性损失、感知损失和化妆损失，定义如公式(12)、公式(13)所示：

24、lg＝μadvladv+μcyclcyc+μperlper+lmakeup  (12)，

25、ladv＝lda+ldb  (13)，

26、其中μadv、μcyc、μper是控制每个项的相对重要性的权重因子，感知损失计算由深度卷积网络提取的高级特征之间的差异，感知损失lper定义如下：

27、

28、其中fl(x)指第l层的对应特征图，cl为特征图数量，hl和wl分别为每个特征图的长和宽，循环一致性损失用来确保生成对抗图像重构回源图像的过程中生成和源图像接近的图像，循环一致性损失lcyc定义如下：

29、lcyc＝||x-g((x,y),x))||1+||(y-g((x,y),y))||1  (15)，

30、面部化妆过程看起来就是颜色分布的不同，化妆的过程被理解为变色过程，采用直方图匹配，在像素级引入直方图损失，实现输出图像和参考图像的化妆风格一致，化妆存在重要部分，口红、眼影和底妆，对化妆中口红、眼影和底妆三个部分使用局部直方图损失，针对每个输入图像x，生成索引掩码m表示不同的面部位置，索引掩码m包含的面部位置有嘴唇、眼睛、面部皮肤，表示为m＝fp(x)，追踪不同的标签产生三个对应的二进制掩码，嘴唇的掩码表示为ml、眼睛的掩码表示为mf、面部皮肤的掩码表示为ms，化妆损失lmakeup表示为：

31、lmakeup＝μlll+μsls+μflf  (16)，

32、其中μl、μs、μf是权重因子，将图像与相应的二进制掩码相乘，并在结果图像g(x,y)和参考图像y之间处理空间直方图匹配，直方图匹配litem定义如下：

33、

34、表示逐元素乘，fp为从人脸解释模型上获取的face guidance mask，item指嘴唇lips、眼部shadow、面部face的集合。

35、本技术方案为男性人脸生成对抗样本来达到隐私保护的目的，采用将男性图像自然地转换为女性图像后进行妆容迁移的技术，将合适的妆容迁移到男性照片上，生成的对抗样本图片自然、视觉质量优良并且具有较高的攻击能力，化妆转移可以在不改变源图像面部身份的情况下，将给定参考面部图像的化妆风格转换到未化妆的源图像面部上，使其被识别为另一个妆容相似且长相相似的人，从而达到隐私保护的目的。

36、本技术方案提供的针对男性的人脸隐私保护方法imt-gan(facial makeuptransfer using instance-level transfer，简称imt-gan)，采用图像到图像间转换的技术弥补了直接给男性上妆会造成生成图片视觉质量差、人脸特征丢失的问题，在图像预处理阶段加入离散余弦变换，将输入图像转换到频域，再通过融合模块使用对抗损失对不同频段的能量进行微调，将攻击隐藏在频率段中直接修改频域的能量，更隐形地增加图片扰动，获得攻击性更强的源图像，imt-gan方法构建的网络在图像到图像间转换技术的基础上，对不同面部区域，例如眼睛、鼻子、嘴唇、底妆部分分别计算像素级直方图损失来实现将参考图像妆容迁移到未化妆的源图像上化妆迁移，将感知损失和循环一致性损失纳入总体目标函数来保证图片质量、保持人脸身份并消除伪影。

37、这种方法能构建黑盒攻击力更强、视觉质量更好的对抗样本来避免未授权的人脸识别系统恶意识别，改变人脸识别系统的识别结果，保护人脸隐私。