人脸伪造主动干扰方法、系统、设备及存储介质

本发明涉及人脸伪造主动干扰，尤其涉及一种人脸伪造主动干扰方法、系统、设备及存储介质。

背景技术：

1、近年来，以deepfake（深度伪造技术）为代表的人脸深度伪造技术快速流行，受到了学术界和工业界的广泛关注。这种深度伪造技术通过篡改或替换原始视频的人脸信息，制作虚假人脸图像或视频。深度伪造技术隐藏着重大的信息安全风险。

2、为应对深度伪造技术带来的信息安全挑战，现有研究中大多采用深度伪造检测的思路，如face x-ray、xceptionnet等。此类方法能根据从伪造人脸素材中提取到的伪造线索或伪造特征，以较高精度对伪造人脸图像或视频进行检测，但其属于被动检测手段，不能从源头上杜绝伪造人脸图像或视频的产生。因此，寻找一种有效的主动防御手段，预防伪造人脸的生成，是一个重要的研究方向。

3、人脸伪造主动干扰是一个逐渐兴起的研究课题，它的目的是给原人脸图像添加保护性干扰噪声，使得深度伪造模型对受保护人脸图像进行伪造时无法实现理想的伪造效果，达到从源头上保护人脸图像的目的。现有的人脸伪造主动干扰方法大多借鉴传统对抗样本领域方法，如梯度上升法、训练噪声生成器等。然而，这些简单的对抗样本生成策略并没有充分考虑人脸图像高度结构化的特点，生成的噪声密集且随机地分布在图像各个位置，导致图像质量的下降，甚至破坏原人脸图像的身份信息。

技术实现思路

1、本发明的目的是提供一种人脸伪造主动干扰方法、系统、设备及存储介质，可以生成生成对原图破坏性较低和干扰性较强的保护性噪声，从而保证了图像质量，提升了干扰效果，保障了信息安全性。

2、本发明的目的是通过以下技术方案实现的：

3、一种人脸伪造主动干扰方法，包括：

4、训练噪声生成器，训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造模型对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果，结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数，利用所述总体损失函数对噪声生成器进行训练；

5、通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像。

6、一种人脸伪造主动干扰系统，包括：

7、噪声生成器训练单元，用于训练噪声生成器，训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造模型对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果，结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数，利用所述总体损失函数对噪声生成器进行训练；

8、受保护的人脸图像生成单元，用于通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像。

9、一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

10、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

11、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

12、由上述本发明提供的技术方案可以看出，在噪声生成器的训练过程中，通过约束保护性噪声的分布，使生成的噪声分布更匹配人脸结构特征，具有更好的泛化性和可解释性；通过对原人脸图像伪造结果与对抗样本图像伪造结果的图像差异，以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异进行控制能够同时对像素层面与身份层面进行干扰；同时，通过对原人脸图像与对抗样本图像的身份差异进行控制能够关注到原人脸图像身份信息的保持，生成不影响原人脸图像身份特征的噪声，将主动干扰对原人脸图像质量带来的负面影响减小；因此，本发明提供的方案可以保证图像质量，提升干扰效果，保障信息安全性。

技术特征：

1.一种人脸伪造主动干扰方法，其特征在于，包括：

2.根据权利要求1所述的一种人脸伪造主动干扰方法，其特征在于，训练过程中设置人脸解析约束模块，基于所述人脸解析约束模块解析原人脸图像得到人脸区域的遮罩，并对保护性噪声的分布进行约束。

3.根据权利要求1或2所述的一种人脸伪造主动干扰方法，其特征在于，根据保护性噪声的分布构建第一损失函数，约束保护性噪声的分布在人脸区域；所述第一损失函数表示为：

4.根据权利要求1所述的一种人脸伪造主动干扰方法，其特征在于，训练过程中设置身份特征约束模块，通过身份特征约束模块提取原人脸图像的身份特征向量、对抗样本图像的身份特征向量、原人脸图像伪造结果的身份特征向量、以及对抗样本图像伪造结果的身份特征向量；原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异是指相应身份特征向量的距离。

5.根据权利要求1或4所述的一种人脸伪造主动干扰方法，其特征在于，根据原人脸图像与对抗样本图像的身份差异构建第二损失函数，通过第二损失函数最小化原人脸图像与对抗样本图像的身份差异；所述第二损失函数表示为：

6.根据权利要求1或4所述的一种人脸伪造主动干扰方法，其特征在于，根据原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建第三损失函数，通过第三损失函数最大化原人脸图像伪造结果与对抗样本图像伪造结果的身份差异；所述第三损失函数表示为：

7.根据权利要求1所述的一种人脸伪造主动干扰方法，其特征在于，根据原人脸图像伪造结果与对抗样本图像伪造结果的图像差异构建第四损失函数，通过第四损失函数最大化图像差异，所述第四损失函数表示为：

8.一种人脸伪造主动干扰系统，其特征在于，用于实现权利要求1~7任一项所述的方法，该系统包括：

9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。

技术总结
本发明公开了一种人脸伪造主动干扰方法、系统、设备及存储介质，它们是一一对应的方案，方案中：在噪声生成器的训练过程中，通过约束保护性噪声的分布，使生成的噪声分布更匹配人脸结构特征，具有更好的泛化性和可解释性；通过对原人脸图像伪造结果与对抗样本图像伪造结果的图像差异，以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异进行控制能够对像素与身份层面进行干扰；同时，通过对原人脸图像与对抗样本图像的身份差异进行控制能够关注到原人脸图像身份信息的保持，生成不影响原人脸图像身份特征的噪声，将主动干扰对原人脸图像质量带来的负面影响减小；因此，本发明提供的方案可以保证图像质量，提升干扰效果，保障信息安全性。

技术研发人员：张勇东,孙雨豪,谢洪涛,于灵云
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/1/13