一种伪造图像的识别方法、装置及设备与流程

1.本发明涉及图像识别技术领域，具体涉及一种伪造图像的识别方法、装置及设备。


背景技术：

2.在图像识别领域中，现有的识别方法是通过深度卷积神经网络自动学习真伪图像得到真伪标签，没有充分考虑频域线索，所以学到的判别特征只能判别特定造假图像，无法应对其他的伪造图像，即泛化性很差。


技术实现要素：

3.为解决上述问题，提出了本发明实施例的伪造图像的识别方法、装置及设备。
4.根据本发明实施例的一个方面，提供了一种伪造图像的识别方法，包括：获取待检测图像；获取所述待检测图像的频谱掩模与所述待检测图像对应的身份空间约束，所述身份空间约束是指所述待检测图像与对应的预设参考正确图像的关联性权重分布图；根据所述频谱掩模对所述待检测图像进行分频，分别得到频谱的高频分量和低频分量；通过所述频谱的高频分量和低频分量与所述身份空间约束，分别得到高频分量的伪造概率和低频分量的伪造概率；合并所述高频分量的伪造概率和所述低频分量的伪造概率，得到最终伪造概率。
5.可选的，获取所述待检测图像的频谱掩模，包括：获取所述待检测图像的分频半径参数；根据所述分频半径参数，按预设规则生成所述待检测图像的频谱掩模。
6.可选的，根据所述频谱掩模对所述待检测图像进行分频，分别得到频谱的高频分量和低频分量，包括：对所述待检测图像进行快速傅里叶变换，得到所述待检测图像的第一频率响应；对所述第一频率响应进行平移和变换，得到直流分量位于中心的第二频率响应；根据算法得到所述频谱的第c通道的高频分量，其中，是指第二频率响应，是指逐元素相乘，m是指频谱掩模；对所述频谱的第c通道的高频分量进行快速傅里叶逆变换，得到所述待检测图像的高频分量；根据算法得到所述频谱的第c通道的低频分量；对所述频谱的第c通道的低频分量进行快速傅里叶逆变换，得到所述待检测图像的低频分量。
7.可选的，获取所述待检测图像对应的身份空间约束，包括：
提取所述待检测图像的第一特征信息和所述预设参考正确图像的第二特征信息；根据所述第一特征信息和所述第二特征信息确定所述待检测图像与所述预设参考正确图像的关联性权重分布图，得到所述身份空间约束。
8.可选的，通过所述频谱的高频分量和低频分量与所述身份空间约束，分别得到高频分量的伪造概率和低频分量的伪造概率，包括：获取所述高频分量和低频分量分别对应的主干网络；根据算法得到所述高频分量的伪造概率，其中，是指所述高频分量对应的主干网络，是指所述待检测图像的高频分量，为所述身份空间约束；根据算法得到所述低频分量的伪造概率，其中，是指所述低频分量对应的主干网络，是指所述待检测图像的低频分量。
9.可选的，合并所述高频分量的伪造概率和所述低频分量的伪造概率，得到最终伪造概率，包括：通过算法得到所述最终伪造概率，其中，α为权重参数。
10.根据本发明实施例的另一方面，提供了一种伪造图像的识别装置，所述装置包括：获取模块，用于获取待检测图像；处理模块，用于获取所述待检测图像的频谱掩模与所述待检测图像对应的身份空间约束，所述身份空间约束是指所述待检测图像与对应的预设参考正确图像的关联性权重分布图；根据所述频谱掩模对所述待检测图像进行分频，分别得到频谱的高频分量和低频分量；通过所述频谱的高频分量和低频分量与所述身份空间约束，分别得到高频分量的伪造概率和低频分量的伪造概率；输出模块，用于合并所述高频分量的伪造概率和所述低频分量的伪造概率，得到最终伪造概率。
11.根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述伪造图像的识别方法对应的操作。
12.根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述伪造图像的识别方法对应的操作。
13.根据本发明上述实施例提供的方案，通过获取待检测图像；获取所述待检测图像的频谱掩模与所述待检测图像对应的身份空间约束，所述身份空间约束是指所述待检测图像与对应的预设参考正确图像的关联性权重分布图；根据所述频谱掩模对所述待检测图像进行分频，分别得到频谱的高频分量和低频分量；通过所述频谱的高频分量和低频分量与
所述身份空间约束，分别得到高频分量的伪造概率和低频分量的伪造概率；合并所述高频分量的伪造概率和所述低频分量的伪造概率，得到最终伪造概率。提高了识别系统对于不同造假技术的泛化能力，增强了识别器的性能。
14.上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
15.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本发明实施例提供的伪造图像的识别方法的方法流程图；图2示出了本发明实施例提供的一种基于赋权分频身份空间约束的身份交换型伪造人脸鉴别方法流程示意图；图3示出了图2中身份语义编码器与主干网络的流程示意图；图4示出了本发明实施例提供的伪造图像的识别装置的结构示意图；图5示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
16.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
17.图1示出了本发明实施例提供的伪造图像的识别方法的方法流程图。如图1所示，该方法包括以下步骤：步骤11，获取待检测图像；步骤12，获取所述待检测图像的频谱掩模与所述待检测图像对应的身份空间约束，所述身份空间约束是指所述待检测图像与对应的预设参考正确图像的关联性权重分布图；步骤13，根据所述频谱掩模对所述待检测图像进行分频，分别得到频谱的高频分量和低频分量；步骤14，通过所述频谱的高频分量和低频分量与所述身份空间约束，分别得到高频分量的伪造概率和低频分量的伪造概率；步骤15，合并所述高频分量的伪造概率和所述低频分量的伪造概率，得到最终伪造概率。
18.该实施例中，通过获取待检测图像；获取所述待检测图像的频谱掩模与所述待检测图像对应的身份空间约束，所述身份空间约束是指所述待检测图像与对应的预设参考正确图像的关联性权重分布图；根据所述频谱掩模对所述待检测图像进行分频，分别得到频谱的高频分量和低频分量；通过所述频谱的高频分量和低频分量与所述身份空间约束，分
别得到高频分量的伪造概率和低频分量的伪造概率；合并所述高频分量的伪造概率和所述低频分量的伪造概率，得到最终伪造概率。提高了识别系统对于不同造假技术的泛化能力，增强了识别器的性能。
19.在本发明的一可选的实施例中，步骤11可以包括：步骤111，在所述待检测图像中提取人物面部的关键坐标，所述关键坐标是指能标识出眼、鼻、口位置或范围的坐标；步骤112，根据预设模板，对提取出的所述关键坐标作变换，得到所述校正姿态后的待检测图像。
20.该实施例中，首先，利用人脸检测技术获取图像中的人脸区域坐标和人脸特征点坐标，然后，根据人脸区域坐标和人脸特征点坐标在图像中提取人脸图像并校正面部区域，得到待检测人脸图像，其中，人脸检测可以在faceforensics++数据集的训练图像中检测人脸区域并提取人脸的关键点坐标，但不限于如上所述，关键点坐标优选为提取68个；然后针对每张人脸，求解从人脸关键点坐标到预设模板坐标的最优仿射变换，以最小化变换后两者的均方差距离，将解得的变换作用于相应人脸，并按预设常数缩放至适当比例，裁剪出校正后的面部区域。
21.在本发明的又一可选的实施例中，步骤12中，获取所述待检测图像的频谱掩模与响应，可以包括：步骤121，获取所述待检测图像的分频半径参数；步骤122，根据所述分频半径参数，按预设规则生成所述待检测图像的频谱掩模；具体的，所述按预设规则生成所述待检测图像的频谱掩模可以包括：生成中部取值接近于1，周围取值接近于0的权重分布图，再根据所述权重分布图生成频谱掩模，但不仅限于如上所述。
22.如图2和图3所示，基于赋权分频身份空间约束的鉴别框架由两个共用身份语义编码器及其生成的身份空间约束的鉴别分支组成，所述身份空间约束在本发明的实施例中，也可以称之为身份约束区域，在该实施例中，首先将待检测图像利用快速傅里叶变换（fft）获取待检测图像的第一频率响应x，其中，c为待检测图像输入的通道数，h为待检测图像的高度，w为待检测图像的宽度；其次对第一频率响应进行平移变换，使得直流分量位于中心得到第二频率响应；最后设定分频半径，通过算法，得到待检测图像的频谱掩模，其中，频谱掩模，为超参数，，为坐标，
，该频谱掩模对参数可导，因此还能参与训练，反向传播中可以有。
23.在本发明的又一可选的实施例中，步骤12中，获取所述待检测图像对应的身份空间约束，可以包括：步骤123，提取所述待检测图像的第一特征信息和所述预设参考正确图像的第二特征信息；步骤124，根据所述第一特征信息和所述第二特征信息确定所述待检测图像与所述预设参考正确图像的关联性权重分布图，得到所述身份空间约束。
24.该实施例中，主干网络使用在imagenet上进行预训练的resnet-50的参数来初始化网络参数。身份语义编码器用mobilefacenet的参数初始化并保持冻结。在获得待检测图像后，通过身份语义编码器对待检测图像生成身份约束区域ρ。
25.具体的，首先通过算法由相应的卷积模组从第i尺度上提取第一特征信息。
26.其次，相应的，对预设正确图像，同样通过算法由相应的卷积模组从第i尺度上提取第二特征信息，其中，第一特征信息和第二特征信息包括身份特征图等信息，但不仅限于身份特征图。
27.最后，在得到第一特征信息和第二特征信息后，通过算法得到身份约束区域ρ，其中，是第一特征信息和第二特征信息位于坐标（x，y）的特征向量。
28.在本发明的又一可选的实施例中，步骤13可以包括：步骤131，对所述待检测图像进行快速傅里叶变换，得到所述待检测图像的第一频率响应；步骤132，对所述第一频率响应进行平移和变换，得到直流分量位于中心的第二频率响应；步骤133，根据算法得到所述频谱的第c通道的高频分量，其中，是指第二频率响应，是指逐元素相乘，m是指频谱掩模；
步骤134，对所述频谱的第c通道的高频分量进行快速傅里叶逆变换，得到所述频谱的高频分量；步骤135，根据算法得到所述频谱的第c通道的低频分量；步骤136，对所述频谱的第c通道的低频分量进行快速傅里叶逆变换，得到所述频谱的低频分量。
29.该实施例中，在得到所述频谱的第c通道的高频分量和低频分量后，分别对该高频分量和该低频分量做平移变换使直流分量位于左上角，然后分别进行快速傅里叶逆变换（ifft）并取结果实部后得到待检测图像的高频分量和低频分量。
30.在本发明的又一可选的实施例中，步骤14可以包括：步骤141，获取所述高频分量和低频分量分别对应的主干网络；具体的，主干网络共有n个下采样阶段，即由n个卷积模组和分类部c级联而成。对于主干网络的前k-1个阶段，其前向计算和原始的分类卷积网络通过算法保持一致，其中，为第i阶段相应的特征图，且初始值。
31.从第k阶段起至最后阶段，将身份约束区域引入主干网络，通过算法调制每个模组的输入来修正其注意力，其中，表示逐元素相乘，为权重，是通过身份语义编码器的相应空间约束构建而成的，，函数expand在高宽维度上用双线性插值缩放为，并沿通道维度复制次，以满足维度一致性要求。
32.步骤142，根据算法得到所述高频分量的伪造概率，其中，是指所述高频分量对应的主干网络，是指所述待检测图像的高频分量，为所述身份约束区域；步骤143，根据算法得到所述低频分量的伪造概率，其中，是指所述低频分量对应的主干网络，是指所述待检测图像的低频分量。
33.该实施例中，所述高频分量对应的主干网络和低频分量对应的主干网络权值独立。
34.在本发明的又一可选的实施例中，步骤15可以包括：步骤151，通过算法得到所述最终伪造概率，其中，α
为权重参数，其中。
35.该实施例中，在训练时，可以以无约束的参数作等效替代并直接优化权重参数α，即，这样可以解除的范围限制，以免给训练带来不便。
36.在本发明的在一可选的实施例中，步骤15之后还可以包括：步骤16，若所述最终伪造概率大于或等于预设置信度阈值，则判断所述待检测图像为真实图像，若所述最终伪造概率低于预设置信度阈值，则判断所述待检测图像为伪造图像。
37.该实施例中，可以设置置信度阈值为0.5，但不仅限于0.5，若所述最终伪造概率大于或等于0.5，则判断所述待检测图像为真实图像，若所述最终伪造概率低于0.5，则判断所述待检测图像为伪造图像。
38.在本发明的上述实施例中的人脸检测训练的过程中，数据集均为每个人物身份提供了至少一个真实视频，因此可以用真实视频构造参考图像池。对于每张待检测图像，都在参考池中与之具有相同身份的视频里等概率地随机选择出一个，然后从该视频中再随机地采样一帧该人物的面部图像作为参考图像。在训练阶段中，这一随机选取过程对于每张待检测图像都是独立的，即它们选择的视频以及从中采样的帧之间没有额外约束条件。最后利益利用二分类交叉熵损失函数训练模型的参数，其中，y表示样本的真实二值标签，但经过软化处理，即限定在0.1到0.9范围内，避免训练时遇到极端更新值，p表示网络输出的归一化后的篡改置信度，表示损失值，j表示样本的下标。批大小设置为32，学习率设置为，采用梯度下降算法对网络进行端到端训练。
39.在训练完成后，该人脸检测模型可以直接输入图像，无需手动标注人脸区域。然后模型自动检测图像中的所有人脸区域，并对这些人脸进行篡改检测，最后输出归一化的置信度。
40.在本发明的上述实施例中，提出了一种全新的人脸篡改检测模型，其中深度结合了空域特征和频域特征。该模型考察待检测人脸图像与参考人脸图像之间的身份相似性并生成相应的身份空间约束，然后施加到主干网络上使其更加关注与身份特征相关的区域以提高检测性能。模型在处理中按频率响应做分支处理，每个频带都自适应地提取相应特征，对应线索的抗干扰性也更强。更加适合保护特定人物的实用场景。
41.同时本发明的上述实施例中面向保护特定人物不受伪造图像侵害的实际场景，提出了利用额外的参考人脸图像为鉴别器提供辅助信息这一新的鉴别范式。该方法的实现框架中包含了主干网络和身份语义编码器两个主要部分，可以将相应生成的身份空间约束引入到主干网络迫使其更加关注更具判别性更本质的鉴伪线索，在识别未知伪造方法合成的人脸图像时可达到更高的准确度，对失真扰动等具有良好的鲁棒性。
42.本发明的上述实施例还利用了空域和频域的鉴伪线索。一方面使用身份空间约束金字塔在空域层面上寻找与伪造线索最具关联性的区域，另一方面使用分频支路对不同频带的信号做自适应处理与融合。这一做法利用了两种特征空间上线索的互补性，极大提升了鉴别器的性能。与传统的基于人工特征的检测方法相比，判断人脸图像真伪所依赖的特征语义层次更高，特征维度也更加丰富。与现有的基于神经网络的检测方法相比，在实用过程中具有更强的针对性。
43.图4示出了本发明实施例提供的伪造图像的识别装置40的结构示意图。如图4所示，该装置包括：获取模块41，用于获取待检测图像；处理模块42，用于获取所述待检测图像的频谱掩模与所述待检测图像对应的身份空间约束，所述身份空间约束是指所述待检测图像与对应的预设参考正确图像的关联性权重分布图；根据所述频谱掩模对所述待检测图像进行分频，分别得到频谱的高频分量和低频分量；通过所述频谱的高频分量和低频分量与所述身份空间约束，分别得到高频分量的伪造概率和低频分量的伪造概率；输出模块43，用于合并所述高频分量的伪造概率和所述低频分量的伪造概率，得到最终伪造概率。
44.可选的，所述处理模块42还用于获取所述待检测图像的分频半径参数；根据所述分频半径参数，按预设规则生成所述待检测图像的频谱掩模。
45.可选的，所述处理模块42还用于对所述待检测图像进行快速傅里叶变换，得到所述待检测图像的第一频率响应；对所述第一频率响应进行平移和变换，得到直流分量位于中心的第二频率响应；根据算法得到所述频谱的第c通道的高频分量，其中，是指第二频率响应，是指逐元素相乘，m是指频谱掩模；对所述频谱的第c通道的高频分量进行快速傅里叶逆变换，得到所述待检测图像的高频分量；根据算法得到所述频谱的第c通道的低频分量；对所述频谱的第c通道的低频分量进行快速傅里叶逆变换，得到所述待检测图像的低频分量。
46.可选的，所述处理模块42还用于提取所述待检测图像的第一特征信息和所述预设参考正确图像的第二特征信息；根据所述第一特征信息和所述第二特征信息确定所述待检测图像与所述预设参考正确图像的关联性权重分布图，得到所述身份空间约束。
47.可选的，所述处理模块42还用于获取所述高频分量和低频分量分别对应的主干网络；根据算法得到所述高频分量的伪造概率，其中，是指所述
高频分量对应的主干网络，是指所述待检测图像的高频分量，为所述身份空间约束；根据算法得到所述低频分量的伪造概率，其中，是指所述低频分量对应的主干网络，是指所述待检测图像的低频分量。
48.可选的，所述输出模块43还用于通过算法得到所述最终伪造概率，其中，α为权重参数。
49.应理解，上述对图1至图5示意的方法实施例的说明，仅是以可选示例的方式对本发明技术方案的阐述，对本发明涉及的伪造图像的识别方法不构成限制。另一些实施方式中，本发明涉及的伪造图像的识别方法的执行步骤和顺序，可以不同于上述实施例，本发明实施例对此不限制。
50.需要说明的是，该实施例是与上述方法实施例对应的装置实施例，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
51.本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的伪造图像的识别方法。
52.图5示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
53.如图5所示，该计算设备可以包括：处理器(processor)、通信接口(communications interface)、存储器(memory)、以及通信总线。
54.其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述用于计算设备的伪造图像的识别方法实施例中的相关步骤。
55.具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
56.处理器可能是中央处理器cpu，或者是特定集成电路asic（application specific integrated circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
57.存储器，用于存放程序。存储器可能包含高速ram存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
58.程序具体可以用于使得处理器执行上述任意方法实施例中的伪造图像的识别方法。程序中各步骤的具体实现可以参见上述伪造图像的识别方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
59.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是
为了披露本发明实施例的最佳实施方式。
60.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
61.类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
62.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。
63.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
64.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（dsp）来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
65.应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。