伪造对象检测方法、相关装置及存储介质与流程

本技术实施例涉及数据传输，尤其涉及一种伪造对象检测方法、相关装置及存储介质。

背景技术：

1、随着人工智能生成的内容(artificial intelligence generated content，aigc)技术的迅猛发展，尤其是生成对抗网络(generative adversarial networks，gans)和扩散模型(diffusion model)的不断迭代，深度伪造人脸技术的伪造效果愈发逼真，使得伪造内容难以辨别，从而带来了诸多潜在的风险和威胁，例如虚假新闻、网络欺诈、隐私侵犯等。

2、鉴于深度伪造人脸技术的滥用风险，人们对于深度伪造人脸的检测和防御需求越来越迫切，例如，社交媒体平台需要检测和防御深伪造内容的传播，金融机构需要检测和防御深伪造人脸技术在网络欺诈中的应用，政府和法律部门需要深伪造人脸检测技术来提供虚假证据等。

3、许多虚假人脸检测技术已经被提出，以用来鉴别图像或视频中人脸是否被篡改，并输出真假二分类标签。这些方法大部分使用基于数据驱动的深度学习技术，设计更先进的网络结构或损失函数等来提升检测性能，但是只输出真假二分类标签并不能满足一些场景的需求，例如对于恶意且非法的伪造人脸，治理者还要需要确定伪造内容是如何被制作的。

4、现有技术中，工作大部分都是将虚假人脸的真假二分类任务和伪造方法溯源任务分开研究，伪造方法溯源模型需要串联在真假二分类模型后面，即先将待检测人脸送入深伪二分类模型判是否伪造的，再送入伪造方法溯源模型中判别由哪种伪造方法所制作的，该方案需要部署多个模型，过程繁琐且开销大，且处理效率低。

技术实现思路

1、本技术实施例提供了一种伪造对象检测方法、相关装置及存储介质，可以提高伪造对象检测的准确率以及提高伪造对象检测的处理效率。

2、第一方面，本技术实施例提供了一种伪造对象检测方法，包括：

3、获取待检测数据中目标对象的目标对象特征；

4、确定第一特征距离集合、第二特征距离集合以及第三特征距离集合，所述第一特征距离集合为所述目标对象特征与至少一个真实原型中各所述真实原型的特征距离，所述第二特征距离集合为所述目标对象特征与至少两个独有伪造原型中各所述独有伪造原型的特征距离，所述第三特征距离集合为所述目标对象特征与至少一个共性伪造原型中各所述共性伪造原型的特征距离；

5、若基于所述第一特征距离集合、所述第二特征距离集合以及所述第三特征距离集合确定所述目标对象为伪造对象，则根据所述第二特征距离集合确定所述目标对象的伪造类型。

6、在一些实施例中，所述第四损失值根据第四公式确定，所述第四公式为：

7、

8、其中，为所述第四损失值，d(zcls,mij)表示zcls与mij之间的特征距离，zcls表示所述第二特征，mij表示所述原型集合中的原型，i＝0表示mij为真实原型，i＝1表示mij为独有伪造原型，j表示所述原型集合中原型的原型索引，x为所述目标样本，γ表示控制学习任务难度的系数，p(yc|x)表示所述目标样本属于yc的概率，当所述目标样本的二分类标签为真实样本时yc＝0，当目标样本的二分类标签为伪造样本时yc＝ym，ym表示伪造类型的标签。

9、在一些实施例中，所述第五损失值根据第五公式确定，所述第五公式为：

10、

11、其中，为所述第五损失值，d(zcls,mij)表示zcls与mij之间的特征距离，zcls表示所述第二特征，mij表示所述原型集合中的原型，i＝0表示mij为真实原型，i＝2表示mij为共性伪造原型，j表示所述原型集合中原型的原型索引，x为所述目标样本，γ表示控制学习任务难度的系数，p(yb|x)表示所述目标样本属于标签yb的概率，yb表示所述目标样本的二分类标签。

12、在一些实施例中，所述待检测数据包括音频数据、视频数据以及图像数据中的至少一项。

13、在一些实施例中，所述待检测数据包括视频数据以及图像数据中的至少一项，所述目标对象为人脸。

14、第二方面，本技术实施例还提供了一种伪造对象检测装置，包括：

15、收发模块，用于获取待检测数据中目标对象的目标对象特征；

16、处理模块，用于确定第一特征距离集合、第二特征距离集合以及第三特征距离集合，所述第一特征距离集合为所述目标对象特征与至少一个真实原型中各所述真实原型的特征距离，所述第二特征距离集合为所述目标对象特征与至少两个独有伪造原型中各所述独有伪造原型的特征距离，所述第三特征距离集合为所述目标对象特征与至少一个共性伪造原型中各所述共性伪造原型的特征距离；若基于所述第一特征距离集合、所述第二特征距离集合以及所述第三特征距离集合确定所述目标对象为伪造对象，则根据所述第二特征距离集合确定所述目标对象的伪造类型。

17、在一些实施例中，所述处理模块具体根据以下方式确定所述目标对象是否为伪造对象：

18、确定所述第一特征距离集合中特征距离的平均特征距离，以及从所述第二特征距离集合以及所述第三特征集合中确定最小特征距离；根据所述平均特征距离以及所述最小特征距离确定所述目标对象是否为伪造对象。

19、在一些实施例中，所述处理模块在执行所述根据所述平均特征距离以及所述最小特征距离确定所述目标对象是否为伪造对象步骤时，具体用于：

20、根据所述平均特征距离确定所述目标对象为真实对象的第一概率，以及根据所述最小特征距离确定所述目标对象为伪造对象的第二概率；若所述第一概率大于所述第二概率，则确定所述目标对象为真实对象；若所述第一概率小于或等于所述第二概率，则确定所述目标对象为伪造对象。

21、在一些实施例中，所述伪造对象检测装置基于伪造对象检测模型实现，所述伪造对象检测模型包括特征编码器、原型集合、检测溯源模块和原型更新模块；

22、其中，所述原型集合包括至少一个预设的真实原型、至少两个预设的独有伪造原型以及至少一个预设的共性伪造原型；

23、所述特征编码器用于获取所述目标对象的所述目标对象特征；

24、所述检测溯源模块用于根据所述目标对象特征以及所述原型集合确定目标对象是否为伪造对象，且当所述目标对象为伪造对象时，确定所述目标对象的伪造类型；

25、所述原型更新模块用于在所述伪造对象检测模型的训练阶段对至少一个预设的真实原型、至少两个预设的独有伪造原型以及至少一个预设的共性伪造原型进行原型更新处理，得到至少一个所述真实原型、至少两个所述伪造原型以及至少一个所述共性伪造原型。

26、在一些实施例中，所述处理模块在所述收发模块执行所述获取待检测数据中目标对象的目标对象特征步骤之前，还用于：

27、通过所述收发模块获取目标样本，所述目标样本来自真实样本集合以及伪造样本集合；

28、获取所述目标样本的第一特征以及第二特征，所述第一特征包括真实特征、独有伪造特征以及共性伪造特征；

29、根据所述第一特征确定原型更新损失值，以及根据所述第二特征确定原型检测溯源损失值；

30、若确定目标损失值不满足预设收敛条件，则从所述真实样本集合以及所述伪造样本集合中获取新样本，将所述新样本作为所述目标样本，直至所述目标损失值满足所述预设收敛条件，得到训练后的伪造对象检测模型，所述目标损失值根据所述原型更新损失值以及所述原型检测溯源损失值确定。

31、在一些实施例中，所述处理模块在执行所述获取所述目标样本的第一特征以及第二特征步骤时，具体用于：

32、根据所述特征编码器确定所述目标样本的所述第一特征以及所述第二特征；

33、根据多头跨注意力子模块以及所述原型集合将所述第一特征划分为多个真实特征、多个独有伪造特征以及多个共性伪造特征，所述原型更新模块包括所述多头跨注意力子模块。

34、在一些实施例中，所述处理模块在执行所述根据所述第一特征确定原型更新损失值，以及根据所述第二特征确定原型检测溯源损失值步骤时，具体用于：

35、通过所述原型更新模块根据多个所述真实特征、多个所述独有伪造特征、多个所述共性伪造特征以及所述原型集合确定所述原型更新损失值，以及通过所述检测溯源模块根据所述第二特征确定所述检测溯源损失值。

36、在一些实施例中，所述原型更新模块还包括伪造方法判别器以及真假判别器；所述原型更新损失值包括第一损失值、第二损失值以及第三损失值；所述处理模块在执行所述根据所述第一特征确定原型更新损失值步骤时，具体用于：

37、根据各所述真实特征的样本标签从多个所述真实特征中确定各真实原型的目标真实特征，根据各所述独有伪造特征的样本标签从多个所述独有伪造特征中确定各独有伪造原型的目标独有伪造特征，以及根据各所述共性伪造特征的样本标签从多个所述共性伪造特征中确定各共性伪造原型的目标共性伪造特征；

38、根据所述原型集合、所述目标真实特征、所述目标独有伪造特征以及所述目标共性伪造特征确定所述第一损失值；

39、根据所述目标共性伪造特征以及所述伪造方法判别器确定所述第二损失值；

40、根据所述共性伪造特征的样本标签、所述共性伪造特征以及所述真假判别器确定所述第三损失值。

41、在一些实施例中，所述第一损失值根据第一公式确定，所述第一公式为：

42、

43、其中，为所述第一损失值，i表示指示函数，用于指示通过样本标签选择对应的za和mij，za为所述目标真实特征、所述目标独有伪造特征或所述目标共性伪造特征，mij表示所述原型集合中的原型，i＝0表示mij为真实原型，i＝1表示mij为独有伪造原型，i＝2表示mij为共性伪造原型，j表示所述原型集合中原型的原型索引，表示i(za)与i(mij)之间的特征距离。

44、在一些实施例中，所述第二损失值根据第二公式确定，所述第二公式为：

45、

46、其中，标识所述第二损失值，x表示所述目标样本，f表示所述特征编码器，g表示多头跨注意力子模块，dm表示所述伪造方法判别器，f(x)表示所述第二特征，表示指示函数，指示从所述共性伪造特征中选择样本标签为伪造对象的目标共性伪造特征，yb表示二分类标签，yb＝1表示二分类标签为伪造对象，n表示所述目标样本的个数，表示在x、yb以及ym上的期望，ym表示伪造类型的标签，θf表示所述特征编码器的参数，θg表示所述多头跨注意力子模块的参数，表示所述伪造方法判别器的参数。

47、在一些实施例中，所述第三损失值根据第三公式确定，所述第三公式为：

48、

49、其中，为所述第三损失值，为将所述共性伪造特征输入所述真假判别器时输出的概率。

50、在一些实施例中，所述检测溯源损失值包括第四损失值以及第五损失值；所述处理模块在执行所述根据所述第二特征确定原型检测溯源损失值步骤时，具体用于：

51、通过所述检测溯源模块确定第一样本特征距离集合、第二样本特征距离集合以及第三样本特征距离集合，所述第一样本特征距离集合包括所述第二特征分别与至少一个预设的真实原型中各真实原型的特征距离，所述第二样本特征距离集合包括所述第二特征分别与至少两个预设的独有伪造原型中各独有伪造原型的特征距离，所述第三样本特征距离集合包括所述第二特征分别与至少一个预设的共性伪造原型中各共性伪造原型的特征距离；

52、根据所述第一样本特征距离集合以及所述第二样本特征距离集合确定所述目标样本的所述第四损失值；

53、根据所述第一样本特征距离集合以及所述第三样本特征距离集合确定所述目标样本的所述第五损失值。

54、在一些实施例中，所述第四损失值根据第四公式确定，所述第四公式为：

55、

56、其中，为所述第四损失值，d(zcls,mij)表示zcls与mij之间的特征距离，zcls表示所述第二特征，mij表示所述原型集合中的原型，i＝0表示mij为真实原型，i＝1表示mij为独有伪造原型，j表示所述原型集合中原型的原型索引，x为所述目标样本，γ表示控制学习任务难度的系数，p(yc|x)表示所述目标样本属于yc的概率，当所述目标样本的二分类标签为真实样本时yc＝0，当目标样本的二分类标签为伪造样本时yc＝ym，ym表示伪造类型的标签。

57、在一些实施例中，所述第五损失值根据第五公式确定，所述第五公式为：

58、

59、其中，为所述第五损失值，d(zcls,mij)表示zcls与mij之间的特征距离，zcls表示所述第二特征，mij表示所述原型集合中的原型，i＝0表示mij为真实原型，i＝2表示mij为共性伪造原型，j表示所述原型集合中原型的原型索引，x为所述目标样本，γ表示控制学习任务难度的系数，p(yb|x)表示所述目标样本属于标签yb的概率，yb表示所述目标样本的二分类标签。

60、在一些实施例中，所述待检测数据包括音频数据、视频数据以及图像数据中的至少一项。

61、在一些实施例中，所述待检测数据包括视频数据以及图像数据中的至少一项，所述目标对象为人脸。

62、第三方面，本技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

63、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。

64、第五方面，本技术实施例提供了一种芯片，该芯片中包括与终端设备的收发器耦合，用于执行本技术实施例第一方面提供的技术方案。

65、第六方面，本技术实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面中所涉及的功能，例如，生成或者处理上述第一方面提供的伪造对象检测方法中所涉及的信息。在一种可能的设计中，上述芯片系统还包括存储器，该存储器用于保存终端必需的程序指令和数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

66、第七方面，本技术实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面提供的伪造对象检测方法，也能实现第一方面提供的伪造对象检测方法所具备的有益效果。

67、相较于现有技术，本技术实施例提供的方案中，一方面，由于本方案提供的伪造原型包括多个代表独有伪造特征的独有伪造原型以及至少一个代表共性伪造特征的共性伪造原型，所以通过本方案提供的伪造原型不仅可以识别到目标对象中的独有伪造特征，还可以识别到目标对象中的共性伪造特征，可以对目标对象的伪造特征进行更加全面的识别，通过识别到的更加全面的伪造特征对目标对象进行真假二分类，可以提高真假二分类的分类效果；另一方面，当本方案识别出目标对象为伪造对象时，利用之前进行二分类任务时计算得到的第二特征距离集合进一步确定目标对象的伪造类型，不需要再进行特征距离的计算，本方案在对目标对象进行二分类处理时可同时得到伪造类型溯源时所需的数据，伪造对象检测的处理效率高。