一种内容伪造攻击检测方法、装置以及设备与流程

本说明书涉及机器学习，尤其涉及一种内容伪造攻击检测方法、装置以及设备。

背景技术：

1、近年来，内容安全问题重新成为了学术界和工业界关注的一个重要课题。而deepfakes攻击是目前内容安全领域威胁最大的攻击方式之一。

2、具体来说，deepfakes通过训练深度学习模型进行内容伪造。借助强大的深度学习技术，deepfakes产生的伪造内容几乎可以以假乱真。

3、基于此，如何有效地检测deepfakes攻击是内容安全领域必须解决的一个问题。

技术实现思路

1、本说明书一个或多个实施例提供一种内容伪造攻击检测方法、装置、设备以及存储介质，用以解决如下技术问题：如何有效地检测deepfakes攻击。

2、为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

3、本说明书一个或多个实施例提供的一种内容伪造攻击检测方法，包括：

4、确定训练得到的端云一体模型，所述端云一体模型包括端侧特征编码器、端侧伪造攻击分类器、云端特征编码器、云端伪造攻击分类器，所述端云一体模型是根据相应的分类损失和端侧稀疏约束训练得到的；

5、确定拆分部署了所述端云一体模型的客户端和云端，所述端侧特征编码器、所述端侧伪造攻击分类器部署于所述客户端，所述云端特征编码器、所述云端伪造攻击分类器部署于所述云端；

6、在所述客户端上获得待检测内容，通过所述端侧特征编码器对所述待检测内容进行编码，得到端侧特征，输入所述端侧伪造攻击分类器进行分类，得到第一分类结果；

7、若确定需要所述云端也参与检测，则将所述端侧特征转换后从所述客户端传输至所述云端，通过所述云端特征编码器进行编码，得到云端特征，输入所述云端伪造攻击分类器进行分类，得到第二分类结果；

8、根据所述第一分类结果和/或所述第二分类结果，判断所述待检测内容是否属于伪造攻击。

9、本说明书一个或多个实施例提供的一种内容伪造攻击检测装置，包括：

10、模型确定模块，确定训练得到的端云一体模型，所述端云一体模型包括端侧特征编码器、端侧伪造攻击分类器、云端特征编码器、云端伪造攻击分类器，所述端云一体模型是根据相应的分类损失和端侧稀疏约束训练得到的；

11、部署确定模块，确定拆分部署了所述端云一体模型的客户端和云端，所述端侧特征编码器、所述端侧伪造攻击分类器部署于所述客户端，所述云端特征编码器、所述云端伪造攻击分类器部署于所述云端；

12、端侧检测模块，在所述客户端上获得待检测内容，通过所述端侧特征编码器对所述待检测内容进行编码，得到端侧特征，输入所述端侧伪造攻击分类器进行分类，得到第一分类结果；

13、云端检测模块，若确定需要所述云端也参与检测，则将所述端侧特征转换后从所述客户端传输至所述云端，通过所述云端特征编码器进行编码，得到云端特征，输入所述云端伪造攻击分类器进行分类，得到第二分类结果；

14、结果判断模块，根据所述第一分类结果和/或所述第二分类结果，判断所述待检测内容是否属于伪造攻击。

15、本说明书一个或多个实施例提供的一种内容伪造攻击检测设备，包括：

16、至少一个处理器；以及，

17、与所述至少一个处理器通信连接的存储器；其中，

18、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

19、确定训练得到的端云一体模型，所述端云一体模型包括端侧特征编码器、端侧伪造攻击分类器、云端特征编码器、云端伪造攻击分类器，所述端云一体模型是根据相应的分类器损失和端侧稀疏约束训练得到的；

20、确定拆分部署了所述端云一体模型的客户端和云端，所述端侧特征编码器、所述端侧伪造攻击分类器部署于所述客户端，所述云端特征编码器、所述云端伪造攻击分类器部署于所述云端；

21、在所述客户端上获得待检测内容，通过所述端侧特征编码器对所述待检测内容进行编码，得到端侧特征，输入所述端侧伪造攻击分类器进行分类，得到第一分类结果；

22、若确定需要所述云端也参与检测，则将所述端侧特征转换后从所述客户端传输至所述云端，通过所述云端特征编码器进行编码，得到云端特征，输入所述云端伪造攻击分类器进行分类，得到第二分类结果；

23、根据所述第一分类结果和/或所述第二分类结果，判断所述待检测内容是否属于伪造攻击。

24、本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

25、确定训练得到的端云一体模型，所述端云一体模型包括端侧特征编码器、端侧伪造攻击分类器、云端特征编码器、云端伪造攻击分类器，所述端云一体模型是根据相应的分类器损失和端侧稀疏约束训练得到的；

26、确定拆分部署了所述端云一体模型的客户端和云端，所述端侧特征编码器、所述端侧伪造攻击分类器部署于所述客户端，所述云端特征编码器、所述云端伪造攻击分类器部署于所述云端；

27、在所述客户端上获得待检测内容，通过所述端侧特征编码器对所述待检测内容进行编码，得到端侧特征，输入所述端侧伪造攻击分类器进行分类，得到第一分类结果；

28、若确定需要所述云端也参与检测，则将所述端侧特征转换后从所述客户端传输至所述云端，通过所述云端特征编码器进行编码，得到云端特征，输入所述云端伪造攻击分类器进行分类，得到第二分类结果；

29、根据所述第一分类结果和/或所述第二分类结果，判断所述待检测内容是否属于伪造攻击。

30、本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：通过将端侧特征编码器、端侧伪造攻击分类器、云端特征编码器、云端伪造攻击分类器作为一个整体即端云一体模型进行训练，再拆分成两部分，其中一部分部署在客户端，剩下的部分部署在云端，然后通过中间结果的传输，在端云两侧协同完成整个推理过程，在整体训练时采用了端侧端侧稀疏约束，有效地控制了端侧特征的数据规模，降低了客户端的检测压力，还能够对端侧特征相应地转换后再传输至云端处理，由云端适应于自身能力重新编码后再检测，如此处理，充分利用了端云两侧各自的长处，避免了各自的短处，兼顾了对端侧的数据隐私性保护，能够更有效地检测deepfakes攻击。

技术特征：

1.一种内容伪造攻击检测方法，包括：

2.如权利要求1所述的方法，所述相应的分类损失包括以下至少一种：所述端侧伪造攻击分类器和所述云端伪造攻击分类器分别对训练样本的分类损失、所述端侧伪造攻击分类器和所述云端伪造攻击分类器加权后的对训练样本的联合分类损失；

3.如权利要求2所述的方法，所述端侧稀疏约束至少包括所述端侧特征编码器的多个通道的权重稀疏约束；

4.如权利要求1所述的方法，所述得到第一分类结果之后，所述方法还包括：

5.如权利要求1所述的方法，所述根据所述第二分类结果，判断所述待检测内容是否属于伪造攻击，具体包括：

6.如权利要求1所述的方法，所述将所述端侧特征转换后从所述客户端传输至所述云端，通过所述云端特征编码器进行编码，得到云端特征，具体包括：

7.如权利要求6所述的方法，所述特征压缩模型包括输入扰动器、特征压缩器、信道扰动模拟器、特征解码器，所述特征压缩模型是根据所述特征解码器对应的特征重建损失、所述输入扰动器对应的输入扰动一致性损失、所述信道扰动模拟器对应的信道扰动一致性损失训练得到的；

8.如权利要求1所述的方法，所述确定训练得到的端云一体模型之后，所述方法还包括：

9.一种内容伪造攻击检测装置，包括：

10.如权利要求9所述的装置，所述相应的分类损失包括以下至少一种：所述端侧伪造攻击分类器和所述云端伪造攻击分类器分别对训练样本的分类损失、所述端侧伪造攻击分类器和所述云端伪造攻击分类器加权后的对训练样本的联合分类损失；

11.如权利要求10所述的装置，所述端侧稀疏约束至少包括所述端侧特征编码器的多个通道的权重稀疏约束；

12.如权利要求9所述的装置，所述结果判断模块，在所述得到第一分类结果之后，判断所述第一分类结果是否反映了所述待检测内容属于伪造攻击的可能性高于相应的设定阈值；

13.如权利要求9所述的装置，所述结果判断模块，判断所述第二分类结果是否反映了所述待检测内容属于伪造攻击的可能性高于相应的设定阈值；

14.如权利要求9所述的装置，所述云端检测模块，确定训练得到的特征压缩模型；

15.如权利要求14所述的装置，所述特征压缩模型包括输入扰动器、特征压缩器、信道扰动模拟器、特征解码器，所述特征压缩模型是根据所述特征解码器对应的特征重建损失、所述输入扰动器对应的输入扰动一致性损失、所述信道扰动模拟器对应的信道扰动一致性损失训练得到的；

16.如权利要求9所述的装置，还包括：

17.一种内容伪造攻击检测设备，包括：

技术总结
本说明书实施例公开了内容伪造攻击检测方法。包括：确定训练得到的端云一体模型，端云一体模型包括端侧特征编码器、端侧伪造攻击分类器、云端特征编码器、云端伪造攻击分类器，是根据相应的分类损失和端侧稀疏约束训练得到的；确定拆分部署了端云一体模型的客户端和云端；在客户端上获得待检测内容，通过端侧特征编码器对待检测内容进行编码，得到端侧特征，输入端侧伪造攻击分类器进行分类，得到第一分类结果；若确定需要云端也参与检测，则将端侧特征转换后从客户端传输至云端，通过云端特征编码器进行编码，得到云端特征，输入云端伪造攻击分类器进行分类，得到第二分类结果；根据分类结果判断待检测内容是否属于伪造攻击。

技术研发人员：曹佳炯
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/13