一种图像、视频人体姿势行为伪造鉴别方法

本发明涉及图像与视频处理，更具体的说是涉及一种人体姿势行为伪造鉴别方法。

背景技术：

1、目前，大多数深度伪造鉴别方法均是针对deepfake检测，但是随着科学技术的不断发展，深度人物伪造技术也取得了很大进步，不再仅仅局限于“人脸”伪造，更多的是对图像和视频中整个人体进行伪造合成。

2、因此，如何提供一种对图像、视频中人体姿势行为是否存在伪造痕迹进行鉴别的方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种图像、视频人体姿势行为伪造鉴别方法，能够对图像或视频中整个人体的姿势行为是否存在伪造合成痕迹进行鉴别，鉴别结果准确度高、鲁棒性强。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种图像人体姿势行为伪造鉴别方法，应用于对静态图像中的人体姿势是否存在伪造合成进行鉴别，该方法包括：

4、s11、利用人体解析技术将待鉴别图像解析为背景图像、人物图像、头发图像、人脸图像、双臂图像、上半身服饰图像、双腿图像和下半身服饰图像八个部分；

5、s12、将所述待鉴别图像、所述背景图像和所述人物图像三个部分输入加入链式注意力的全局特征提取模块中提取全局特征；

6、s13、将所述头发图像、所述人脸图像、所述双臂图像、所述上半身服饰图像、所述双腿图像和所述下半身服饰图像六个部分输入light-vgg中提取局部特征；

7、s14、将所述全局特征与所述局部特征通过全局平均池化进行拼接融合，并经过全连接层输出鉴别结果。

8、进一步的，所述步骤s11具体包括：

9、将所述待鉴别图像解析为背景图像和人物图像；

10、对所述人物图像做第一层解析，将所述人物图像解析为人头部分和身体部分；

11、对所述人头部分和所述身体部分做第二层解析，将所述人头部分解析为头发图像和人脸图像；将所述身体部分解析为上半身部分和下半身部分；

12、对所述上半身部分和所述下半身部分做第三层解析，将所述上半身部分解析为双臂图像和上半身服饰图像；将所述下半身部分解析为双腿图像和下半身服饰图像。

13、进一步的，所述步骤s12中，所述加入链式注意力的全局特征提取模块包括四个大小不同的预训练卷积层和四个链式注意力模块，所述预训练卷积层与所述链式注意力模块交错排布；

14、所述链式注意力模块由残差结构、池化层和注意力模块构成。

15、进一步的，所述步骤s13中，所述light-vgg由卷积层、自适应内核层和池化层叠加构成的模块串联四次组成，用于提取所述头发图像、所述人脸图像、所述双臂图像、所述上半身服饰图像、所述双腿图像和所述下半身服饰图像六个部分的局部特征。

16、进一步的，所述步骤s14具体包括以下内容：

17、将所述全局特征与所述局部特征进行拼接融合，融合后的特征图维度变为之前的两倍；

18、使用1×1的卷积核对融合后的特征图进行降维操作；

19、对降维后的特征图进行全局平局池化操作，得到对应的特征向量；

20、将各模块得到的特征向量进行组合操作，输入全连接层得到最终的鉴别结果。

21、一种视频人体姿势行为伪造鉴别方法，应用于对动态视频中的人体姿势是否存在伪造合成进行鉴别，该方法包括：

22、s21、将待鉴别视频v按帧进行分解得到视频帧序列[v1，v2，…，vt，vt+1，…]，对于每一个视频帧vt，将其分解为场景部分和人物部分，得到视频帧场景序列和视频帧人物行为变化序列；

23、s22、利用场景一致性检测模块提取所述视频帧场景序列的特征，输出鉴别结果r1；

24、s23、利用行为一致性检测模块提取所述视频帧人物行为变化序列的特征，输出鉴别结果r2；

25、s24、将所述鉴别结果r1与所述鉴别结果r2进行“与”操作，输出最终鉴别结果。

26、进一步的，所述步骤22具体包括：

27、将视频帧场景图像序列输入预训练的vgg-16神经网络中，提取每个卷积层的输出特征，得到四个特征图；

28、将所述四个特征图进行全局平局池化后输入一个全连接层，输出鉴别结果r1。

29、进一步的，所述步骤23具体包括：

30、将人物行为变化序列划分为姿势信息二元组；

31、将所述姿势信息二元组作为数据输入预训练的flownet中进行光流提取，输出姿势信息二元组的光流预估特征图；

32、将所述姿势信息二元组的光流预估特征图作为数据输入光流鉴别网络中进行鉴别，输出鉴别结果r2。

33、进一步的，所述光流鉴别网络由四个全卷积模块、一个全局平均池化层和一个全连接层组成；所述四个全卷积模块均由两个卷积层和一个激活层组成，且同一个全卷积模块中的两个卷积层的卷积核大小相同。

34、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种图像、视频人体姿势行为伪造鉴别方法，突破了现有技术只能对图像或视频中“人脸”伪造进行鉴别的桎梏，将人体解析技术、链式注意力用于人体姿势伪造鉴别，并改进vgg网络为light-vgg，实现对图像、视频中整个人体的所有姿势行为是否存在伪造痕迹进行鉴别，而非前有技术局限于单纯“人脸”的伪造鉴别，鉴别结果的准确度高、鲁棒性强。

技术特征：

1.一种图像人体姿势行为伪造鉴别方法，其特征在于，应用于对静态图像中的人体姿势是否存在伪造合成进行鉴别，该方法包括：

2.一种图像人体姿势行为伪造鉴别方法，其特征在于，所述步骤s11具体包括：

3.根据权利要求1所述的一种图像人体姿势行为伪造鉴别方法，其特征在于，所述步骤s12中，所述加入链式注意力的全局特征提取模块包括四个大小不同的预训练卷积层和四个链式注意力模块，所述预训练卷积层与所述链式注意力模块交错排布；

4.根据权利要求1所述的一种图像人体姿势行为伪造鉴别方法，其特征在于，所述步骤s13中，所述light-vgg由卷积层、自适应内核层和池化层叠加构成的模块串联四次组成，用于提取所述头发图像、所述人脸图像、所述双臂图像、所述上半身服饰图像、所述双腿图像和所述下半身服饰图像六个部分的局部特征。

5.根据权利要求1所述的一种图像人体姿势行为伪造鉴别方法，其特征在于，所述步骤s14具体包括以下内容：

6.一种视频人体姿势行为伪造鉴别方法，其特征在于，应用于对动态视频中的人体姿势是否存在伪造合成进行鉴别，该方法包括：

7.根据权利要求6所述的一种视频人体姿势行为伪造鉴别方法，其特征在于，所述步骤22具体包括：

8.根据权利要求6所述的一种视频人体姿势行为伪造鉴别方法，其特征在于，所述步骤23具体包括：

9.根据权利要求8所述的一种视频人体姿势行为伪造鉴别方法，其特征在于，所述光流鉴别网络由四个全卷积模块、一个全局平均池化层和一个全连接层组成；所述四个全卷积模块均由两个卷积层和一个激活层组成，且同一个全卷积模块中的两个卷积层的卷积核大小相同。

技术总结
本发明公开了一种图像、视频人体姿势行为伪造鉴别方法，其中，图像鉴别包括：利用人体解析技术将待鉴别图像解析为背景、人物、头和身体等八个部分；利用加入链式注意力的全局信息提取模块提取全局特征，同时利用Light‑VGG提取局部特征；将全局特征与局部特征拼接融合，输出鉴别结果。视频鉴别包括：将待鉴别视频按帧分解为视频帧序列，将每一帧视频分解为场景部分和人物部分；利用场景一致性技术视频帧场景序列特征，输出鉴别结果r<subgt;1</subgt;；利用行为一致性技术提取提取视频帧人物行为变化序列特征，输出鉴别结果r<subgt;2</subgt;；对r<subgt;1</subgt;与r<subgt;2</subgt;进行“与”操作，输出最终鉴别结果。本发明能对图像或视频中人体姿势行为是否伪造进行鉴别，鉴别结果准确度高、鲁棒性强。

技术研发人员：刘译键,金鑫,李欣宁,王彪,王瑾瑜
受保护的技术使用者：北京电子科技学院
技术研发日：
技术公布日：2024/4/17