基于图网络时序一致性的伪造视频检测方法和装置

文档序号:37009698发布日期:2024-02-09 12:57阅读:来源:国知局

技术特征:

1.一种基于图网络时序一致性的伪造视频检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s1中,将输入的深度伪造视频进行逐帧分解并抽取帧,得到抽取后的视频帧,具体如下:将输入深度伪造视频分解为单帧图像,按照视频总帧数,均匀抽取100帧图像;对于不足100帧的视频,抽取视频的全部帧。

3.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s3中,提取图片中的眼神漂移、面部表情、嘴唇同步等人脸关键点特征,它将人脸关键点分为内部关键点和轮廓关键点,内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点,轮廓关键点包含17个关键点;其中,51个关键点如下:

4.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s4中,计算每个视频帧之间的相似度,具体的计算公式如下:

5.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s5中,根据相似度组建k邻近(knn)图,具体如下;首先将每帧图像转化为对应的节点,节点之间通过节点之间的相似度进行连接;对每个节点,取k=6个最近邻的节点和其相连,其中每个节点之间边的权重为两个节点之间的关键点相似度。

6.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s6中,将knn图转化为线图的步骤如下;首先,将knn图中的边(vi,vj)被转化为线图中的节点且如果knn图中的两条边有公共节点,则对应线图中的两个节点相互连接;将视频的knn图转化为线图后,线图上的节点的特征为对应knn图中边携带的多特征相似度sij。

7.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s7中,构造一个带池化的图卷积神经网络(graph convolutional network,gcn),对视频的线图进行全局特征提取,获得图表示;具体而言,首先定义line图上的节点特征矩阵x和邻接矩阵a;然后,应用多层gcn进行特征学习,每一层的输出可以表示为:

8.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s8中,将步骤s7得到的全局表征z输入到全连接层和softmax层,将其映射为视频的真伪分类;具体公式如下:

9.基于图网络时序一致性的伪造视频检测装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1-8中任一项所述的基于图网络时序一致性的伪造视频检测方法。

10.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1-8中任一项所述的基于图网络时序一致性的伪造视频检测方法。


技术总结
基于图网络时序一致性的伪造视频检测方法和装置,其方法包括:S1:对输入的深度伪造视频进行抽帧;S2:对抽取的单帧图片使用RetainFace人脸检测模型检测人脸图像并对人脸进行对齐缩放;S3:使用经过人脸关键点检测网络提取单帧人脸图片中的嘴型、面部表情等特征;S4:将经过目标检测网络提取过特征的视频帧序列转化为对应的特征矩阵;S5:根据单帧图片的特征向量计算视频帧之间的相似度;S6:根据视频帧之间的相似度,使用K近邻图来构建KNN图;S6:将KNN图转化为线图;S7:使用图卷积神经网络对线图进行全局特征提取,获得图表示;S8:使用池化层获取线图的全局表征;S9:使用全连接层和Softmax层,将伪造视频的伪造算法进行分类,实现对视频技术检测。

技术研发人员:俞山青,王健博,周嘉俊,吴添银,童啸瑞,陈作辉,宣琦
受保护的技术使用者:浙江工业大学
技术研发日:
技术公布日:2024/2/8
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1