1.一种基于图网络时序一致性的伪造视频检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s1中,将输入的深度伪造视频进行逐帧分解并抽取帧,得到抽取后的视频帧,具体如下:将输入深度伪造视频分解为单帧图像,按照视频总帧数,均匀抽取100帧图像;对于不足100帧的视频,抽取视频的全部帧。
3.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s3中,提取图片中的眼神漂移、面部表情、嘴唇同步等人脸关键点特征,它将人脸关键点分为内部关键点和轮廓关键点,内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点,轮廓关键点包含17个关键点;其中,51个关键点如下:
4.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s4中,计算每个视频帧之间的相似度,具体的计算公式如下:
5.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s5中,根据相似度组建k邻近(knn)图,具体如下;首先将每帧图像转化为对应的节点,节点之间通过节点之间的相似度进行连接;对每个节点,取k=6个最近邻的节点和其相连,其中每个节点之间边的权重为两个节点之间的关键点相似度。
6.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s6中,将knn图转化为线图的步骤如下;首先,将knn图中的边(vi,vj)被转化为线图中的节点且如果knn图中的两条边有公共节点,则对应线图中的两个节点相互连接;将视频的knn图转化为线图后,线图上的节点的特征为对应knn图中边携带的多特征相似度sij。
7.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s7中,构造一个带池化的图卷积神经网络(graph convolutional network,gcn),对视频的线图进行全局特征提取,获得图表示;具体而言,首先定义line图上的节点特征矩阵x和邻接矩阵a;然后,应用多层gcn进行特征学习,每一层的输出可以表示为:
8.根据权利要求1所述的基于图网络时序一致性的伪造视频检测方法,其特征在于:所述步骤s8中,将步骤s7得到的全局表征z输入到全连接层和softmax层,将其映射为视频的真伪分类;具体公式如下:
9.基于图网络时序一致性的伪造视频检测装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1-8中任一项所述的基于图网络时序一致性的伪造视频检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1-8中任一项所述的基于图网络时序一致性的伪造视频检测方法。