视频帧对齐方法、装置、设备及存储介质与流程

本技术涉及视频处理，尤其涉及一种视频帧对齐方法、装置、设备及存储介质。

背景技术：

1、视频质量的检测和评价是保障视频网络传输服务质量的关键之一，在进行视频质量的检测和评价时，不管采用何种技术都必须满足一个前提，那就是将目标视频中的视频帧与基准视频中对应的视频帧进行对齐。当前对目标视频中的视频帧与基准视频中对应的视频帧进行对齐，采用的是对目标视频和基准视频进行打标签，根据标签进行对齐的方法，但是只根据标签进行帧对齐不能实现准确的视频帧对齐。

技术实现思路

1、本技术的主要目的在于提供一种视频帧对齐方法、装置、设备及存储介质，旨在解决现有技术中视频帧对齐准确性低的技术问题。

2、为实现上述目的，本技术提供一种视频帧对齐方法，包括以下步骤：

3、将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧；

4、基于所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的残差信息，得到所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的帧间特征；

5、若所述选定视频帧与其相邻视频帧的帧间特征与所述目标视频帧与其相邻视频帧的帧间特征相等，以所述选定视频帧和所述目标视频帧为对齐首帧，将所述基准视频和所述目标视频对齐。

6、可选地，所述基于所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的残差信息，得到所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的帧间特征的步骤，包括：

7、计算所述选定视频帧/所述目标视频帧与其相邻视频帧之间的运动矢量，得到残差图像；

8、计算所述残差图像的像素总个数以及重心坐标；

9、基于所述残差图像的重心坐标，得到所述残差图像的重心坐标与x轴正方向的夹角；

10、基于所述残差图像的重心坐标，得到所述残差图像的重心坐标与所述当前视频帧的预设顶点坐标的距离；

11、将所述残差图像的像素总个数、所述残差图像的重心坐标与x轴正方向的夹角以及所述残差图像的重心坐标与所述选定视频帧/所述目标视频帧的预设顶点坐标的距离，作为所述选定视频帧/所述目标视频帧与其相邻视频帧的帧间特征。

12、可选地，当所述残差图像为不规则形态时，所述计算所述残差图像的重心坐标的步骤，包括：

13、将所述残差图像分割成多个规则图像；

14、获取每一所述规则图像的中心坐标和面积；

15、基于每一所述规则图像的中心坐标中的x坐标，以及每一所述规则图像的面积，得到所述残差图像的重心坐标的x坐标；

16、基于每一所述规则图像的中心坐标中的y坐标，以及每一所述规则图像的面积，得到所述残差图像的重心坐标的y坐标。

17、可选地，当所述选定视频帧为场景切换帧时，所述选定视频帧采用如下方式确定：

18、通过三维小波变化提取所述基准视频中各视频帧的高频子带系数的变化程度特征；

19、基于所述高频子带系数的变化程度特征，得到所述选定视频帧。

20、可选地，所述将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧的步骤之前，还包括：

21、对所述基准视频和所述目标视频进行相似度匹配，得到基准视频序列和目标视频序列，其中，所述基准视频序列和所述目标视频序列互相包含相同视频帧；

22、所述将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧的步骤，包括：

23、将所述基准视频序列中的选定视频帧与所述目标视频序列中的各视频帧进行帧信息匹配，得到所述目标视频序列中与所述选定视频帧帧信息匹配的目标视频帧。

24、可选地，其特征在于，所述对所述基准视频和所述目标视频进行相似度匹配，得到基准视频序列和目标视频序列的步骤，包括：

25、计算所述基准视频中各视频帧的帧信息，得到基准视频帧信息数组；

26、计算所述目标视频中各视频帧的帧信息，得到目标视频帧信息数组；

27、遍历所述基准视频帧信息数组和所述目标视频帧信息数组，得到相似度大于预设相似度阈值的第一视频帧和第二视频帧，其中，所述第一视频帧位于所述基准视频帧中，所述第二视频帧位于所述目标视频帧中；

28、统计所述基准视频中以所述第一视频帧为起点的视频序列的帧数，以及所述目标视频中以所述第二视频帧为起点的视频序列的帧数；

29、选取所述以所述第一视频帧为起点的视频序列的帧数与所述以所述第二视频帧为起点的视频序列的帧数中的较小值作为截取帧数；

30、基于所述截取帧数，以所述第一视频帧为起点，从所述基准视频中获取基准视频序列；

31、基于所述截取帧数，以所述第二视频帧为起点，从所述目标视频中获取目标视频序列。

32、可选地，所述遍历所述基准视频帧信息数组和所述目标视频帧信息数组，得到相似度大于预设相似度阈值的第一视频帧和第二视频帧的步骤之后，还包括：

33、将所述第一视频帧的相邻视频帧与所述第二视频帧的相邻视频帧进行相似度比对；

34、若在进行相似度比对的相邻视频帧中，相似度大于预设相似度阈值的视频帧帧数占比大于预设占比阈值，则执行统计所述基准视频中以所述第一视频帧为起点的视频序列的帧数，以及所述目标视频中以所述第二视频帧为起点的视频序列的帧数的步骤。

35、此外，为实现上述目的，本技术还提供一种视频帧对齐装置，包括：

36、第一匹配模块，用于将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧；

37、帧间特征获取模块，用于基于所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的残差信息，得到所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的帧间特征；

38、对齐模块，用于若所述选定视频帧与其相邻视频帧的帧间特征与所述目标视频帧与其相邻视频帧的帧间特征相等，以所述选定视频帧和所述目标视频帧为对齐首帧，将所述基准视频和所述目标视频对齐。

39、此外，为实现上述目的，本技术还提供一种视频帧对齐设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频帧对齐程序，所述视频帧对齐程序配置为实现如上所述的视频帧对齐方法的步骤。

40、此外，为实现上述目的，本技术还提供一种存储介质，所述存储介质上存储有视频帧对齐程序，所述视频帧对齐程序被处理器执行时实现如上所述的视频帧对齐方法的步骤。

41、本技术提供了一种视频帧对齐方法、装置、设备及存储介质，相比于现有技术根据标签进行视频帧对齐的技术手段，本技术首先将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧，进而基于所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的残差信息，得到所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的帧间特征，进而若所述选定视频帧与其相邻视频帧的帧间特征与所述目标视频帧与其相邻视频帧的帧间特征相等，以所述选定视频帧和所述目标视频帧为对齐首帧，将所述基准视频和所述目标视频对齐，所以，本技术利用了视频帧对应的帧间特征，根据视频帧对应的帧间特征来定位得到对齐首帧，提高了对齐首帧定位的准确性，进而提高了视频帧对齐的准确性，所以，克服了现有技术中根据标签进行视频帧对齐，只能模糊定位对齐首帧的技术缺陷，所以，解决了视频帧对齐准确性低的技术问题。