帧对齐方法、装置、计算机设备及存储介质与流程

本技术涉及图像处理，特别涉及一种帧对齐方法、装置、计算机设备及存储介质。

背景技术：

1、随着计算机技术的发展，视频处理方法越来越多，其中，帧对齐这一视频处理方法能够同步多个视频的时间轴，从而使多个视频从同一个基准点开始播放，常被用于满足多个视频的比较、合成和同步播放等需求。

2、目前，一种帧对齐方法是计算待对齐视频中的每一帧与参考视频中所有帧的帧间差分值，对于待对齐视频中的每一帧，选择出帧间差分值最小的参考视频的帧，将该参考视频的帧作为该待对齐视频的帧所对齐的帧。

3、上述方法需要计算待对齐视频中的每一帧与参考视频中所有帧的帧间差分值，因此，所需的计算量大。

技术实现思路

1、本技术实施例提供了一种帧对齐方法、装置、计算机设备及存储介质，在保证帧对齐的准确性的同时，大大减少了帧对齐过程中的计算量。所述技术方案包括以下方面。

2、一方面，提供了一种帧对齐方法，该方法包括：基于参考视频的关键帧集合和待对齐视频的关键帧集合，分别获取参考视频的相似度曲线和待对齐视频的相似度曲线，参考视频的相似度曲线用于指示参考视频的多个关键帧与参考视频的目标关键帧之间的相似度的变化情况，待对齐视频的相似度曲线用于指示待对齐视频的多个关键帧与参考视频的目标关键帧之间的相似度的变化情况；

3、从待对齐视频的相似度曲线中，确定第一周期，该第一周期为与参考视频的相似度曲线中的第二周期内的相似度变化情况相同的周期；基于第一周期和第二周期，对齐参考视频和待对齐视频。

4、本技术实施例提供一种帧对齐方法，在帧对齐过程中，参考视频的相似度曲线和待对齐视频的相似度曲线能够表示视频中关键帧相对于同一关键帧的变化情况，由于关键帧能够代表视频的内容，因此，两个视频的相似度变化曲线能够较为准确地反映出两个视频中变化情况相同的片段，也就能够找到两个视频中相同的片段，从而实现帧对齐，且在上述过程中，并未对视频中所有帧进行匹配，因此，在保证帧对齐的准确性的同时，大大减少了帧对齐过程中的计算量。

5、在一些实施例中，该基于参考视频的关键帧集合和待对齐视频的关键帧集合，分别获取参考视频的相似度曲线和待对齐视频的相似度曲线包括：

6、分别获取参考视频的关键帧集合和待对齐视频的关键帧集合；

7、以参考视频的关键帧集合中的任一关键帧为目标关键帧，计算参考视频的关键帧集合中的每一关键帧与目标关键帧之间的相似度，得到参考视频的相似度数组，计算待对齐视频的关键帧集合中的每一关键帧与目标关键帧之间的相似度，得到待对齐视频的相似度数组；

8、基于参考视频的相似度数组和待对齐视频的相似度数组，分别获取参考视频的相似度曲线和待对齐视频的相似度曲线。

9、根据上述过程获取的相似度曲线，能够得到两个视频的关键帧相对于同一目标关键帧的相似度的变化情况， 从而反映出两个视频中关键帧的变化情况相同的部分片段，实现帧对齐。

10、在一些实施例中，该基于参考视频的相似度数组和待对齐视频的相似度数组，分别获取参考视频的相似度曲线和待对齐视频的相似度曲线包括：

11、分别对参考视频的相似度数组和待对齐视频的相似度数组进行插值，基于插值后的参考视频的相似度数组和待对齐视频的相似度数组，得到参考视频的相似度曲线和待对齐视频的相似度曲线。基于插值后的相似度数组获取相似度曲线能够使相似度曲线更平滑，减小噪声的影响。

12、在一些实施例中，该分别获取参考视频的关键帧集合和待对齐视频的关键帧集合包括：

13、基于参考视频的所有视频帧和待对齐视频的所有视频帧，分别获取参考视频的帧差数组和待对齐视频的帧差数组，帧差数组中的帧差表示每一视频帧和前一视频帧之间的差异；

14、基于参考视频的帧差数组和待对齐视频的帧差数组，分别获取参考视频的帧差曲线和待对齐视频的帧差曲线；

15、基于参考视频的帧差曲线和待对齐视频的帧差曲线，分别获取参考视频中视频帧的哈希码和待对齐视频中视频帧的哈希码；

16、从参考视频中视频帧的哈希码和待对齐视频中视频帧的哈希码中，分别确定发生突变的哈希码，将该发生突变的哈希码对应的视频帧作为关键帧，分别添加至参考视频的关键帧集合和待对齐视频的关键帧集合中。

17、基于上述过程得到的关键帧集合去进行帧对齐，而不是基于视频中的所有视频帧进行帧对齐，或者使用大量已对齐的视频训练帧对齐的模型，能够减少帧对齐过程中的计算量。

18、在一些实施例中，该基于参考视频的帧差数组和待对齐视频的帧差数组，分别获取参考视频的帧差曲线和待对齐视频的帧差曲线包括：

19、分别对参考视频的帧差数组和待对齐视频的帧差数组进行插值，基于插值后的参考视频的帧差数组和待对齐视频的帧差数组，得到参考视频的帧差曲线和待对齐视频的帧差曲线。

20、在一些实施例中，该从待对齐视频的相似度曲线中，确定第一周期包括：

21、基于参考视频的相似度曲线的最大值与最小值和待对齐视频的相似度曲线的最大值和最小值，分别计算参考视频的相似度曲线的峰值突出值和待对齐视频的相似度曲线的峰值突出值，该峰值突出值用于表示相似度曲线的峰值的突出程度；

22、基于参考视频的相似度曲线的峰值突出值和待对齐视频的相似度曲线的峰值突出值，确定参考视频的多个周期和待对齐视频的多个周期；

23、比较参考视频的多个周期和待对齐视频的多个周期，将参考视频的多个周期和待对齐视频的多个周期中，相似度变化情况相同的周期分别输出为第二周期和第一周期。

24、上述过程基于峰值突出值将相似度曲线分为多个周期，方便了两条相似度曲线之间的比较，再通过比较参考视频的多个周期和待对齐视频的多个周期，能够找出两条相似度曲线中相似度变化情况相同的周期，该相似度变化情况相同的周期能够反映出两个视频中相同的片段，从而对齐两个视频。并且，通过比较两条相似度曲线实现帧对齐，而不是比较每一帧之间的差异实现帧对齐，能够减少寻找两个视频中相同片段所消耗的计算量。

25、在一些实施例中，该基于参考视频的相似度曲线的峰值突出值和待对齐视频的相似度曲线的峰值突出值，确定参考视频的多个周期和待对齐视频的多个周期包括：

26、分别筛选掉参考视频的相似度曲线中小于参考视频的峰值突出值的波峰和待对齐视频的相似度曲线中小于待对齐视频的峰值突出值的波峰，得到参考视频的相似度曲线中大于或等于参考视频的峰值突出值的波峰和待对齐视频的相似度曲线中大于或等于待对齐视频的峰值突出值的波峰；

27、将参考视频的相似度曲线中大于或等于参考视频的峰值突出值的波峰中，相邻两波峰之间最低的波谷作为参考视频的开始帧，将相邻的两个参考视频的开始帧之间的相似度曲线作为参考视频的周期；

28、将待对齐视频的相似度曲线中大于或等于待对齐视频的峰值突出值的波峰中，相邻两波峰之间最低的波谷作为待对齐视频的开始帧，将相邻的两个待对齐视频的开始帧之间的相似度曲线作为待对齐视频的周期。

29、上述过程通过峰值突出值筛选掉部分波峰，基于大于或等于峰值突出值的波峰将相似度曲线确定为多个周期，将周期的数量控制在一定范围内，减少了比较两个视频的周期所消耗的计算量。

30、另一方面，提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器用于存储至少一段计算机程序，该至少一段计算机程序由处理器加载并执行以实现本技术实施例中的帧对齐方法所执行的操作。

31、另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一段计算机程序，该至少一段计算机程序由处理器加载并执行以实现如本技术实施例中帧对齐方法所执行的操作。

32、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的帧对齐方法。