一种视频处理方法、装置、设备以及存储介质与流程

本申请实施例涉及计算机，特别涉及一种视频处理方法、装置、设备以及存储介质。

背景技术：

1、随着网络技术，移动式设备的迅速普及。用户可以方便的通过各种设备采集，制作各种尺寸的视频。早期的视频通常是横屏模式(宽度大于高度)，使用4:3或者16:9的宽高比，与此同时，手机、平板等智能终端设备和社交网络的兴起与风靡，让越来越多的消费者更加倾向于用手机等移动设备观看视频。手机等智能设备的显示屏广泛使用9:16，甚至更小的宽高比，使得传统的横屏视频不能很好地在手机上显示。

2、为了拥有更好的用手机观看视频体验，对视频做横屏转竖屏处理势在必行。

技术实现思路

1、本申请实施例提供了一种视频处理方法、装置、设备以及存储介质，用于在保证裁剪后视频的稳定性的情况下，降低由一个感兴趣区域切换至另一个感兴趣区域的切换时延。

2、有鉴于此，本申请一方面提供一种视频处理方法，包括：获取原始视频的n个原始视频帧，并获取该n个原始视频帧的n个剪切点，该n为正整数；根据该n个剪切点确定切换位置，该切换位置为剪切点的差异值超过第一阈值的两个感兴趣区域的切换点；根据该切换位置确定x个剪切点，并利用第一滑动点数对该x个剪切点进行滑动平均得到x个剪切位置，利用第二滑动点数对y个剪切点进行滑动平均得到y个剪切位置，其中，该x与该y之和等于该n，该第一滑动点数小于该第二滑动点数；根据该x个剪切位置与该y个剪切位置从该n个原始视频帧中裁剪得到n个目标视频帧。

3、本申请另一方面提供一种视频处理装置，包括：获取模块，用于获取原始视频的n个原始视频帧，并获取该n个原始视频帧的n个剪切点，该n为正整数；

4、处理模块，用于根据该n个剪切点确定切换位置，该切换位置为剪切点的差异值超过第一阈值的两个感兴趣区域的切换点；根据该切换位置确定x个剪切点，并利用第一滑动点数对该x个剪切点进行滑动平均得到x个剪切位置，利用第二滑动点数对y个剪切点进行滑动平均得到y个剪切位置，其中，该x与该y之和等于该n，该第一滑动点数小于该第二滑动点数，该x和该y为正整数；

5、裁剪模块，用于根据该x个剪切位置与该y个剪切位置从该n个原始视频帧中裁剪得到n个目标视频帧。

6、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，还用于检测该n个剪切点中的异常点，并消除该异常点。

7、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于检测该n个剪切点中的异常点，并利用中值滤波替换该异常点；

8、或者，

9、该处理模块，具体用于检测该n个剪切点中的异常点，并利用均值滤波替换该异常点。

10、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于对该n个剪切点求导得到差异值；

11、在该差异值大于该第一阈值时，确定该n个剪切点中存在突变点；

12、获取该突变点指示的两个感兴趣区域的持续时长；

13、在该持续时长小于第二阈值时，确定该突变点为该异常点。

14、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于对该n个剪切点求导得到差异值；

15、在该差异值大于该第一阈值时，确定该n个剪切点中存在突变点；

16、获取该突变点指示的两个感兴趣区域的持续时长；

17、在该持续时长大于或等于第二阈值时，确定该突变点为该切换位置。

18、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于利用差分法对该n个剪切点求导得到该差异值；

19、或者，

20、该处理模块，具体用于利用梯度估算对该n个剪切点求导得到该差异值；

21、或者，

22、该处理模块，具体用于对该n个剪切点进行数据拟合后求导得到该差异值。

23、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于选择该切换位置前后z个剪切点作为该x个剪切点，其中，该z等于x/2，该z为正整数。

24、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于利用个滑动点对该x个剪切点进行滑动平均得到该x个剪切位置，利用m个滑动点对该y个剪切点进行滑动平均得到该y个剪切位置，该m为正整数。

25、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该获取模块，具体用于利用视频显著性预测模型预测该n个原始视频帧中的n个显著性区域；

26、记录该n个显著性区域的开始位置作为该n个剪切点。

27、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该获取模块，具体用于利用卷积神经网络预测该n个原始视频帧中的n个显著性区域。

28、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，还用于将该n个目标视频帧按照时间顺序拼接得到目标视频。

29、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该裁剪模块，具体用于获取该目标视频帧的目标宽度和目标高度；

30、按照该x个剪切位置和该y个剪切位置、该目标宽度和该目标调度从该n个原始视频帧中裁剪得到该n个目标视频帧。

31、本申请另一方面提供一种计算机设备，包括：存储器、处理器以及总线系统；

32、其中，存储器用于存储程序；

33、处理器用于执行存储器中的程序，处理器用于根据程序代码中的指令执行上述各方面的方法；

34、总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

35、本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

36、本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方面所提供的方法。

37、从以上技术方案可以看出，本申请实施例具有以下优点：在对剪切点进行滑动平均处理时，对于两个感兴趣区域的切换位置采用较少滑动点数进行滑动平均，这样可以保证切换位置的原始特征，并且降低由一个感兴趣区域切换至另一个感兴趣区域的过渡时间，从而降低切换时延；同时在其他剪切点仍然采用较多滑动点数进行滑动平均，这样可以保证裁剪后的视频的稳定性。

技术特征：

1.一种视频处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在获取所述n个原始视频帧的n个剪切点之后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述检测所述n个剪切点中的异常点，并消除所述异常点包括：

4.根据权利要求3所述的方法，其特征在于，所述检测所述n个剪切点中的异常点包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述n个剪切点确定切换位置包括：

6.根据权利要求5所述的方法，其特征在于，所述对所述n个剪切点求导得到差异值包括：

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述切换位置确定x个剪切点包括：

8.根据权利要求7所述的方法，其特征在于，利用第一滑动点数对所述x个剪切点进行滑动平均得到x个剪切位置，利用第二滑动点数对y个剪切点进行滑动平均得到y个剪切位置包括：

9.根据权利要求1至4、6、8中任一项所述的方法，其特征在于，所述获取所述n个原始视频帧的n个剪切点包括：

10.根据权利要求9所述的方法，其特征在于，所述利用视频显著性预测模型预测所述n个原始视频帧中的n个显著性区域包括：

11.根据权利要求1至4、6、8中任一项所述的方法，其特征在于，在根据所述x个剪切位置与所述y个剪切位置从所述n个原始视频帧中裁剪得到n个目标视频帧之后，所述方法还包括：

12.根据权利要求1至4、6、8中任一项所述的方法，其特征在于，根据所述x个剪切位置与所述y个剪切位置从所述n个原始视频帧中裁剪得到n个目标视频帧包括：

13.一种视频处理装置，其特征在于，包括：

14.一种计算机设备，其特征在于，包括：存储器、处理器以及总线系统；

15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至12中任一项所述的方法。

技术总结
本申请实施例提供了一种视频处理方法、装置、设备以及存储介质，用于在保证裁剪后视频的稳定性的情况下，降低切换时延。包括：获取原始视频的N个原始视频帧，并获取N个原始视频帧的N个剪切点；根据N个剪切点确定切换位置；根据切换位置确定X个剪切点，并利用第一滑动点数对X个剪切点进行滑动平均得到X个剪切位置，利用第二滑动点数对Y个剪切点进行滑动平均得到Y个剪切位置，其中，X与Y之和等于N，第一滑动点数小于第二滑动点数；根据X个剪切位置与Y个剪切位置从N个原始视频帧中裁剪得到N个目标视频帧。本申请提供的技术方案可应用于计算机图像、云技术等领域。

技术研发人员：李德东
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/10/31