视频的多帧延迟特效生成方法、装置、设备及介质与流程

1.本发明属于图像处理技术领域，尤其涉及一种视频的多帧延迟特效生成方法、装置、电子设备及存储介质。


背景技术：

2.随着互联网技术以及视频特效处理技术的不断发展，在视频拍摄时，在视频中添加特效的方式逐渐受到了人们的追捧。用户可以通过选择相应的特效功能在拍摄视频中添加自己喜欢的特效，进而增加视频拍摄的趣味性。


技术实现要素：

3.本发明的目的在于提供一种视频的多帧延迟特效生成方法、装置、电子设备及存储介质，旨在提供一种全新的视频多帧延迟特效以增加视频拍摄的趣味性。
4.一方面，本发明提供一种视频的多帧延迟特效生成方法，所述方法包括下述步骤：
5.获取原视频；
6.基于预设的缓存帧数以及预设的划分规则，缓存所述原视频并对缓存的每一原视频帧进行栅格化；
7.按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频。
8.优选地，所述原视频为原全景视频，所述新视频为新全景视频，获取原视频之后，还包括：
9.获取原全景视频中的感兴趣目标；
10.对所述感兴趣目标进行跟踪，得到所述感兴趣目标的运动轨迹；
11.得到具有多帧延迟特效的新视频之后，还包括：
12.基于所述感兴趣目标的运动轨迹对所述新视频进行剪辑，得到具有多帧延迟特效的平面视频。
13.具体地，所述划分规则为水平划分规则或垂直划分规则。
14.优选地，所述划分规则为等分的划分规则、或中间密两边宽的非等分的划分规则、或中间宽两边密的非等分的划分规则。
15.优选地，按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中的步骤，包括：
16.按照预设的填入规则，依次从当前缓存的、每个所述栅格化后的原视频帧中选择一个图像块填入所述栅格化图中，生成一帧新视频帧，其中，所述填入规则为将缓存的第k个栅格化后的原视频帧的第k个图像块，填入所述栅格化图中的第k个分块中，k∈[1，n]，n为缓存帧数，n＞1，且n为正整数。
[0017]
具体地，生成一帧新视频帧的步骤之后，还包括：
[0018]
基于先进先出的原则更新缓存的原视频帧。
[0019]
另一方面，本发明提供了一种视频的多帧延迟特效生成装置，所述装置包括：
[0020]
视频获取单元，用于获取原视频；
[0021]
缓存与栅格化单元，用于基于预设的缓存帧数以及预设的划分规则，缓存所述原视频并对缓存的每个原视频帧进行栅格化；
[0022]
新视频生成单元，用于按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频。
[0023]
优选地，缓存与栅格化单元还包括：
[0024]
新视频帧生成单元，用于按照预设的填入规则，依次从当前缓存的、每个所述栅格化后的原视频帧中选择一个图像块填入所述栅格化图中，生成一帧新视频帧，其中，所述填入规则为将缓存的第k个栅格化后的原视频帧的第k个图像块，填入所述栅格化图中的第k个分块中，k∈[1，n]，n为缓存帧数，n＞1，且n为正整数。
[0025]
另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
[0026]
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
[0027]
本发明获取原视频，基于预设的缓存帧数以及预设的划分规则，缓存原视频并对缓存的每一原视频帧进行栅格化，按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频，从而实现了具有多帧延迟特效的视频的自动生成，提升了用户体验。
附图说明
[0028]
图1a是本发明实施例一提供的视频的多帧延迟特效生成方法的实现流程图；
[0029]
图1b是本发明实施例一提供的在采用等高的水平划分下视频帧的划分效果示例图；
[0030]
图1c是本发明实施例一提供的在中间密两边宽的非等高的水平划分规则下视频帧的划分效果示例图；
[0031]
图1d是本发明实施例一提供的在中间宽两边密的非等高的水平划分规则下视频帧的划分效果示例图；
[0032]
图1e是本发明实施例一提供的将栅格化后的原视频帧的水平图像块依次填入栅格化图过程的示例图；
[0033]
图2是本发明实施例二提供的视频的多帧延迟特效生成装置的结构示意图以及
[0034]
图3是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
[0035]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0036]
以下结合具体实施例对本发明的具体实现进行详细描述：
[0037]
实施例一：
[0038]
图1a示出了本发明实施例一提供的原视频的多帧延迟特效生成方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
[0039]
在步骤s101中，获取原视频。
[0040]
本发明实施例适用于电子设备，该电子设备可以是手机、平板电脑、个人计算机、运动相机、云台相机、相机、智能穿戴设备等终端设备，本技术实施例对电子设备的具体类型不作任何限制。
[0041]
若所述原视频为原全景视频，在获取到原视频之后，优选地，获取原全景视频中的感兴趣目标，对感兴趣目标进行跟踪，得到感兴趣目标的运动轨迹，以便于后续基于感兴趣目标的运动轨迹剪辑视频。
[0042]
在步骤s102中，基于预设的缓存帧数以及预设的划分规则，缓存原视频并对缓存的每个原视频帧进行栅格化。
[0043]
在本发明实施例中，在获取到原视频帧之后，按照预设的缓存帧数缓存原视频帧，为便于描述，本示例中缓存帧数用n表示，n＞1，且n为正整数，缓存的原视频帧即为一个大小为n的视频帧序列，缓存的原视频帧可遵循先进先出的原则。即对于缓存中的视频帧序列而言，在更新缓存时，最先进入缓存的视频帧，最先从缓存中移除。
[0044]
具体地，划分规则可以为水平划分规则或垂直划分规则。当然划分规则还可以为上述以外的划分规则，例如沿水平预设角度的划分规则等。
[0045]
优选地，划分规则为等分的划分规则、中间密两边宽的非等分的划分规则或中间宽两边密的非等分的划分规则，从而提高了多帧延迟特效制作的趣味性，并进一步丰富多帧延迟特效的效果。当然，上述的划分规则还可以为上述划分规则的组合，例如，划分规则为水平等分或非等分划分规则，又如，划分规则为垂直等分或非等分划分规则，又如，划分规则为沿某一对角线的等分或非等分划分规则等，在此不作限定。
[0046]
栅格化后的每个视频帧的图像块的数量与上述预设的缓存帧数相等，即同为n。以水平划分规则为例，水平划分规则可以为等高的水平划分规则、中间密两边宽的非等高的水平划分规则或中间宽两边密的非等高的水平划分规则。如图1b-1d所示，图1b为在等高的水平划分规则下视频帧的划分效果示例图，图1c为在中间密两边宽的非等高的水平划分规则下视频帧的划分效果示例图，图1d为在中间宽两边密的非等高的水平划分规则下视频帧的划分效果示例图，图1b-1d中，原视频帧被划分为n个水平图像块，从上到下依次为水平图像块1、2、3
……
n。
[0047]
在步骤s103中，按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频。
[0048]
在本发明实施例中，该栅格化图的尺寸与栅格化后的原视频帧尺寸一致，该栅格化图初始状态下可以理解为一个空图，即栅格化图的每个分块中未填充任何实质内容，栅格化图可同样基于上述的划分规则得到，栅格化图的每个分块序号定义规则与栅格化后的原视频帧的每个图像块定义的序号定义规则一致，例如，从上到下依次定义为水平图像块1、2、3
……
n，又如，从左到右依次定义为水平图像块1、2、3
……
n。在按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中时，优选地，按照预设的填入规则，依次从当前缓存的、每个栅格化后的原视频帧中选择一个图像块填入栅格化图中，生成一帧新
视频帧，从而通过重新填入图像块得到新视频帧。其中，填入规则为将缓存的第k个栅格化后的原视频帧的第k个图像块，填入栅格化图中的第k个分块中，k∈[1，n]，n＞1，且n均为正整数。
[0049]
以水平划分规则为例，若栅格化后的原视频帧包含n个水平图像块，则依次从当前缓存的、每个栅格化后的原视频帧中选择一个水平图像块填入栅格化图中，生成一帧新视频帧。其中，填入规则为第k个栅格化后的原视频帧的第k个水平图像块，填入栅格化图中的第k个水平块中。如图1e所示，缓存中栅格化后的原视频帧包括帧1、帧2
……
帧n，依次将帧1的水平图像块1、帧2的水平图像块2
……
帧n的水平图像块n填入到栅格化图中，得到一帧新视频帧。
[0050]
当然，若原视频帧采用垂直划分规则，也可以依次从当前缓存的、每个栅格化后的原视频帧中选择一个垂直图像块填入栅格化图中，生成一帧新视频帧。相应地，填入规则也进行调整，例如，填入规则为将缓存的第k个栅格化后的原视频帧的第k个垂直图像块，填入栅格化图中的第k个垂直分块中。在这里需要指出的是，若划分规则为沿对角线的划分规则等，同样可采用类似的方法进行填充。
[0051]
在生成一帧新视频帧的步骤之后，具体地，基于先进先出的原则更新缓存的原视频帧，以便于下一新视频帧的生成。换言之，缓存的原视频帧在生成一帧新视频帧之后更新。其中，更新后的缓存的第m帧原视频帧为更新前的第m+1帧原视频帧，m∈[1，n]。下一新视频帧同样采用上述方式生成，在此不作赘述。
[0052]
当缓存的原视频帧数满足预设条件，例如，缓存的原视频帧数为n-1或为0时，确定所有的新视频帧已生成，该生成的全部新视频帧即为上述的具有多帧延迟特效的新视频。
[0053]
进一步地，若原视频为原全景视频，则上述新视频为新的全景视频，在得到上述的具有多帧延迟特效的新视频之后，优选地，基于感兴趣目标的运动轨迹对具有多帧延迟特效的新视频进行剪辑，得到具有多帧延迟特效的平面视频，从而实现了针对感兴趣运动目标的多帧延迟特效视频的自动生成。具体地，以感兴趣目标的运动轨迹上的轨迹点为中心，将每帧新全景视频帧投影到2d平面上，生成具有多帧延迟特效的平面视频。这样，基于全景视角广的特点，加上目标跟踪器跟踪感兴趣的运动目标，在用户拍摄简单的全景视频之后，可以自动剪辑出针对感兴趣目标的多帧延迟特效视频，且相较于原始的平面视频生成的多帧延迟特效，根据全景视频生成的多帧延迟特效视频的背景不会有多帧延迟效果，感兴趣目标更为突出。
[0054]
在本发明实施例中，获取原视频，基于预设的缓存帧数以及预设的划分规则，缓存原视频并对缓存的每一原视频帧进行栅格化，按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频，从而实现了具有多帧延迟特效的视频的自动生成，提升了用户体验。
[0055]
实施例二：
[0056]
图2示出了本发明实施例三提供的视频的多帧延迟特效生成装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
[0057]
视频获取单元21，用于获取原视频；
[0058]
缓存与栅格化单元22，用于基于预设的缓存帧数以及预设的划分规则，缓存原视频并对缓存的每个原视频帧进行栅格化；以及
[0059]
新视频生成单元23，用于按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频。
[0060]
优选地，所述原视频为原全景视频，所述新视频为新全景视频，该装置还包括：
[0061]
目标获取单元，用于获取原全景视频中的感兴趣目标；
[0062]
运动轨迹获取单元，用于对所述感兴趣目标进行跟踪，得到所述感兴趣目标的运动轨迹；
[0063]
视频剪辑单元，用于基于感兴趣目标的运动轨迹对新视频进行剪辑，得到具有多帧延迟特效的平面视频。
[0064]
优选地，划分规则为水平划分规则或垂直划分规则。
[0065]
优选地，缓存与栅格化单元还包括：
[0066]
新视频帧生成单元，用于按照预设的填入规则，依次从当前缓存的、每个栅格化后的原视频帧中选择一个图像块填入栅格化图中，生成一帧新视频帧，其中，填入规则为将缓存的第k个栅格化后的原视频帧的第k个图像块，填入栅格化图中的第k个分块中，k∈[1，n]，n为缓存帧数，n＞1，且n为正整数。
[0067]
在本发明实施例中，视频的多帧延迟特效生成装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。视频的多帧延迟特效生成装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
[0068]
实施例三：
[0069]
图3示出了本发明实施例三提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
[0070]
本发明实施例的电子设备3包括处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32。该处理器30执行计算机程序32时实现上述各方法实施例中的步骤，例如，图1a所示的步骤s101至s103。或者，处理器30执行计算机程序32时实现上述各装置实施例中各单元的功能，例如，图2所示单元21至23的功能。
[0071]
在本发明实施例中，获取原视频，基于预设的缓存帧数以及预设的划分规则，缓存原视频并对缓存的每一原视频帧进行栅格化，按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频，从而实现了具有多帧延迟特效的视频的自动生成，提升了用户体验。
[0072]
实施例四：
[0073]
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1a所示的步骤s101至s103。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如，图2所示单元21至23的功能。
[0074]
在本发明实施例中，获取原视频，基于预设的缓存帧数以及预设的划分规则，缓存原视频并对缓存的每一原视频帧进行栅格化，按照预设的填入规则将栅格化后的原视频帧的图像块依次填入栅格化图中，得到具有多帧延迟特效的新视频，从而实现了具有多帧延迟特效的视频的自动生成，提升了用户体验。
[0075]
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何
实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。
[0076]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。