一种基于数据处理的视频合成方法和系统与流程

1.本发明属于视频信号处理的技术领域，具体涉及一种基于数据处理的视频合成方法和系统。


背景技术：

2.当前，业界的视频剪辑产品或服务可以基于视频、音频、图片、文本等进行视频剪辑操作，完成视频创作过程。其中，很多视频创作会涉及到人物素材，需要针对人物素材进行各种剪辑与特效制作，并进行合成。视频剪辑，一般指对音视图文等素材进行非线性编辑的过程。通过对这些素材进行切割、合并、转场、特效等二次编码，生成具有不同表现力的新视频。
3.随着科技的发展，社交网络变得越来越普及，人们希望通过各种社交网络展示自己的社交圈。目前人们在各个社交平台上发布的自己喜好的视频或者图片，不在拘泥于显示生活中的自己，更希望发布趣味性更强的图片或者视频，而现有技术中，要将自己喜欢的图片或者视频与自己本人结合起来需要首先将自己拍摄的照片或者视频进行人工剪辑处理，在通过合成软件进行合成，以生成包含自己的本人的图片或者视频。使用起来费时费力同时需要较专业的技能。
4.现有技术中，视频剪辑合成能够通过剪辑拼接功能提升生产出的视频的质量，但是，由于整个视频合成的过程中，需要按帧依次进行画面内容的合成，这意味着合成时间将不小于与实际所产出的视频的时间长度，视频合成时间较长。例如，假设需要合成一段时间长度为100秒的视频，则在用户完成对物料的准备、剪辑等操作之后，后续生成合成视频的时间将会大于或等于100s，这会造成用户的长时间等待。


技术实现要素：

5.为了解决上述技术问题，本发明提出了一种基于数据处理的视频合成系统，包括：双频道视频捕获系统，图像合成单元和视频输出单元；
6.所述双频道视频捕获系统包括：视频图像获取单元、图像信息处理单元、存储单元、属性单元、图像旋转单元、图像缩放单元及图像位置移动单元；
7.所述视频图像获取单元利用双频道分别获取标准视频图像和自由视频图像，并存储在所述存储单元中，
8.所述图像信息处理单元以预定时间间隔交替地获取标准视频图像和自由视频图像中的帧画面信息，并在所述存储单元中存储为标准视频帧画面信息和自由视频帧画面信息；
9.所述属性单元确定标准视频帧画面信息和自由视频帧画面信息的方向属性，并计算标准视频帧画面信息和自由视频帧画面信息之间的方向差异性；
10.所述图像旋转单元基于方向差异性，对标准视频帧画面信息或自由视频帧画面信息进行旋转，消除两个帧画面信息之间的方向差异性；
11.所述图像缩放单元分别对消除方向差异性后的标准视频帧画面信息和自由视频帧画面信息进行缩放操作，从而生成以与预设的画面的尺寸对应的标准视频缩放帧画面信息和自由视频缩放帧画面信息；
12.所述图像位置移动单元变更标准视频缩放帧画面信息和自由视频缩放帧画面信息的坐标值，将标准视频缩放帧画面信息和自由视频缩放帧画面信息的位置移动到预设画面上的预设区域，分别形成移动后标准视频帧画面和移动后自由视频帧画面；
13.所述图像合成单元将移动后标准视频帧画面和移动后自由视频帧画面合并为一个帧画面，并形成视频后通过所述视频输出单元输出。
14.进一步地，所述图像合成单元包括临时存储器、图像处理单元、cpu及上下文特征提取器；
15.将输入的t时刻和t-1时刻的移动后标准视频帧画面和移动后自由视频帧画面存储在临时存储器中；
16.所述图像处理单元对移动后标准视频帧画面和移动后自由视频帧画面进行增益提高处理；并从t时刻的移动后标准视频帧画面或移动后自由视频帧画面的外周部分的像素中选择一个像素，并且将像素的亮度与t-1时刻的移动后标准视频帧画面或移动后自由视频帧画面的相同部分的亮度进行比较；
17.所述cpu判定移动后标准视频帧画面在t时刻和t-1时刻的对应部分的亮度差以及移动后自由视频帧画面在t时刻和t-1时刻的对应部分的亮度差是否为规定值以上，对移动后标准视频帧画面和移动后自由视频帧画面在t时刻和t-1时刻的亮度差进行调整，分别生成t时刻和t-1时刻校正后标准视频帧画面与校正后自由视频帧画面；
18.所述上下文特征提取器分别获得t时刻和t-1时刻校正后的标准视频帧画面和t时刻和t-1时刻校正后自由视频帧画面的多尺度映射特征，转换而成t时刻和t-1时刻校正后标准视频帧画面之间的像素特征对应关系和t时刻和t-1时刻校正后自由视频帧画面之间的像素特征对应关系，将各个时间和视点上的帧画面像素特征通过前向映射到目标时刻和视点。
19.进一步地，采用级联的n个上下文特征提取器模块，每个上下文特征提取器模块生成一个尺寸的上下文映射特征，生成某一时刻t的n个尺寸的像素特征对应关系w
ti
，1≤i≤n；最终的整个帧画面的像素特征对应关系w
t
为
20.本发明还提出了一种基于数据处理的视频合成方法，采用所述的视频合成系统，包括：
21.利用双频道分别获取标准视频图像和自由视频图像；
22.以预定时间间隔交替地获取标准视频图像和自由视频图像中的帧画面信息；
23.计算标准视频帧画面信息和自由视频帧画面信息之间的方向差异性，对标准视频帧画面信息或自由视频帧画面信息进行旋转，消除两个帧画面信息之间的方向差异性；
24.分别对消除方向差异性后的标准视频帧画面信息和自由视频帧画面信息进行缩放操作，从而生成以与预设的画面的尺寸对应的标准视频缩放帧画面信息和自由视频缩放帧画面信息；
25.将标准视频缩放帧画面信息和自由视频缩放帧画面信息的位置移动到预设画面上的预设区域，分别形成移动后标准视频帧画面和移动后自由视频帧画面；
26.从t时刻的移动后标准视频帧画面或移动后自由视频帧画面的外周部分的像素中选择一个像素，并且将像素的亮度与t-1时刻的移动后标准视频帧画面或移动后自由视频帧画面的相同部分的亮度进行比较，对移动后标准视频帧画面和移动后自由视频帧画面在t时刻和t-1时刻的亮度差进行调整，分别生成t时刻和t-1时刻校正后标准视频帧画面与校正后自由视频帧画面；
27.转换而成t时刻和t-1时刻校正后标准视频帧画面之间的像素特征对应关系和t时刻和t-1时刻校正后自由视频帧画面之间的像素特征对应关系，将各个时间和视点上的帧画面像素特征通过前向映射到目标时刻和视点，合并为一个帧画面，并形成视频后通过所述视频输出单元输出。
28.进一步地，将各个时间和视点上的帧画面像素特征通过前向映射到目标时刻和视点，合并为一个帧画面，具体包括：
29.获取t时刻和t-1时刻校正后的自由视频帧画面或校正后标准视频帧画面之间的像素特征对应关系w，输入待合成的标准视频图像或自由视频图像i0，通过前向映射计算映射后的目标时刻t’视点自由视频帧画面或标准视频帧画面i
′
t
′
:
[0030][0031]
采用前后光度一致性作为掩码z；
[0032]
分别获得自由视频帧画面i
′
自由t
′
和标准视频帧画面i
′
标准t
′
，从自由视频帧画面i
′
自由t
′
和标准视频帧画面i
′
标准t
′
中取到相对应的像素特征合成作为融合视点视频帧i
′
t
′
_总
的像素特征；
[0033]
获得视频帧画面i
′
自由t
′
到i
′
标准t
′
的像素特征分布，将映射到同一点x上的像素特征y分布取平均值，记为s(x)，对没有流映射到的位置，根据四周的像素特征分布x
′
将其填充，记为n(x)。
[0034]
则最终得到视频帧画面i
′
自由t
′
到i
′
标准t
′
的像素特征分布i
′
t
′
_总
为：
[0035]
附图说明
[0036]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本发明的基于数据处理的视频合成系统的整体结构示意图；
[0038]
图2为本发明的通过上下文特征提取器进行像素特征对应的示意图；
[0039]
图3为本发明的基于数据处理的视频合成方法的流程图。
具体实施方式
[0040]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0041]
在本发明的具体实施例附图中，为了更好、更清楚的描述系统中的各元件的工作原理，表现所述装置中各部分的连接关系，只是明显区分了各元件之间的相对位置关系，并不能构成对元件或结构内的信号传输方向、连接顺序及各部分结构大小、尺寸、形状的限定。
[0042]
如图1所示，为本发明的基于数据处理的视频合成系统的整体结构示意图，包括：双频道视频捕获系统，图像合成单元和视频输出单元。
[0043]
双频道视频捕获系统包括视频图像获取单元、存储单元、属性单元、图像旋转单元、图像缩放单元、图像位置移动单元。
[0044]
视频图像获取单元利用双频道分别获取标准视频图像和自由视频图像，并存储在存储单元中，图像信息处理单元以预定时间间隔交替地获取标准视频图像和自由视频图像中的帧画面信息，并在存储单元中存储为标准视频帧画面信息和自由视频帧画面信息。
[0045]
属性单元确定标准视频帧画面信息和自由视频帧画面信息的方向属性，方向属性取决于标准视频帧画面信息和自由视频帧画面信息中的视点位置和视线方向而在显示格式上不同，属性单元计算标准视频帧画面信息和自由视频帧画面信息之间的方向差异性。
[0046]
图像旋转单元基于方向差异性，对标准视频帧画面信息或自由视频帧画面信息进行旋转，消除两个帧画面信息之间的方向差异性。
[0047]
图像缩放单元分别对消除方向差异性后的标准视频帧画面信息和自由视频帧画面信息进行缩放操作，从而生成以与预设的画面的尺寸对应的标准视频缩放帧画面信息和自由视频缩放帧画面信息。
[0048]
图像位置移动单元在接收到具有同步的特定时间的时间戳的标准视频缩放帧画面信息和自由视频缩放帧画面信息时，将标准视频缩放帧画面信息和自由视频缩放帧画面信息的位置移动到预设画面上的预设区域，分别形成移动后标准视频帧画面和移动后自由视频帧画面。
[0049]
具体地，图像位置移动单元为了将具有与同步的特定时间有关的时间戳的视频缩放帧画面信息的位置移动到预设区域，则需要变更视频缩放帧画面信息的坐标值，从而生成将视频缩放帧画面信息的位置移动到预设画面上的预设区域的移动后的视频帧画面。
[0050]
图像合成单元将移动后标准视频帧画面和移动后自由视频帧画面合并为一个帧画面，并形成视频后通过视频输出单元输出。
[0051]
当图像获取单元获取的视频图像都是灰度图像时，视频输出单元将合成帧画面输出为具有灰度帧画面的视频。当图像获取单元获取的视频图像都是彩色图像时，视频输出单元将合成帧画面输出为具有彩色帧画面的视频。
[0052]
在本实施例中，图像合成单元采用时空融合的视频帧合成网络进行视频帧画面的合成。图像合成单元包括临时存储器、图像处理单元、cpu、上下文特征提取器。
[0053]
将输入的t时刻和t-1时刻的移动后标准视频帧画面和移动后自由视频帧画面存
储在临时存储器中，图像处理单元对移动后标准视频帧画面和移动后自由视频帧画面进行增益提高处理。
[0054]
图像处理单元从t时刻的移动后标准视频帧画面的外周部分的像素中选择一个像素，并且将像素的亮度与t-1时刻的移动后标准视频帧画面的相同部分的亮度进行比较；
[0055]
图像处理单元从t时刻的移动后自由视频帧画面的外周部分的像素中选择一个像素，并且将像素的亮度与t-1时刻的移动后自由视频帧画面的相同部分的亮度进行比较。
[0056]
cpu判定移动后标准视频帧画面在t时刻和t-1时刻的对应部分的亮度差以及移动后自由视频帧画面在t时刻和t-1时刻的对应部分的亮度差是否为规定值以上。
[0057]
当该判定的结果为亮度差小于规定值的情况下，则cpu不发出调整指令。
[0058]
当该判定的结果是亮度差为规定值以上的情况下，cpu控制图像处理单元对移动后标准视频帧画面和移动后自由视频帧画面在t时刻和t-1时刻的亮度差进行调整，使得亮度变化为规定值以下，分别生成t时刻和t-1时刻校正后标准视频帧画面与校正后自由视频帧画面。
[0059]
如图2所示，为通过上下文特征提取器进行像素特征对应的示意图。通过上下文特征提取器分别获得t时刻和t-1时刻校正后的标准视频帧画面和t时刻和t-1时刻校正后自由视频帧画面的多尺度映射特征，转换而成t时刻和t-1时刻校正后标准视频帧画面之间的像素特征对应关系和t时刻和t-1时刻校正后自由视频帧画面之间的像素特征对应关系，将各个时间和视点上的帧画面像素特征通过前向映射到目标时刻和视点。
[0060]
上下文特征提取器获取t时刻和t-1时刻校正后的自由视频帧画面或校正后标准视频帧画面之间的像素特征对应关系w，输入待合成的标准视频图像或自由视频图像i0，通过前向映射计算映射后的目标时刻t’视点自由视频帧画面或标准视频帧画面i
′
t
′
。
[0061]
可用下式表示:
[0062][0063]
采用前后光度一致性作为掩码z。
[0064]
在优选实施例中，采用级联的n个上下文特征提取器模块，每个上下文特征提取器模块生成一个尺寸的上下文映射特征，生成某一时刻t的n个尺寸的像素特征对应关系w
ti
，1≤i≤n；最终的整个帧画面的像素特征对应关系w为
[0065]
经过上下文特征提取器计算后，获得自由视频帧画面i
′
自由t
′
和标准视频帧画面i
′
标准t
′
，再由总融合模块将时空合成结果融合，最后生成融合视点视频帧i
′
t
′
_总
。
[0066]
总融合模块的融合方法即从自由视频帧画面i
′
自由t
′
和标准视频帧画面i
′
标准t
′
中取到相对应的像素特征合成作为融合视点视频帧i
′
t
′
_总
的像素特征。
[0067]
本实施例总融合模块采用合成帧方法，如果已知前后两视频帧i
′
自由t
′
和i
′
标准t
′
,
[0068]
相比于直接将前后两视频帧直接送入总融合模块之中，需要对其做预处理的操作，得到一些合成帧需要的关键信息，再将其输入到总融合模块之中，这样才能给合成帧提供必要的信息。
[0069]
获得视频帧画面i
′
自由t
′
到i
′
标准t
′
的像素特征分布，将映射到同一点x上的像素特征y分布取平均值，记为s(x)，对没有流映射到的位置，根据四周的像素特征分布x
′
将其填充，记为n(x)。
[0070]
则最终得到视频帧画面i
′
自由t
′
到i
′
标准t
′
的像素特征分布i
′
t
′
_总
为：
[0071][0072]
对于一段拍摄的视频，通过将前后两视频帧直接送入总融合模块之中来合成两帧的画面，可以将视频的内容进行扩充，不仅能够让视频更加流畅自然，在一定条件下还可以做到立体的效果。
[0073]
本发明还提出了一种基于数据处理的视频合成方法，如图3所示视频合成方法的流程图，包括如下步骤：
[0074]
利用双频道分别获取标准视频图像和自由视频图像；
[0075]
以预定时间间隔交替地获取标准视频图像和自由视频图像中的帧画面信息；
[0076]
计算标准视频帧画面信息和自由视频帧画面信息之间的方向差异性，对标准视频帧画面信息或自由视频帧画面信息进行旋转，消除两个帧画面信息之间的方向差异性；
[0077]
分别对消除方向差异性后的标准视频帧画面信息和自由视频帧画面信息进行缩放操作，从而生成以与预设的画面的尺寸对应的标准视频缩放帧画面信息和自由视频缩放帧画面信息；
[0078]
将标准视频缩放帧画面信息和自由视频缩放帧画面信息的位置移动到预设画面上的预设区域，分别形成移动后标准视频帧画面和移动后自由视频帧画面；
[0079]
从t时刻的移动后标准视频帧画面或移动后自由视频帧画面的外周部分的像素中选择一个像素，并且将像素的亮度与t-1时刻的移动后标准视频帧画面或移动后自由视频帧画面的相同部分的亮度进行比较，对移动后标准视频帧画面和移动后自由视频帧画面在t时刻和t-1时刻的亮度差进行调整，分别生成t时刻和t-1时刻校正后标准视频帧画面与校正后自由视频帧画面；
[0080]
转换而成t时刻和t-1时刻校正后标准视频帧画面之间的像素特征对应关系和t时刻和t-1时刻校正后自由视频帧画面之间的像素特征对应关系，将各个时间和视点上的帧画面像素特征通过前向映射到目标时刻和视点，合并为一个帧画面，并形成视频后通过所述视频输出单元输出。
[0081]
本发明的视频合成技术可以广泛应用到视频网站和直播行业，通过传递含有关键信息的少量帧来补全其他帧，从而在相同带宽下加载更多的内容，使视频在不降低分辨率的条件下更流畅。
[0082]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机
能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如，固态硬盘(solid state disk，ssd))等。
[0083]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。