重构视频序列的图像的方法和重构视频序列的图像的设备的制作方法
【专利摘要】重构应用基于视频源内容裁剪视频源的子部分。重构应用包含产生显著性图的视觉关注模型、和基于显著性图推断裁剪窗口的专用重构算法。裁剪后，只有每个视频图像的重构部分保持可见。处理视频序列的图像的方法包括以下步骤：确定（21）视频序列的参数、视频序列的先前解码的子序列的参数和用户设置，根据所确定的参数确定（22）要裁剪的部分，在重构步骤剪裁（23）所确定的部分以供显示。本发明的优点是提供了基于视频内容自动调整重构参数的先进自动方法。
【专利说明】重构视频序列的图像的方法和重构视频序列的图像的设备
【技术领域】
[0001]本发明涉及一种处理视频序列的图像的方法和设备，尤其是重构视频序列的图像。
【背景技术】
[0002]例如从EP1956550A已知的重构应用最初被设计来基于视频源内容裁剪视频源的子部分。裁剪后，只有每个视频图像的重构部分仍然可见。重构应用包含视觉关注模型(visual attention model)和专用的重构算法。视觉关注模型产生显著性图，而重构算法基于该显著性图推算出裁剪窗口。裁剪窗口的位置和大小根据视频内容是可变的。重构算法与编码或解码过程是互补的。根据使用情况，可以不同地使用重构应用。例如，重构应用可以被用作在移动视频编码前的预处理。在另一个例子中，重构应用在视频解码后执行。
[0003]问题是目前还没有基于视频内容自动地调整重构参数的可用的先进的或自动的解决方案。
【发明内容】
[0004]本发明通过利用在解码视频源数据时可用的信息来自动调整重构应用的设置或输入参数。所公开的用于自动调整已解码视频序列的设置或输入参数的解决方案利用了先前解码序列的特性。
[0005]根据本发明，一种处理视频序列的图像的方法包括以下步骤:确定视频序列的参数、视频序列的先前解码的GOP (画面组)的参数，确定用户设置，根据所确定的参数确定要裁减的部分，剪裁所剪裁的部分以供显示。
[0006]视频序列的不同参数可以被确定和使用，如GOP大小，时间子采样因子，最小和最大缩放因子或边界框速度。这些参数可以单独或组合使用。例如，在一个实施例中，所确定的和使用的参数仅仅包括(从上述参数中)边界框速度。
[0007]在一个实施例中，所确定和使用的参数包括最小和最大缩放因子。
[0008]在一个实施例中，所确定和使用的参数包括GOP大小、时间子采样因子、最小和最大缩放因子，以及边界框速度。
[0009]在本发明的一个实施例中，一种处理视频序列的图像的方法包括以下步骤:在前一图像中确定作为前一图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中，围绕所述像素子区域或像素子集确定第一边界框；在当前图像中确定作为当前图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中，并且围绕所述区域确定第二边界框；在连续图像之间确定边界框移动的最大边界框速度；依据第一和第二边界框以及所确定的边界框的最大速度来确定新的边界框；在当前图像中根据所确定的新边界框裁剪子区域以供显示。
[0010]最大边界框速度可以根据视频序列的先前解码的GOP的参数确定。最大边界框速度也可以是可从寄存器或存储器取得的预定义值，这也对于视频序列的先前解码的GOP有效。
[0011 ] 使用该方法的设备包括:图像分析装置，用于确定视频序列的参数，确定视频序列的先前解码的GOP (画面组)的参数，并确定用户设置(例如，用户接口装置);和图像处理装置，用于根据所确定的参数来确定要裁剪的部分，并裁剪所确定的部分以供显示。如上所述，视频序列的各种参数可单独使用或组合使用。
[0012]在本发明的一个实施例中，一种处理视频序列的图像的设备包括:在前一图像中确定作为前一图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中的装置；围绕所述像素子区域或像素子集确定第一边界框的装置；在当前图像中确定作为当前图像的最突出部分的像素子区域或像素子集以供包括在重构窗口中、并且围绕所述区域确定第二边界框的装置；依据视频序列的先前解码的GOP的参数，在连续图像之间确定边界框移动的最大边界框速度的装置；依据第一和第二边界框以及所确定的边界框的最大速度确定新的边界框的装置；以及在当前图像中根据所确定的新边界框裁剪子区域以供显示的装置。
[0013]一方面，本发明涉及一种计算机可读介质，其上存储使计算机执行上述方法的可执行指令。在一个实施例中，使得计算机执行用于处理视频序列的图像的方法，该方法包括以下步骤:确定视频序列的参数，确定视频序列的先前解码的GOP的参数，并确定用户设置，根据所确定的参数确定要裁剪的部分，裁减所确定的部分以供显示。
[0014]在从属权利要求、下列描述和附图中公开了本发明的优选实施例。
【专利附图】
【附图说明】
[0015]参考附图来描述本发明的示例性实施例，在附图中:
[0016]图1是具有重构应用的视频解码器的结构；
[0017]图2是处理视频序列的图像的方法的流程图；
[0018]图3是缓冲区大小的演变作为GOP大小的函数的图表；
[0019]图4是考虑计算上下文和实时性要求而选择最佳时间子采样模式/因子；
[0020]图5是考虑到GOP排列、大小和环境限制的模式选择的流程图；
[0021]图6是在不同比特率下1-帧的示例性MB成本图；
[0022]图7是边界框速度的演变作为对于完整GOP的帧之间的帧内图相关性的函数的图表;
[0023]图8是说明有限边界框速度的图；
[0024]图9是说明有限边界框缩放因子的图；以及
[0025]图10是处理视频序列的图像的设备的结构。
【具体实施方式】
[0026]图1示出具有自动重构单元AR的视频解码器DEC的结构。解码器DEC接收编码的输入视频序列11，并对其进行解码以获得解码后的视频序列12。参数提取器PE从解码后的视频序列和/或解码器设置13中提取参数和/或重构设置14。自动重构单元AR从解码后的视频12和所提取的参数和/或重构设置14中生成重构(即裁剪)视频序列16。
[0027]重构应用具有一定数量的设置S，根据本发明，设置S是根据解码后的流或解码过程自动调整的。在一个实施例中，设置包括缓冲区大小、时间子采样因子、两个缩放系数Zmin与Zmax、边界框速度。设置S1, S2, S3, S4如下所述。
[0028]
【权利要求】
1.一种处理视频序列的图像的方法，包括以下步骤: 确定视频序列的参数，视频序列的先前解码的子序列的参数和用户设置； 根据所确定的参数确定要裁剪的部分，其中要裁剪的部分是通过具有可变位置和可变大小中至少一个的边界框定义的，其中可变位置取决于视频序列中相邻帧的帧内编码宏块间的相关性，其中对于所述相关性的第一相关值的边界框位置变化比对于高于或低于第一相关值的相关值的边界框位置变化更快，其中可变大小取决于根据当前GOP或场景的第一帧的宏块成本图的参数计算得到的最大缩放因子，其中如果具有成本等于零的宏块的百分比比较低，则允许更高的最大缩放因子；以及在重构步骤中裁剪所确定的部分以供显示。
2.如权利要求1所述的方法，其中所述子序列是GOP或场景，场景由场景变化检测器检测。
3.如权利要求1或2所述的方法，其中视频序列的参数或先前解码的子序列的参数至少包括GOP大小、场景长度、时间子采样因子、最小和最大缩放因子和边界框速度中的至少一个。
4.如权利要求1或2所述的方法，所述确定视频序列的参数包括，对于当前图像: 在前一图像(iiVi)中确定作为前一图像的最突出部分的像素子区域或像素子集(Sai)； 确定围绕所述前一图像的所述像素子区域或像素子集的第一边界框(bbj ； 在当前图像(imn)中确定作为当前图像的最突出部分的像素子区域或像素子集(Sa2)；确定围绕所述当前图像的所述区域的第二边界框(bb2)，第二边界框具有所述可变边界框位置； 依据第一边界框(bbj和第二边界框(bb2)的位置计算边界框移位(ddrt)，或依据第一边界框(bbj和第二边界框(bb2)的位置、视频帧速率，计算边界框移位(ddrt)和边界框速度； 将所确定的边界框移位(ddrt)或边界框速度和在连续图像间最大允许的边界框移位或边界框速度进行比较； 如果所确定的边界框移位大于最大允许的边界框移位，或者如果所确定的边界框速度大于最大允许的边界框速度，那么确定新边界框(bbdrt)的位置和/或大小，并且在当前图像中裁剪根据所确定的新边界框的子区域以供显示； 否则，如果所确定的边界框移位(ddrt)或边界框速度等于或小于最大允许的边界框移位或最大允许的边界框速度，那么在当前的图像中裁剪根据所确定的第二边界框(bb2)的子区域以供显示。
5.如权利要求1或2所述的方法，其中，依据视频序列的先前解码的子序列的参数确定最大允许的边界框移位或边界框速度。
6.如权利要求1或2所述的方法，其中最大允许的边界框速度根据下式计算:
7.如权利要求1或2所述的方法，还包括随时间平滑裁剪窗口参数的步骤，其中在重构步骤中使用缓冲区以随时间平滑裁剪窗口参数，根据GOP大小调整缓冲区大小Sl。
8.如权利要求1或2所述的方法，其中时间子采样因子或时间子采样方案是根据时间子采样模式设置的，其中在第一子采样模式(FM)中，重构步骤应用于所有帧；在第二子采样模式(頂)中，重构步骤应用于所有1-帧和P-帧，而不应用于零或更多的B-帧；在第三子采样模式(LM)中，重构步骤应用于所有1-帧，而不应用于任何B-帧，也不应用于零或更多的P-帧。
9.如权利要求8所述的方法，其中根据比特率要求和图像质量要求中的至少一个选择子米样模式之一。
10.如权利要求1或2所述的方法，其中通过裁减窗口定义要裁剪的部分，还包括以下步骤:确定最大或最小允许的缩放因子或缩放因子对，最大或最小允许的缩放因子定义裁剪窗口随时间变化可以达到的边界，或缩放因子对定义裁剪窗口随时间可以在其间变化的两个边界。
11.如权利要求10所述的方法，其中依据当前GOP或场景的第一帧的宏块成本图的参数来计算缩放因子对。
12.如权利要求1或2所述的方法，其中最小允许的缩放因子是根据
13.—种处理视频序列的图像的设备，包括 图像分析装置，用于确定视频序列的参数，确定视频序列的先前解码的子序列的参数，以及确定用户设置；以及 图像处理装置，用于根据所确定的参数确定要裁剪的部分，并且裁剪所确定的部分以供显示，其中通过具有可变位置和可变大小中至少一个的边界框定义要裁剪的部分，可变位置取决于在视频序列内相邻帧的帧内编码宏块间的相关性，对于所述相关性的第一相关值的边界框位置比对于高于或低于第一相关值的相关值的边界框位置变化更快，变化大小取决于依据当前GOP或场景的第一帧的宏块成本图的参数计算得来的缩放因子，如果成本等于零的宏块的百分比比较低，则允许更高的最大缩放因子。
14.如权利要求13所述的设备，还包括场景变化检测模块，其中所述子序列是GOP或场景，通过场景变化检测模块检测场景。
15.如权利要求13或14所述的设备，还包括: 在前一图像(iiVi)中确定作为前一图像的最突出部分的像素子区域或像素子集(Sa1)的装置； 确定围绕前一图像的所述像素子区域或像素子集的第一边界框(bbi)的装置； 在当前图像(imn)中确定作为当前图像的最突出部分的像素子区域或像素子集(Sa2)的装置； 确定围绕当前图像的所述区域的第二边界框(bb2)的装置； 依据第一边界框(bbj和第二边界框(bb2)的位置计算边界框移位(ddrt)，或依据第一边界框(bbP和第二边框(bb2)位置、以及视频帧速率计算边界框速度的装置； 将所确定的边界框移位(ddrt)或边界框速度和在连续图像间最大允许的边界框移位或边界框速度进行比较的装置； 如果所确定的边界框移位大于最大允许的边界框移位、或者如果所确定的边界框速度大于最大允许的边界框速度，则确定新边界框(bbdrt)位置和/或大小、并在当前图像中裁剪根据所确定的新边界框的子区域的装置，否则，如果所确定的边界框移位(ddrt)或边界框速度等于或小于最大允许的边界框移位或边界框速度，则在当前的图像中裁剪根据所确定的第二边界框(bb2)的子区域以供显`示的装置。
【文档编号】G06T7/00GK103533370SQ201310270910
【公开日】2014年1月22日 申请日期:2013年7月1日 优先权日:2012年6月29日
【发明者】C.查马雷特, F.厄本, C.谢万斯 申请人:汤姆逊许可公司