对视频进行稳定化的方法和包括后处理电路的视频解码器的制造方法
【专利摘要】提供一种对视频进行稳定化的方法和包括后处理电路的视频解码器。为了对视频（图像序列）进行稳定化，从解码电路以宏块为单位接收视频帧的重建的块数据和解码信息。基于重建的块数据和解码信息来确定并提供全局仿射参数，并且该全局仿射参数表示帧的仿射变换。通过补偿重建的块数据的与仿射变换相应的仿射运动，提供基于全局仿射参数的稳定化的块数据。
【专利说明】对视频进行稳定化的方法和包括后处理电路的视频解码器
[0001]本申请要求于2013年3月15日在韩国知识产权局(KIPO)提交的第10-2013-0028249号韩国专利申请的优先权，该韩国专利申请通过弓I用整体合并于此。
【技术领域】
[0002]示例性实施例总体上涉及视频数据的处理，更具体地讲，涉及对视频进行稳定的方法、后处理电路以及去除手抖动噪声的视频解码器。
【背景技术】
[0003]IS0/IEC (国际标准化组织/国际电工委员会)下的MPEG (运动图像专家组)和ITU-T (国际电信联盟电信)下的VCEG (视频编码专家组)是视频编码的重要标准。MPEG和VCEG组织了 JVT (联合视频小组)，并且该小组已经完成了视频编码的国家标准H.264/AVC(先进视频编码)。与诸如MPEG-2、MPEG-4、H.261、H.263等的之前的视频编解码器标准相比，H.264/AVC在压缩视频数据时通过弓I入诸如可变块尺寸运动估计、四分之一像素运动矢量分辨率、多参考画面运动估计等功能提供了改进的性能。
[0004]编码器的复杂性以及编码数据的流大小由于所添加的功能而增加。在以更高的频率操作传统编码器的更大的开支的情况下，可提高在采用H.264标准的视频解码器中处理数据的速度。
[0005]当使用图像捕捉装置捕捉视频(即，相同场景的图像或帧的序列)时，由于手抖动(即，由于用户的运动而引起的噪声)会导致图像质量降低。在某些传统方案中，在对捕获的视频数据进行压缩之前，通过预处理来补偿手抖动噪声。但是，这些方案会增加处理数据的量和所需硬件的复杂性，因此会降低视频解码器的处理速度。在另一种传统方案中，可以通过分析全局运动矢量来补偿手抖动噪声。但是，这些方案仅可检测到与平移运动相应的噪声分量，因此无法去除各种类型的手抖动噪声。
【发明内容】
[0006]本发明构思的一个方面提供一种能够有效检测并补偿手抖动噪声的对视频进行稳定化的方法。
[0007]本发明构思的一个方面提供一种能够使用解码的结果来有效检测并补偿手抖动噪声的后处理电路。
[0008]本发明构思的一个方面提供一种能够有效检测并补偿手抖动噪声的视频解码器。
[0009]本发明构思的一个方面提供一种对视频进行稳定化的方法，所述方法包括下列步骤:从解码电路以宏块为单位接收视频帧的重建的块数据和解码信息；基于重建的块数据和解码信息来提供全局仿射参数，其中，所述全局仿射参数表示帧(图像)的仿射变换；以及通过补偿重建的块数据的与仿射变换相应的仿射运动补偿，提供基于全局仿射参数的稳定化的块数据。
[0010]全局仿射参数可以表示包括所有的帧(图像)的平移、旋转和缩放改变的仿射变换。
[0011]提供全局仿射参数的步骤可包括:基于重建的块数据和解码信息来计算特征点的点运动矢量，其中，所述特征点表示在巾贞(图像)中包括的物体的边缘或拐角；以及基于点运动矢量以帧为单位确定全局仿射参数。
[0012]可通过根据光栅扫描顺序分析每个帧中的多个宏块的重建的块数据来计算点运动矢量。
[0013]计算点运动矢量的步骤可包括:通过分析重建的块数据来检测特征点；以及基于宏块的块运动矢量来计算特征点的点运动矢量，其中，所述块运动矢量被包括在来自解码电路的解码信息中。
[0014]检测特征点的步骤可包括基于每个宏块的编码模式针对每个宏块确定是否执行特征点的检测。
[0015]确定是否执行特征点的检测的步骤可包括省略针对编码是帧内模式的宏块执行特征点的检测的过程。
[0016]确定是否执行特征点的检测的步骤可包括:计算编码模式是帧间模式的每个宏块的残差块数据的幅值，其中，所述残差块数据被包括在解码信息中；以及当宏块的残差块数据的幅值大于参考值，则省略针对所述宏块的特征点的检测。
[0017]计算残差块数据的幅值的步骤可包括:计算每个宏块的残差块数据中的像素数据的绝对值；以及计算所述绝对值的和，以将该和确定为每个宏块的残差块数据的幅值。
[0018]当当前帧与帧内帧相应时，可省略计算点运动矢量的过程。
[0019]计算特征点的点运动矢量的步骤可包括:针对包括在当前宏块中的每个特征点，提取当前宏块和邻近当前宏块的相邻宏块的块运动矢量；计算表示在每个特征点与提取的块运动矢量之间的空间相关性的空间权重值；以及使用空间权重值来计算提取的块运动矢量的加权平均值，以将所述加权平均值确定为每个特征点的点运动矢量。
[0020]空间权重值可被计算为在每个特征点与参考宏块的中心点以及相邻宏块的中心点之间的距离的倒数值。
[0021]计算特征点的点运动矢量的步骤可包括:针对包括在当前宏块中的每个特征点，提取当前宏块的块运动矢量和邻近当前宏块的相邻宏块的块运动矢量；计算表示在每个特征点和相邻宏块的块运动矢量之间的时间相关性的时间权重值；以及通过使用时间权重值来调整提取的块运动矢量以计算被缩放的块运动矢量；计算表示在每个特征点与提取的块运动矢量之间的空间相关性的空间权重值；以及使用空间权重值来计算被缩放的块运动矢量的加权平均值，以将所述加权平均值确定为每个特征点的点运动矢量。
[0022]时间权重值可被计算为在包括当前宏块的当前帧的帧编号与包括相邻宏块的其它帧的帧编号之间的差的倒数值。
[0023]以帧为单位确定全局仿射参数的步骤可包括:将当前帧中的特征点分组到多个点群组中；基于特征点的点运动矢量，在点群组中确定参考点群组；以及基于在参考点群组中包括的特征点的点运动矢量来计算当前帧的仿射参数。
[0024]确定参考点群组的步骤可包括:计算这些点群组的分布值，其中，每个分布值都表示在每个点群组中的特征点的点运动矢量的方向和幅值分布；将分布值与参考值进行比较；以及当点群组的分布值小于参考值时，将所述点群组确定为参考点群组。
[0025]以帧为单位确定全局仿射参数的步骤还可包括:将计算的当前帧的仿射参数提供作为用于补偿后续帧的重建的块数据的全局仿射参数。
[0026]以帧为单位确定全局仿射参数的步骤还可包括:基于计算的当前帧和至少一个先前帧的仿射参数来估计仿射参数；以及将估计的仿射参数提供作为用于补偿后续帧的重建的块数据的全局仿射参数。
[0027]提供稳定化的块数据的步骤可包括:基于全局仿射参数来计算补偿仿射参数，其中，所述补偿仿射参数表示由全局仿射参数表示的仿射变换的逆变换；以及基于补偿仿射参数和重建的块数据来计算稳定化的块数据。
[0028]计算稳定化的块数据的步骤可包括:基于补偿仿射参数来将像素的像素坐标变换为像素的补偿坐标；以及基于被映射到补偿坐标的重建的块数据来计算被映射到像素坐标的稳定化的块数据的每个像素数据。
[0029]计算稳定化的块数据的每个像素数据的步骤可包括:设置邻近每个像素的相邻像素的补偿群组；计算与在每个像素的像素坐标与在补偿群组中的相邻像素的补偿坐标之间的差的倒数值相应的权重值；以及计算被映射到补偿组中的相邻像素的补偿坐标的重建的块数据的加权平均值，以将所述加权平均值确定为被映射到像素坐标的稳定化的块数据的每个像素数据。
[0030]本发明构思的一个方面提供一种视频解码器，所述视频解码器包括:解码电路，被配置为以宏块为单位提供重建的块数据和解码信息；以及后处理电路，被配置为基于重建的块数据和解码信息来确定全局仿射参数，其中，所述全局仿射参数表示帧(图像)的仿射变换；并且，所述后处理电路被配置为通过补偿重建的块数据的与仿射变换相应的仿射运动，以提供基于全局仿射参数来提供稳定化的块数据。
[0031]所述后处理电路可包括:仿射运动估计块，被配置为基于重建的块数据和解码信息来提供全局仿射参数；以及运动补偿块，被配置为基于全局仿射参数来提供稳定化的块数据。
[0032]仿射运动估计块可以巾贞为单位来更新(upgrade)全局仿射参数。
[0033]来自解码电路的重建的块数据的提供以及来自运动补偿块的稳定化的块数据的提供被执行为以宏块为单位的流水线处理。
[0034]本发明构思的一个方面提供一种视频解码器的后处理单元，所述后处理单元包括:特征点检测单元，被配置为基于从解码电路以宏块为单位提供的重建的块数据和解码信息来检测特征点，其中，所述特征点表示在帧(图像)中包括的物体的边缘或拐点；点矢量计算单元，被配置为基于宏块的块运动矢量来计算特征点的点运动矢量，其中，所述块运动矢量被包括在解码信息中；仿射参数计算单元，被配置为基于点运动矢量来以帧为单位计算仿射参数；轨迹(trajectory)单元,被配置为基于针对至少一个巾贞(图像)的计算的仿射参数来估计全局仿射参数，其中，所述全局仿射参数表示帧的仿射变换；以及仿射运动补偿单元，被配置为通过补偿重建的块数据的与仿射变换相应的仿射运动，来提供基于全局仿射参数的稳定化的块数据。
[0035]在下文中，将参考附图对各种示例性实施例进行更全面的描述，其中，在附图中示出了一些示例性实施例。但是，本发明构思可以以许多不同的形式来实施，并且不应该被解释为局限于本文中所阐述的示例性实施例。确切地说，这些示例性实施例被提供，使得本公开将是彻底和完整的，并且，将向本领域技术人员全面地传达本发明构思的范围。在附图中，为了清楚起见，可以夸大层和区域的尺寸和相对尺寸。相同的附图标号始终表示相同的元件。
[0036]应当理解的是，虽然在本文中可以使用术语“第一”、“第二”、“第三”等来描述各种元件，但是这些元件不应当受这些术语的限制。这些术语用来将一个元件与另一个元件区分开。因此，在不脱离本发明构思的教导的情况下，在下文中讨论的第一元件可被表示为第二元件。如本文中使用的，术语“和/或”包括相关所列项中的一个或更多个的任何组合和所有组合。
[0037]应当理解的是，当一个元件被称为与另一个元件“连接”或“耦接”时，它可以与另一个元件直接连接或耦接，或者，可以存在中间元件。与此形成对照的是，当一个元件被称为与另一个元件“直接连接”或“直接耦接”时，不存在中间元件。
[0038]本文中使用的术语仅仅出于描述特定的示例性实施例的目的，并不意图限制本发明构思。如本文中使用的，除非上下文另有明确指示，否则单数形式也意图包括复数形式。
[0039]还应该注意，在一些可替换的实施方式中，在框中指出的功能/动作可能会不以在流程图中指出的顺序发生。例如，根据涉及的功能/动作，连续地示出的两个块事实上可以基本上被同时执行，或者这些块有时可以按照相反的顺序被执行。
[0040]除非另有定义，否则本文中使用的所有的术语(包括技术术语和科学技术)具有与本发明构思所属【技术领域】的普通技术人员所通常理解的含义相同的含义。将会进一步理解，诸如常用词典中定义的术语的术语应该被解释为具有与其在相关领域的背景中的含义一致的含义，并且将不会被解释为理想化的或过于正式的意义，除非本文中明确地定义。
【专利附图】
【附图说明】
[0041]通过结合附图进行的以下详细描述，本发明构思的示例性实施例将被更清晰的理解，其中:
[0042]图1是示出根据本发明构思的示例性实施例的对视频进行稳定的方法的流程图；
[0043]图2是示出根据本发明构思的示例性实施例的视频解码器的框图；
[0044]图3是示出根据本发明构思的示例性实施例的确定全局仿射参数GAP的方法的流程图；
[0045]图4、图5和图6是根据本发明构思的示例性实施例的用于描述基于光栅扫描的方案的视频帧的部分的示图，该基于光栅扫描的方案用于检测特征点和/或用于计算点运动矢量;
[0046]图7是示出根据本发明构思的示例性实施例的确定是否执行特征点的检测的方法的流程图；
[0047]图8是示出根据本发明构思的示例性实施例的用于描述决定的对检测特征点的省略的示图；
[0048]图9是示出根据本发明构思的示例性实施例的使用空间权重值来计算特征点运动矢量的方法的流程图；
[0049]图10是用于描述在图9的方法中使用的空间权重值的示例的示图；
[0050]图11是示出根据本发明构思的示例性实施例的使用时间权重值和空间权重值来计算点运动矢量的方法的流程图；
[0051]图12是示出有规律地设置的画面群组(GOP)的示例的示图；
[0052]图13和图14是用于描述在图11的方法中使用的时间权重值的示例的示图；
[0053]图15是示出根据本发明构思的示例性实施例的计算全局仿射参数的方法的流程图；
[0054]图16是根据本发明构思的示例性实施例的用于描述通过特征点的分组来计算全局仿射参数的方法的在视频帧中分组的运动矢量的示图；
[0055]图17是示出根据本发明构思的示例性实施例的提供稳定化的块数据的方法的流程图；
[0056]图18是示出仿射变换的示例的示图；
[0057]图19是示出根据本发明构思的示例性实施例的计算稳定化的块数据中的每一个像素数据的方法的流程图；
[0058]图20是用于描述通过图19的方法进行的像素数据的补偿的示图；
[0059]图21是根据本发明构思的示例性实施例的包括视频解码器的通信系统的框图；
[0060]图22是根据本发明构思的示例性实施例的包括视频解码器的计算机系统的框图；
[0061]图23是根据本发明构思的示例性实施例的图22的计算机系统中可采用的接口的框图。
【具体实施方式】
[0062]图1是示出根据本发明构思的示例性实施例的对视频帧进行稳定的方法的流程图，图2是示出被构造为执行根据本发明构思的示例性实施例的方法的视频解码器的框图。
[0063]参考图2，本发明构思的示例性实施例的视频解码器10包括解码电路20和后处理电路30。
[0064]后处理电路30包括运动补偿块500和仿射运动估计块100。
[0065]参考图1和图2，视频解码器10中的后处理电路30以宏块尺寸为单位从视频解码器10中的解码电路20接收视频帧的重建的块数据MBi和解码信息DINF (S200)。在本公开中，宏块并不限定于由特定标准指定的宏块，并且宏块可指示解码的数据的任意单位，并且优选地是彼此相邻或邻近的像素的方形或近似于方形的矩形阵列。
[0066]后处理电路30中的仿射运动估计块100基于重建的块数据MBi和解码信息DINF来提供全局仿射参数GAP (S400)，其中，全局仿射参数GAP表示视频帧(图像)的仿射变换。
[0067]通过补偿重建的块数据Mbi的与仿射变换相应的仿射运动，后处理电路30中的运动补偿块500提供基于全局仿射参数GAP的稳定化的块数据SBi (S600)。
[0068]如图2所示,解码电路20包括:熵解码单元EDU、反量化单元IQU、逆变换单元ITU、运动补偿单元MCU和环路滤波器LP。
[0069]熵解码单元EDU解析输入视频流VIN以分离解码信息DINF和图像信息。例如，熵解码单元EDU可包括可变长度解码器(VLD)。解码信息DINF被提供给根据本发明构思的示例性实施例的后处理电路30。解码信息DINF可至少包括指示帧的序列号(从I到N的索引号)的画面顺序计数POC (参见，例如图12)、指示选择的帧的编码模式的帧类型FT (参见，例如图12和图13中的1、B、P)、每个宏块和残差块数据RBi的运动矢量Vi。反量化单元IQU和逆变换单元ITU被用于对有损编码数据进行反向解码，以恢复重建的图片。反量化单元IQU对由编码装置量化的数据进行反量化。逆变换单元ITU对反量化单元IQU的输出执行逆变换。运动补偿单元MCU基于另外的信息并基于存储在帧存储器中的参考帧来补偿当前帧画面，以输出运动补偿后的数据。环路滤波器LP对运动补偿后的数据进行滤波，以输出重建的数据。同样地，对宏块尺寸的帧的各部分执行这样的解码处理，并且解码电路20以宏块为单位提供重建的块数据MBi和解码信息DINF。可针对整个帧的每个单位，提供解码信息DINF的一部分。
[0070]后处理电路30包括仿射运动估计块100和运动补偿单元500。仿射运动估计块100基于重建的块数据MBi和解码信息DINF来确定和提供全局仿射参数GAP。通过补偿重建的块数据Mbi的与确定的仿射变换相应的仿射运动，运动补偿块500提供基于全局仿射参数GAP的稳定化的块数据SBi。
[0071]运动补偿块100包括:特征点检测单元(FPDU) 110、点矢量计算单元(PV⑶)120、仿射参数计算单元(APQJ) 130和轨迹(trajectory)单元(TU) 140。
[0072]特征点检测单元110基于从解码电路20以宏块为单位提供的重建的块数据MBi和解码信息DINF来检测特征点FP，其中，特征点FP表示在帧(图像)中包括的物体的边缘或拐角。点矢量计算单元120可基于宏块的块运动矢量MVi来计算特征点FP的点运动矢量PMV，其中，块运动矢量MVi被包括在解码信息DINF中。仿射参数计算单元130基于点运动矢量PMV以一个整个巾贞为单位来计算仿射参数AP。轨迹单元140基于针对至少一个巾贞的计算的仿射参数AP来估计全局仿射参数GAP，其中，全局仿射参数GAP表示帧(图像)的仿射变换。
[0073]运动补偿块500包括仿射运动补偿单元(AMCU)510和帧缓存器(FBUF)520。通过补偿重建的块数据MBi的与由全局仿射参数GAP表示的仿射变换相应的仿射运动，仿射运动补偿单元510提供基于全局仿射参数GAP的稳定化的块数据SBi。稳定化的块数据SBi可被存储在帧缓存器520中，以作为稳定化的图像数据SIMG被输出。
[0074]全局仿射参数GAP表示包括所有的帧(图像)的平移、旋转和缩放改变的仿射变换。由此，通过检测特征点FP并确定全局仿射参数GAP来补偿检测到的抖动运动，视频图像的质量可被提闻。
[0075]图3是示出根据本发明构思的示例性实施例的确定全局仿射参数GAP的方法的流程图。
[0076]参考图2和图3，特征点检测单元110和点矢量计算单元120基于重建的块数据MBi和解码信息DINF来计算特征点FP的点运动矢量PMV，其中，特征点FP表示在帧(图像)中包括的物体的边缘和拐角。特征点检测单元110通过分析重建的块数据MBi来检测特征点FP (S410)。并且，点矢量计算单元120基于宏块的块运动矢量MVi来计算特征点FP的点运动矢量PMV (S430)，其中，块运动矢量MVi被包括在来自解码电路20的解码信息DINF中。在示例性实施例中，特征点FP的检测和点运动矢量PMV的计算可以以宏块为单位被一起执行。在另一个示例性实施例中，特征点FP的检测可贯穿一个整个帧来执行，然后，可针对在该一个帧中的特征点FP依次计算点运动矢量PMV。特征点FP的检测和点运动矢量PMV的计算可按照光栅扫描顺序来执行，将参考图4、图5和图6对此进行描述。
[0077]仿射参数计算单元130和轨迹单元140可基于点运动矢量PMV以整个帧为单位来确定全局仿射参数GAP (S450)。
[0078]图4、图5和图6是根据本发明构思的示例性实施例的用于描述基于光栅扫描的方案的视频帧的部分的示图，该基于光栅扫描的方案用于检测特征点和/或计算点运动矢量。
[0079]图4示出针对帧(包括mXn个宏块的帧，其中，m和η都是大于I的整数)的第一行中的宏块MB (0，0)到MB (O, η)的特征点FP的检测。图5示出针对帧的第二行中的宏块MB (1，0)到MB (1，η)的特征点FP的检测。图6示出针对帧的最后一行中的宏块MB Cm,O)到MB (m, η)的特征点FP的检测。
[0080]如图4、图5和图6所示，可通过按照光栅扫描顺序来分析每个帧中的mXn个宏块的重建的块数据MBi，以执行特征点FP的检测以及检测到的特征点FP的点运动矢量PMV的计算。按照光栅扫描顺序，可从第一行到最后一行，在每一行中从左向右，从第一宏块MB(0，O)到最后一个宏块MB (m，n)，来扫描和分析这些宏块。可使用各种常规的边缘和拐角检测方法来执行特征点FP的检测。将参考图10来进一步描述点运动矢量PMV的计算。
[0081]特征点FP的检测可部分地基于相邻点或相邻宏块的像素数据来执行。因此，如图4的底部的关键处中所指示的，可设置预定尺寸WXW的窗口。尺寸W大于宏块的边尺寸。即使当前宏块的所有重建的块数据被接收到，FP可检测面积仍可被限于当前宏块的一部分，并且可延迟对当前宏块的其他部分的分析，直到接收到下一个相邻宏块的数据为止。
[0082]图7是示出根据本发明构思的示例性实施例的确定是否执行特征点的检测的方法的流程图。
[0083]图7示出针对一个帧来确定是否执行特征点的检测的方法。可针对被依次解码的多个帧中的每一个来依次执行相同的处理。
[0084]参考图2和图7，点检测单元110从解码电路20接收(S210)指示本帧或者当前帧的编码模式的帧类型FT。每个帧都可通过帧类型FT被认定为帧内帧(I帧)类型、预测帧(P帧)类型和双向预测帧(B帧)类型中的一种。每个帧内(I)帧在不参考其它帧的情况下被编码和解码，每个P帧参考先前帧中的至少一个帧被编码和解码，每个B帧参考先前帧和后续帧中的至少一个帧被编码和解码。
[0085]点检测单元110基于帧类型FT来确定本帧是否是I帧。如果本帧是I帧(Sll:是)，则可省略特征点的检测(S415)和点运动矢量的计算。如果本帧不是I帧(S411:否)(即，当本帧是P帧或B帧时)，则点检测单元110接收本宏块的重建的块数据MB1、块类型BTi和残差块数据RBi (S220)。点检测单元110接下来基于块类型BTi来确定本宏块的编码模式是否是帧间模式(S412)。如果本宏块的编码模式是帧内模式(S412:是)，则可省略特征点的检测(S415)和点运动矢量的计算。如果本宏块的编码模式不是帧内模式(S412:否)(即，当本宏块的编码模式是帧间模式时)，则点检测单元110计算本宏块的残差块数据RBi的幅值RSDi。例如，点检测单元110可计算本宏块的残差块数据中的像素数据的绝对值，并计算这些绝对值的和，以将该和确定为本宏块的残差块数据的幅值。
[0086]点检测单元110将残差块数据RBi的幅值RSDi与参考值TH进行比较(S414)。如果本宏块的残差块数据RBi的幅值RSDi大于参考值TH (S414:是)，则可省略特征点的检测和点运动矢量的计算。如果本宏块的残差块数据RBi的幅值RSDi等于或小于参考值TH(S414:否)，则点检测单元110执行如上所述的特征点的检测和点运动矢量的计算。对下一个宏块重复以上处理(S417)，直到本帧中的所有宏块都已被分析(S416:是)。
[0087]由此，可基于指示本帧的编码模式的帧类型FT并基于指示本宏块的编码模式的块类型BTi，来选择性地执行特征点的检测和/或运动矢量的计算，其中，帧类型FT和块类型BTi被包含在来自解码电路20的解码信息DINF中。
[0088]图8是示出根据本发明构思的示例性实施例的用于描述决定的对检测特征点的省略的示图。
[0089]当图8中的宏块MB (1，1)是帧内块时或者当宏块MB (1，I)是具有相对大的残差块数据的幅值RDSi的帧间块时，特征点运动矢量PMV的计算的值可不被信任。在这种情况中，如参考图7所述，针对宏块MB (1，1)，可省略特征点FP的检测和点运动矢量PMV的计算。由此，通过省略针对I帧、帧内宏块和某些帧间宏块的特征点FP的检测和运动矢量PMV的计算，可减少处理的数据的计算量，从而提高后处理电路和包括该后处理电路的视频解码器的运算速度。
[0090]图9是示出根据本发明构思的示例性实施例的使用空间权重值来计算特征点运动矢量的方法的流程图，并且图10是用于描述在图9的方法中使用的空间权重值的示例的示图。
[0091]参考图2、图9和图10，针对包括在本宏块MBe中的每个特征点FP，矢量计算单元120提取本宏块MBe以及邻近本宏块MBe的相邻宏块MBa、MBb, MBc和MBd的块运动矢量Mve、MVa、MVb、MVc和MVd (S432)。相邻宏块MBa、MBb、MBc和MBd的集合是与参考图4、图5和图6所述的光栅扫描方案兼容的示例。相邻宏块的集合可根据用于检测特征点的扫描方案而变化。
[0092]块运动矢量MVi可以以预测运动矢量(PMVi)和运动矢量差MVDi的形式来提供。跳过模式的宏块满足MVi=PMVi,并且帧间模式的宏块满足MVi=MVDi+PMVi。
[0093]矢量计算单元120计算表示每个特征点FP与提取的块运动矢量MVa、MVb、MVc,MVd和MVe之间的空间相关性的空间权重值Wa、Wb、Wc、Wd和We (S434 )。例如，空间权重值Wa、Wb、Wc、Wd和We可被计算为在每个特征点FP与参考宏块的中心点以及相邻宏块的中心点之间的距离 Da、Db、Dc、Dd 和 De 的倒数值 Wa=l/Da、Wb=l/Db、Wc=l/Dc、Wd=l/Dc 和 We=I/De0
[0094]矢量计算单元120使用空间权重值Wa、Wb、Wc, Wd和We来计算提取的块运动矢量 MVa、MVb、MVc、MVd 和 MVe 的加权平均值(Wa*MVa+Wb*MVb+Wc*MVc+Wd*MVd+We*MVe) /(ffa+ffb+ffc+ffd+ffe)，以将该加权平均值确定为每个特征点的点运动矢量PMV (S436)。
[0095]图11是示出根据本发明构思的示例性实施例的使用时间权重值和空间权重值来计算点运动矢量的方法的流程图，图12是示出有规律地设置的画面的群组(GOP)的示例的示图，图13和图14是用于描述在图11的方法中使用的时间权重值的示例的示图。
[0096]首先，参照图11来描述帧类型的设置。虽然图11示出了通过有规律地分配I画面的具有正常大小N的GOP的有规律的设置，但是也可无规律地设置GOP的大小和结构。在本公开中，画面可与逐行扫描方案中的帧或隔行扫描方案中的场相应。
[0097]GOP的大小可通过分配的I画面的间隔来确定，并且，GOP的结构可通过分配的P画面和/或B画面的排列来确定。可通过P和/或B图片的恰当的排列来减少编码后的数据的比特数。因此，通过限制GOP的大小(即，通过有规律地或无规律地分配在不需要参考其它画面的情况下被编码的I画面)可防止参考其它画面被编码的帧间画面以及通过连续的帧间画面的误差传播。
[0098]图12中的画面顺序计数POC表示显示顺序，并且根据GOP的结构，该显示顺序可不与编码顺序不同。第一画面(被分配为I画面)到第N个画面形成第一画面群组G0P1。并且，第N+1画面(被分配为下一个I画面)到第2N个画面形成第二画面群组G0P2。以相同的方式，从第2N+1个画面开始的N个画面形成第三画面群组G0P3。
[0099]因为参考画面根据画面类型而不同，因此该显示顺序可以与编码顺序不同。例如，P型的第四画面必须在B型的第二画面和第三画面之前被解码，然后，第二画面和第三画面可参考解码后的第四画面来解码。
[0100]根据H.264标准，宏块的可用的编码模式和解码模式可被主要地分成帧间模式和帧内模式。帧间模式可包括五个运动补偿模式:跳过、16X16、8X16、16X8和8X8。并且，8X8运动补偿模式可包括针对每个8X8子块的三个子模式:8X4、4X8和4X4。帧内模式可包括四个16X 16帧内预测模式和九个4X4帧内预测模式。
[0101]参考图2、图10到图14，针对在本宏块MBe中包括的每个特征点FP，矢量计算单元120提取本宏块MBe以及邻近本宏块MBe的相邻宏块MBa、MBb、MBc和MBd的块运动矢量Mve、MVa、MVb、M Vc 和 MVd (S441)。
[0102]矢量计算单元120计算表示每个特征点FP与相邻宏块的块运动矢量MVa、MVb、MVc和MVd之间的时间相关性的时间权重值Ta、Tb、Tc和Td (S442 )。例如，时间权重值Ta、Tb、Tc和Td可被计算为包括本宏块的本帧的帧编号与包括相邻宏块的其它帧的帧编号之间的差的倒数值。如果如图13所示特征点FP位于P0C=h的P帧中并且被参考的宏块RMB位于P0C=k的先前的I或P帧中，则时间权重可被设置为帧编号h与k之间的差(h-k)的倒数值I/ (h-k)。如果如图14所示特征点FP位于P0C=r的B帧中并且被参考的宏块RMBl位于POC=S的先前的I或P帧中，则时间权重可被设置为帧编号r与s之间的差(r-s)的倒数值I/ (r-s)。以相同方式,如果如图14所示特征点FP位于P0C=r的B帧中并且被参考的宏块RMB2位于P0C=q的后续的I或P帧中，则时间权重可被设置为帧编号q与r之间的差(q-r)的倒数值I/ (q-r)0本宏块MBe的块运动矢量MVe的时间权重值Te可被设置为
O
[0103]矢量计算单元120通过使用时间权重值来调整提取的块运动矢量以计算被缩放的块运动矢量 SMVa=Ta*MVa、SMVb=Tb*MVb, SMVc=Tc*MVc、SMVd=Td*MVd 和 SMVe=l*MVe
(5443)。
[0104]如参考图10所述,矢量计算单元120还计算表示在每个特征点FP与提取的块运动矢量MVa、MVb、MVc, MVd和MVe之间的空间相关性的空间权重值Wa、Wb、Wc、Wd和We
(5444)。
[0105]矢量计算单元120使用空间权重值Wa、Wb、Wc、Wd和We来计算(S445)被缩放的块运动矢量 SMVa、SMVb、SMVc、SMVd 和 SMVe 的加权平均值(Wa*SMVa+Wb*SMVb+Wc*SMVc+Wd*SMVd+ffe*SMVe) / (ffa+ffb+ffc+ffd+ffe)，以将该加权平均值确定为每个特征点的点运动矢量PMV。
[0106]可使用参考图9到图14描述的空间权重值Wa、Wb、Wc、Wd和We和/或时间权重值Ta、Tb、Tc、Td和Te来准确地确定点运动矢量PMV。
[0107]图15是示出根据本发明构思的示例性实施例的计算全局仿射参数GAP的方法的流程图，图16是根据本发明构思的示例性实施例的用于描述通过特征点的分组来计算全局仿射参数的方法的示图。
[0108]参考图2、图15和图16,仿射参数计算单元130将本帧中的特征点分组到多个点群组中(S451)。图16示出第一点群组PGl和第二点群组PG2中的作为箭头的点运动矢量的分布的非限制性示例。可不同地确定点群组的数量和形状。
[0109]仿射参数计算单元130基于特征点的点运动矢量在点群组(例如，PGl和PG2)中选择参考点群组(S453)，从而使得被选择的参考点群组与帧(图像)中的背景相应。例如，仿射参数计算单元130计算点群组的分布值，从而使得每个分布值都表示在每个点群组中的特征点的点运动矢量的方向和幅值分布，并将分布值与参考值进行比较。当点群组的分布值小于参考值时，仿射参数计算单元130将该点群组确定(选择)为参考点群组。在图16的示例中，可将具有较小分布值的第一点群组PGl确定为参考点群组。随着分布值减小，点群组与背景相应的可能性增加。相反，随着分布值减小，点群组与在背景中移动的物体相应的可能性增加。
[0110]仿射参数计算单元130基于在参考点群组中包括的特征点的点运动矢量来计算本帧的仿射参数AP (S455)。因此，通过选择背景并且排除移动的物体，可准确地计算仿射参数AP。
[0111]在示例性实施例中，轨迹单元140基于计算的本帧和至少一个先前帧的仿射参数AP来估计仿射参数(S457)。轨迹单元140可将估计的仿射参数提供作为用于补偿后续帧的重建的块数据的全局仿射参数GAP (S459)。
[0112]在另一个示例性实施例中，轨迹单元140可被省略。在这种情况中，计算的本帧的仿射参数AP可被提供作为用于补偿后续帧的重建的块数据的全局仿射参数GAP。
[0113]图17是示出根据本发明构思的示例性实施例的提供稳定化的块数据的方法的流程图，图18是示出仿射变换的示例的示图。
[0114]参考图2、图17和图18，仿射运动补偿单元510基于全局仿射参数GAP来计算补偿仿射参数CAP (S610)，其中，补偿仿射参数CAP表示由全局仿射参数GAP表示的仿射变换的逆变换。通常，仿射变换可被表示为2X2矩阵，并且全局仿射参数可为该矩阵的分量。在这种情况中，该逆变换可被表示为该2X2矩阵的逆矩阵，并且补偿仿射参数CAP可为该逆矩阵的分量。
[0115]可基于补偿仿射参数CAP和重建的块数据MBi来计算稳定化的块数据SBi。
[0116]例如，仿射运动补偿单元510可基于补偿仿射参数CAP来将像素的像素坐标变换为像素的补偿坐标(S630)。在图18中，Pl到P8和Pc指示像素坐标，并且Ρi到P8’和Pc’指示Pl至P8和Pc的相应的补偿坐标。使用补偿仿射参数CAP，手抖动噪声可被补偿，其中，在图18中，手抖动噪声由平移TR和旋转RT来表示。尽管这种改变未在图18中按比例表示，但是示出的全局仿射参数GAP代表包括所有的帧(图像)的平移、旋转和缩放改变的仿射变换。
[0117]如进一步参考图19和图20所描述的，仿射运动补偿单元510基于被映射到补偿坐标Ρi到P8’和Pc’的重建的块数据MBi来计算被映射到像素坐标Pl到P8和Pc的稳定化的块数据SBi中的每一个像素数据(S650)。
[0118]图19是示出根据本发明构思的示例性实施例的计算稳定化的块数据中的每一个像素数据的方法的流程图，图20是用于描述通过图19的方法进行的像素数据的补偿的示图。
[0119]参考图2、图19和图20，仿射运动补偿单元510设置邻近(例如，围绕)每个当前像素P的相邻像素的补偿群组。图20示出在该补偿群组中的九个相邻像素的非限制性示例，并且相邻像素的数量可被不同地选择。在图20中，P指示一个像素的当前像素坐标，Pa、Pb、Pc、Pd、Pe、Pf、Pg、Ph和Pi指示相邻像素的补偿坐标。例如，可基于像素坐标与补偿坐标之间的距离来设置补偿群组。
[0120]仿射运动补偿单元510计算与每个当前像素的像素坐标P与在其补偿组中的相邻像素的补偿坐标Pa、Pb、Pc、Pd、Pe、Pf、Pg、Ph和Pi之间的差a、b、C、d、e、f、g、h和i的倒数值 l/a、l/b、l/c、l/d、l/e、l/f、l/g、l/h 和 1/i 相应的权重值 Wa=l/a、Wb=l/b、Wc=l/c、Wd=I/d、ffe=l/e> Wf=I/f > Wg=I/g、Wh=I/h 和 Wi=l/i (S654)。
[0121]仿射运动补偿单元510计算被映射到补偿群组中的补偿坐标Pa、Pb、Pc、Pd、Pe、Pf、Pg、Ph 和 Pi 的重建的块数据 D (Pa),D (Pb),D (Pc),D (Pd),D (Pe),D (Pf),D (Pg)、D (Ph)和 D (Pi)的加权平均值 SUM[Wk*D (Pk) ]/SUM[ffk] (k=a, b, c, d, e, f, g, h, i)(S656)，以将该加权平均值确定为被映射到像素坐标P的稳定化的块数据的每个像素数据D (P)。
[0122]图21是根据本发明构思的示例性实施例的包括视频解码器的通信系统的框图。
[0123]参考图21，通信系统900包括发送器910、接收器920和信道930，其中发送器910包括编码器911，接收器920包括解码器921，并且信道930在发送器910和接收器920之间。
[0124]发送器910将由编码器911根据诸如H.264的预定标准编码的发送比特流TBS输出到信道930。接收器920从信道930接收与发送比特流TBS相应的接收比特流RBS，并且解码器921对接收比特流RBS执行解码处理。
[0125]解码器911包括根据本发明构思的示例性实施例的图像稳定化后处理器(ISPP)921。如上所述，后处理器921基于重建的块数据MBi和解码信息DINF来确定全局仿射参数GAP，并通过补偿重建的块数据MBi的与仿射变换相应的仿射运动，来提供基于全局仿射参数GAP的稳定化的块数据SBi，其中，全局仿射参数GAP表示帧(图像)的仿射变换。
[0126]信道930可以是具有有限带宽的无线介质。在无线信道的情况中，发送比特流TBS被转换为适用于无线通信的格式，并且可由接收器920基于接收比特流RBS来恢复原始比特流TBS。在任一情况中，在发送比特流TBS与接收比特流RBS之间都会存在数据丢失(例如，比特误差)。根据H.264的灵活宏块排序(FM0)，宏块以预定的条带群组顺序被发送以增强丢失的数据的恢复。解码器921可使用在一个条带群组中的宏块来恢复另一个条带群组或宏块的丢失。
[0127]图22是示出根据本发明构思的示例性实施例的包括视频解码器的计算机系统的框图。
[0128]参考图22，计算机系统1000包括:处理器1010、存储器装置1020、存贮器装置1030、输入/输出装置1040、电源1050和图像传感器1060。尽管未在图22中示出，但是计算机系统1000还可包括与显卡、声卡、存储器卡、通用串行总线(USB)装置和/或其它电子装置通信的已知类型的端口。
[0129]处理器1010可执行各种计算和任务。处理器1010包括视频编码器/解码器(编解码器)1011。编解码器1011可包括视频解码器和/或用于执行根据参考图1到图20描述的示例性实施例的方法的可执行代码。另外，编解码器1011可包括用于对被提供到视频解码器的数据进行编码的视频编码器。在示例性实施例中，视频编码器和视频解码器可被合并在同一半导体集成电路和/或相应的软件中。根据各实施例，处理器1010可以是微处理器或中央处理单元(CPU)。处理器1010经由地址总线、控制总线和/或数据总线与存储器装置1020、存贮器装置1030以及输入/输出装置1040进行通信。在某些示例性实施例中，处理器1010可被连接到外部总线，诸如外围组件互连(PCI)总线。存储器装置1020存储用于操作计算机系统1000的数据。例如，存储器装置1020可使用动态随机存取存储器(DRAM)装置、移动DRAM装置、静态随机存取存储器(SRAM)装置、相变随机存取存储器(PRAM)装置、铁电随机存取存储器(FRAM)装置、阻变式随机存取存储器(RRAM)装置和/或磁性随机存取存储器(MRAM)装置来实现。存储装置可包括:固态驱动器(SSD)、硬盘驱动器(HDD)、致密盘只读存储器(⑶-ROM)等。输入/输出装置1040可包括人类用户输入装置(例如，键盘、键区、鼠标等)和输出装置(例如，打印机、显示装置等)。电源1050供应用于操作计算机系统1000的电压。
[0130]图像传感器1060经由总线或其它通信链路与处理器1010进行通信。图像传感器1060可与处理器1010集成到一个半导体芯片中，或者图像传感器1060和处理器1010可以被实现为独立的芯片。
[0131]计算机系统1000可按各种形式封装，诸如，层叠封装件(PoP)、球栅阵列(BGA)、芯片级封装件(CSP)、塑料引线芯片载体(PLCC)、塑料双列直插式封装(PDIP)、裸片格栅封装件(Die in Waffle Pack)、裸片级晶片形式(Die in Wafer Form)、板上芯片(COB)、陶瓷双列直插式封装件(CERDIP)、塑料方形扁平封装(公制)(MQPF)、薄型方形扁平封装(TQFP)、小外型集成电路(SOIC)、窄间隔小外型封装件(SSOP)、薄型小外型封装件(TSOP)、封装件中系统(SIP)、多芯片封装件(MCP)、晶片级制造封装件(WFP)或晶片级加工的堆叠式封装件(WSP)。
[0132]计算机系统1000可以是使用三维图像传感器的任意计算机系统。计算机系统1000可包括:数字相机、移动电话、智能电话、便携式多媒体播放器(PMP)、个人数字助理(PDA)等。
[0133]图23示出根据本发明构思的示例性实施例的图22的计算机系统中可采用的接口的框图。
[0134]参考图23，计算机系统1100可由使用或支持移动行业处理器接口(MIPI?)接口的数据处理装置来实现。计算机系统1100可包括:应用处理器1110、三维图像传感器1140、显示装置1150等。应用处理器1110的相机串行接口(CSI)主机1112经由相机串行接口(CSI)与三维图像传感器1140的CSI装置1141进行串行通信。CSI主机1112包括串并转换器(DES)，并且CSI装置1141包括串行器(SER)。应用处理器1110的显示串行接口(DSI)主机1111经由显示串行接口(DSI)与显示装置1150的DSI装置1151执行串行通信。
[0135]DSI主机1111包括串行器(SER)，并且DSI装置1151包括串并转换器(DES)。计算机系统1100还可包括执行与应用处理器1110的通信的射频(RF)芯片1160。计算机系统1100的物理层(PHY) 1113和RF芯片1160的物理层(PHY) 1161可基于MIPI? DigRFSM来执行数据通信。应用处理器1110还可包括控制PHY1161的数据通信的DigRFSM主装置1114。
[0136]计算机系统1100还可包括:全球定位系统(GPS)1120、存贮器1170、MIC1180、DRAM装置1185和扬声器1190。另外，计算机系统1100可使用超宽带(UWB) 1210、无线局域网(WLAN) 1220、微波接入全球互操作性(WIMAX) 1230等来执行通信。但是，计算机系统1100的结构和接口并不限于此。
[0137]正如本领域技术人员将认识到的，本发明的实施例可被实现为专用硬件系统或芯片、方法、计算机程序产品或者在一个或更多个计算机可读介质中实现的计算机程序产品，其中，所述一个或更多个计算机可读介质具有被实现在其上的计算机可读程序代码。该计算机可读程序代码可被提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器。该计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。该计算机可读存储介质可以是任何有形介质，该有形介质可包含或存储由指令执行系统、设备或装置使用的或与结合的程序。
[0138]本发明构思的某些示例性实施例可被应用于对视频数据进行编码和解码的任意装置和/或系统。本发明构思的某些特定的示例性实施例可被应用于可与诸如MPEG、H.261、H.262,H.263和H.264的标准兼容的视频解码器。本发明构思的某些示例性实施例可适用于某些【技术领域】，诸如=CATV (光网络、铜线等上的有线电视)、DBS (直播卫星视频业务)、DSL (数字用户线路视频服务)、DTTB (数字地面电视广播)、ISM (交互式存储介质(光盘等))、MMM (多媒体邮件)、MSPN (通过分组网络进行的多媒体业务)、RTC (实时会话业务(视频会议、可视电话等))、RVS (远程视频监控)、SSM (串行存储介质(数字VTR等))。
[0139]上文是对本发明构思的示例性实施例的说明，不可被理解为对本发明的限制。尽管已经描述了一些示例性实施例，但是本领域技术人员将会容易地认识到，在不实质性地脱离本发明构思的新颖教导和优点的情况下，对所述示例性实施例的许多修改都是可能的。因此，所有这些修改都意图被包括在由权利要求规定的本发明构思的范围内。因此，应当理解，上文是各种示例性实施例的说明，并且本发明构思不被理解为受限于公开的特定示例性实施例，并且，对公开的示例性实施例以及其它示例性实施例的修改意图被包括在权利要求的范围内。
【权利要求】
1.一种对视频进行稳定化的方法，包括: 从解码电路以宏块为单位接收视频帧的重建的块数据和解码信息； 基于重建的块数据和解码信息来提供全局仿射参数，其中，所述全局仿射参数表示一个帧的仿射变换；以及 通过补偿重建的块数据的与仿射变换相应的仿射运动，提供基于全局仿射参数的稳定化的块数据。
2.如权利要求1所述的方法，其中，全局仿射参数表示包括所有的帧的平移、旋转和缩放改变的仿射变换。
3.如权利要求1所述的方法，其中，提供全局仿射参数的步骤包括: 基于重建的块数据和解码信息来计算特征点的运动矢量，其中，所述特征点表示在帧中包括的物体的边缘或拐角；以及 基于特征点运动矢量以帧为单位确定全局仿射参数。
4.如权利要求3所述的方法，其中，通过基于光栅扫描顺序分析每个帧中的多个宏块的重建的块数据，来计算特征点运动矢量。
5.如权利要求3所述的方法，其中，计算特征点运动矢量的步骤包括: 通过分析重建的 块数据来检测特征点；以及 基于宏块的块运动矢量来计算特征点的运动矢量，其中，块运动矢量被包括在来自解码电路的解码信息中。
6.如权利要求5所述的方法，其中，检测特征点的步骤包括: 基于宏块的编码模式针对每个宏块确定是否执行特征点的检测。
7.如权利要求6所述的方法，其中，确定是否执行特征点的检测的步骤包括: 省略针对编码是帧内模式的宏块执行特征点的检测的过程。
8.如权利要求6所述的方法，其中，确定是否执行特征点的检测的步骤包括: 计算编码模式是帧间模式的每个宏块的残差块数据的幅值，其中，所述残差块数据被包括在解码信息中；以及 如果宏块的残差块数据的幅值大于参考值，则省略针对所述宏块执行特征点的检测的过程。
9.如权利要求8所述的方法，其中，计算残差块数据的幅值的步骤包括: 计算每个宏块的残差块数据中的像素数据的绝对值；以及 计算所述绝对值的和，以将该和用作每个宏块的残差块数据的幅值。
10.如权利要求3所述的方法，其中，如果当前帧是帧内帧，则省略计算特征点运动矢量的过程。
11.如权利要求5所述的方法，其中，计算特征点的运动矢量的步骤包括: 针对包括在当前宏块中的每个特征点，提取当前宏块和邻近当前宏块的相邻宏块的块运动矢量； 计算表示在每个特征点与提取的块运动矢量之间的空间相关性的空间权重值；以及使用空间权重值来计算提取的块运动矢量的加权平均值，以将所述加权平均值确定为每个特征点的运动矢量。
12.如权利要求11所述的方法，其中，空间权重值被计算为在每个特征点与参考宏块的中心点以及相邻宏块的中心点之间的距离的倒数值。
13.如权利要求5所述的方法，其中，计算特征点的运动矢量的步骤包括: 针对包括在当前宏块中的每个特征点，提取当前宏块的块运动矢量和邻近当前宏块的相邻宏块的块运动矢量； 计算表示在每个特征点和相邻宏块的块运动矢量之间的时间相关性的时间权重值；以及 通过使用时间权重值来调整提取的块运动矢量以计算被缩放的块运动矢量； 计算表示在每个特征点与提取的块运动矢量之间的空间相关性的空间权重值；以及使用空间权重值来计算被缩放的块运动矢量的加权平均值，以将所述加权平均值确定为每个特征点的点运动矢量。
14.如权利要求13所述的方法，其中，时间权重值被计算为在包括当前宏块的当前帧的帧编号与包括相邻宏块的其它帧的帧编号之间的差的倒数值。
15.如权利要求3所述的方法，其中，以帧为单位确定全局仿射参数的步骤包括: 将当前帧中的特征点分组到多个点群组中； 基于特征点的点运动矢量，在点群组中选择参考点群组；以及 基于在参考点群组包括中的特征点的点运动矢量来计算当前帧的仿射参数。
16.如权利要求15所述的方法，其中，确定参考点群组的步骤包括: 计算点群组的分布值，其中，每个分布值都表示在每个点群组中的特征点的点运动矢量的方向和幅值分布； 将分布值与参考值进行比较；以及 当点群组的分布值小于参考值时，将所述点群组确定为参考点群组。
17.如权利要求15所述的方法，其中，以帧为单位确定全局仿射参数的步骤还包括: 将计算的当前帧的仿射参数提供作为用于补偿后续帧的重建的块数据的全局仿射参数。
18.如权利要求15所述的方法，其中，以帧为单位确定全局仿射参数的步骤还包括: 基于计算的当前帧和至少一个先前帧的仿射参数来估计仿射参数；以及 将估计的仿射参数提供作为用于补偿后续帧的重建的块数据的全局仿射参数。
19.如权利要求1所述的方法，其中，提供稳定化的块数据的步骤包括: 基于全局仿射参数来计算补偿仿射参数，其中，所述补偿仿射参数表示由全局仿射参数表示的仿射变换的逆变换；以及 基于补偿仿射参数和重建的块数据来计算稳定化的块数据。
20.如权利要求19所述的方法，其中，计算稳定化的块数据的步骤包括: 基于补偿仿射参数来将像素的像素坐标变换为像素的补偿坐标；以及 基于被映射到补偿坐标的重建的块数据来计算被映射到像素坐标的稳定化的块数据中的每个像素数据。
21.如权利要求20所述的方法，其中，计算稳定化的块数据中的每个像素数据的步骤包括: 设置邻近每个像素的相邻像素的补偿群组； 计算与在每个像素的像素坐标与在补偿群组中的相邻像素的补偿坐标之间的差的倒数值相应的权重值；以及 计算被映射到补偿组中的相邻像素的补偿坐标的重建的块数据的加权平均值，以将所述加权平均值确定为被映射到像素坐标的稳定化的块数据中的每个像素数据。
22.一种视频解码器，包括: 解码电路，被配置为以宏块为单位提供重建的块数据和解码信息；以及后处理电路，被配置为: 基于重建的块数据和解码信息来确定全局仿射参数，其中，所述全局仿射参数表不中贞的仿射变换； 通过补偿重建的块数据的与仿射变换相应的仿射运动，提供基于全局仿射参数的稳定化的块数据。
23.如权利要求22所述的视频解码器，其中，后处理电路包括: 仿射运动估计块，被配置为基于重建的块数据和解码信息来提供全局仿射参数；以及 运动补偿块，被配置为提供基于全局仿射参数的稳定化的块数据。
24.如权利要 求23所述的视频解码器，其中，仿射运动估计块被被配置为以帧为单位更新全局仿射参数。
25.如权利要求23所述的视频解码器，其中，来自解码电路的重建的块数据的提供以及来自运动补偿块的稳定化的块数据的提供被执行为以宏块为单位的流水线处理。
26.一种视频解码器的后处理单元，包括: 特征点检测单元，被配置为基于从解码电路以宏块为单位提供的重建的块数据和解码信息来检测特征点，其中，所述特征点表示在帧中包括的物体的边缘或拐角； 点矢量计算单元，被配置为基于宏块的块运动矢量来计算特征点的点运动矢量，其中，所述块运动矢量被包括在解码信息中； 仿射参数计算单元，被配置为基于点运动矢量以帧为单位计算仿射参数； 轨迹单元，被配置为基于针对至少一个帧的计算的仿射参数来估计全局仿射参数，其中，所述全局仿射参数表示帧的仿射变换；以及 仿射运动补偿单元，被配置为通过补偿重建的块数据的与仿射变换相应的仿射运动，提供基于全局仿射参数的稳定化的块数据。
27.—种对视频进行稳定化的方法，包括: 从解码电路以宏块为单位接收视频帧的重建的块数据和解码信息； 基于重建的块数据和解码信息来计算特征点的运动矢量，其中，所述特征点表示在帧中包括的边缘或拐点，其中，通过以光栅扫描顺序分析帧中的多个宏块的重建的块数据，来计算特征点运动矢量。
28.根据权利要求27所述的方法，还包括: 基于特征点运动矢量以帧为单位来确定全局仿射参数，其中，所述全局仿射参数表示帧的仿射变换。
【文档编号】H04N19/114GK104053001SQ201410099194
【公开日】2014年9月17日 申请日期:2014年3月17日 优先权日:2013年3月15日
【发明者】权宁圭, 郑憿湲, 山内英树, 李雄熙, 郑咏凡 申请人:三星电子株式会社