专利名称：适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置及解码装置和用于运 ...的制作方法
技术领域：
本发明涉及一种通过以块为单位进行运动估计来体现运动补偿的视频编解码器(CODEC)的运动检索区域(Motion Search)的生成方法,更详细地涉及,对在现有的运动估计中使用的运动检索区域，通过在现有的运动检索区域以外，追加制作添加由于摄像机等影像输入装置的运动或者事物的运动等而产生的运动模糊噪音(motion blurnoise)的运动检索区域和去除该运动模糊噪音的运动检索区域，在多个运动检索区域中选择效率更好的运动检索区域，来能够提高视频编解码器的压缩效率的方法。
背景技术：
一般，适用通过运动估计的运动补偿方法的视频编码器，如图I所示，包括减法器10，其用于求得输入的影像和经过运动补偿的影像信号之间的差分信号；变换部(transform) 20，其根据预定的既定函数，对在上述减法器10中求得的差分信号进行变换；量化部(Quantization) 30,其对在变换部20变换的影像信号进行量化；编码部(entropycoding)40，其对在量化部30量化的影像信息进行编码；以及运动补偿单元，其对在量化部30量化的影像信号进行反向信号处理，由此执行运动补偿。运动补偿单元包括反量化部(Inverse Quantization) 50,其对在量化部30量化的影像信号进行反量化；反变换部60，其对在变换部20变换的信号进行反变换；加法器70，其加上运动补偿的影像，用于生成从在反变换部60变换的影像中复原的影像；帧存储器80;运动估计部90，其从与以前影像或输入的未来影像之间的参考影像中估计运动，来生成运动矢量(mosion vector);以及运动补偿部100,其用于利用在运动估计部90生成的运动矢量来进行运动补偿。普通的视频编码方法以一张影像为单位分类为帧内(Intra-frame)和帧间(Inter-frame )，在帧内进行帧内宏块编码，在帧间将选择帧内宏块和帧间宏块中效率更好的宏块。帧间宏块编码从当前输入的影像的之前或者之后的影像中获取运动检索区域，执行运动估计(motion estimation),并将该运动检索区域的差分影像(residual frame)按变换(transform)及量化(Quantization)、熵编码的顺序来进行编码，由此提高压缩效率。在下一个影像需要有参考影像的情况下，在熵编码之前通过反量化及反变换(Inverse Transform)来生成复原影像(Recontructed frame),并将该复原影像用作参考影像。而且，在H. 264的情况下，在反变换部60之后形成去块滤波器(Deblockingfilter),以能够得到更加清晰的参考影像。在这里，变换部20在动态图像专家组4部分2 (MPEG4 part2)的情况下，使用离散余弦变换(DCT,Discrete Cosine Transform)作为变换,使用可变长编码(VLC,VariableLength Coding)作为编码部40的熵编码。在H. 264/高级视频编码(AVC)的情况下，使用整数变换(IntegerTransform)作为变换，使用基于上下文的自适应可变长编码(CAVLC)或者基于上下文的自适应二进制算术编码(CABAC)作为熵编码。并且，也会使用去块滤波器(Deblocking filter)。通常，用视频设备拍摄的结果影像的各帧由于摄像机的每秒帧数(FPS)及快门速度和拍摄设备的运动或手发抖等外部因素或者拍摄物的运动等原因，在相当数量的帧中产生的规定方向的运动模糊(Motion-Blur)有可能对影像整体造成运动模糊，也有可能只产生在某个特定部分。由于没有对这种现象的应对方案，因而会降低视频压缩效率。
发明内容
技术问题
在用视频拍摄设备拍摄时，由于拍摄设备的运动或者拍摄物的运动等外部因素，会产生影像的运动模糊。但是，这种运动模糊有可能发生在整个影像中，也有可能只发生在某个特定部分。因此，本发明的目的在于，以作为编码的单位的块为单位，通过运动模糊滤波器(Motion Blur Filter)和去运动模糊滤波器(MotionDeblur Filter)对运动检索区域执行滤波，以块为单位，制作多个运动检索区域，由此与对整个影像执行滤波的情况相比，获得更高的压缩效率。解决问题的手段为此，本发明的利用参考影像执行运动估计的视频编码器，其特征在于，包括一个以上的多个运动模糊滤波器及去运动模糊滤波器，根据运动的程度及角度，对用于原来运动估计的块单位运动检索区域生成追加的参考影像的运动检索区域；帧存储器，分别对应于上述运动模糊滤波器及去运动模糊滤波器而设置；运动检索区域生成控制单元，其根据已设定的模糊模式选择运动模糊滤波器及去运动模糊滤波器，来对原来的运动检索区域生成追加的模糊模式运动检索区域；运动估计及模式选择控制单元，其对生成的运动检索区域和新追加的运动检索区域分别执行运动估计，并计算该运动估计过程的费用来选择要适用于运动补偿的模糊模式；以及运动补偿单元，其根据由运动估计及模式选择控制部所选择的模糊模式来执行运动补偿。如上所述的本发明的编码器的运动估计及补偿过程，其特征在于，包括模糊模式选择过程，设定用于根据运动程度及角度来对原来的参考影像生成追加的检索区域的模糊模式，并根据已设定的模糊模式来选择运动模糊滤波器及去模糊滤波器；滤波过程，通过基于所选择的模糊模式的运动模糊滤波器及去模糊滤波器来生成运动检索区域；运动估计过程，对原来的运动检索区域和通过上述滤波过程生成的运动检索区域进行运动估计；以及运动补偿过程，通过比较在运动估计后产生的费用，选择具有最小值的模糊模式来进行运动补偿。另一方面，本发明的执行运动补偿的视频解码器，其特征在于，包括滤波器选择控制单元，其从已解码的影像信号中抽取模糊模式信息，通过根据所抽取的模糊模式信息，选择运动模糊滤波器或去运动模糊滤波器来生成及控制运动检索区域；一个以上的多个运动模式滤波器及去运动模糊滤波器，用于生成运动检索区域；帧存储器，分别对应于上述运动模糊滤波器及去运动模糊滤波器而设置；运动补偿单元，其根据从解码的影像信息抽取的运动信息和所生成的运动检索区域，进行运动补偿。这种本发明的解码器的运动补偿过程，其特征在于，包括从已解码的影像信号中抽取模糊模式的过程；根据所抽取的模糊模式信息，通过运动模糊滤波器或者去运动模糊滤波器来生成运动检索区域的过程；根据所生成的运动检索区域进行运动补偿的过程。发明的效果本发明将当前视频编解码器中为了减少时间重复性(Temporalredundancy)而使用的运动估计及补偿的过程中用到的大多数参考影像的运动模糊现象，对块单位的参考影像的运动检索区域进行加减，由此与对整个影像的运动模糊现象进行加减的情况相比，减少更多的时间重复性，从而有效减少比特生成量，进而增加编码器的压缩效率。
本发明并不局限于在上述举例而提出的MPEG4、H. 264/AVC的情况，而是作为能够适用于执行所有帧间估计的视频编解码器的算法，就变换而言能够适用于除了离散余弦变换(DCT)以外的微波(Wavelet)等，就熵编码而言能够适用于具有多种算法的所有编解码器。
图I是表示普通的视频编码器的结构的框图。图2是表示本发明的适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置的结构的框图。图3是表示本发明的用于运动补偿的选择性运动检索区域决定方法的过程的图。图4是表示本发明的适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置的结构的框图。
具体实施例方式首先，参照附图2中所示的实施例，对重复的部分用相同的附图标记进行处理来对本发明的适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置如下进行说明。上述视频压缩编码装置包括减法器10，其用于求得输入的影像和经过运动补偿的影像信号之间的差分信号；变换部20，其根据预定的既定函数，对在上述减法器10中求得的差分信号进行变换；量化部30，其对在变换部20变换的影像信号进行量化；编码部40，其对在量化部30量化的影像信息进行编码；以及运动补偿单元，其对在量化部30量化的影像信号进行反向信号处理，由此执行运动补偿。运动补偿单元包括反量化部(Inverse Quantization) 50,其对在量化部30量化的影像信号进行反量化；反变换部60，其对在变换部20变换的信号执行反变换；加法器70，其加上运动补偿的影像，用于生成从在反变换部60变换的影像中复原的影像；帧存储器80 ;—个以上的多个运动模糊滤波器110及去运动模糊滤波器120，其根据运动程度及角度，对通过反变换部60反变换的原来参考影像的块单位运动检索区域生成追加的运动检索区域；模糊帧存储器130及去模糊帧存储器140，分别对应于上述运动模糊滤波器110及去运动模糊滤波器120而设置；运动检索区域生成控制单元150，其根据设定的模糊模式来选择运动模糊滤波器110及去运动模糊滤波器120，来生成运动检索区域；运动估计及模式选择控制部90’，其对所有从模糊帧存储器130及去模糊帧存储器140接收的所生成的运动检索区域和从帧存储器80接收的原来的参考影像的运动检索区域执行运动估计，并计算该运动估计过程的费用，来选择要适用于运动补偿的模式；以及运动补偿部100’，其根据由运动估计及模式选择控制部90’所选择的模式来执行运动补偿。对如上所述的本发明的动作过程进行详细说明，如下。如同在以往的背景技术中所表明，视频编码方法以一张影像为单位分类为帧内(Intra-frame)和巾贞间(Inter-frame),在巾贞内进行巾贞内宏块编码,在巾贞间将选择巾贞内宏块和帧间宏块中效率更好的宏块。帧间宏块编码从当前输入的影像的之前或者之后的影像中的参考影像中获取 运动检索区域，执行运动估计(motion estimation),并将该运动检索区域的差分影像(residual frame)按变换(Transform)及量化(Quantization)及熵编码的顺序来进行编码，由此提高压缩效率。这时，本发明考虑到在进行运动估计并进行运动补偿的过程中，由于在参考影像中可能出现的运动模糊而使压缩效率下降的问题，以参考影像的块为单位，对运动检索区域有意执行运动模糊和去运动模糊滤波，来以追加的块为单位制作多个追加的运动检索区域，对包括原来的运动检索区域在内的运动检索区域进行运动估计，来能够通过差分影像数据少的运动检索区域的运动估计值形成运动补偿。这考虑到运动模糊可能在整个影像中出现或者只在某个特定部分产生的问题，以便对作为视频编码单位的块单位的运动检索区域执行运动模糊和去运动模糊滤波，而不是对整个参考影像执行运动模糊和去运动模糊滤波，由此能够提高压缩效率。在运动检索区域生成控制部150中，根据内部已设定的程序模式，选择运动模糊滤波器110及去运动模糊滤波器120，来生成模糊模式。模糊模式信息由运动大小(长度、强度)、运动方向、滤波器的种类信息组成，通过选择η个运动模糊滤波器110和m个去运动模糊滤波器120来生成(n+m)个模糊模式。上述运动大小(长度、强度)用于设定要使用于滤波器的滤波器抽头的数量，运动方向是指横向、纵向、对角线方向等的滤波器抽头的方向(能够支持360度全方向)，滤波器的种类信息表示使用基于滤波器抽头的均匀(uniform)滤波器还是使用点扩散函数(PSF，PointSpread Function)滤波器等的信息。经过反变换部60复原的影像，通过帧存储器80传达到运动模糊滤波器110及去运动模糊滤波器120，并通过如上所述选择的运动模糊滤波器110及去运动模糊滤波器120滤波，来对复原的影像的块单位运动检索区域制作多个运动检索影像。之后，在运动估计及模式选择部90’中，对从帧存储器80、通过运动模糊滤波器110及去运动模糊滤波器120得到滤波并存储的模糊帧存储器130及去模糊帧存储器140传达的各运动检索区域进行运动估计，并计算各执行步骤的费用(cost)，以选择最佳的模式。图3表示如上所述的利用参考影像的运动估计过程，该运动估计过程包括运动模式选择过程，选择用于根据运动的大小(长度、强度)、运动的方向对原来参考影像的运动检索区域生成追加的运动检索区域的运动模糊滤波器及去模糊滤波器；滤波过程，根据所选择的模糊模式的运动模糊滤波器及去模糊滤波器来生成运动检索区域；运动估计过程，对原来运动检索区域和通过上述滤波过程生成的运动检索区域进行运动估计；以及运动补偿过程，通过比较在运动估计后产生的费用，选择具有最小值的模糊模式来进行运动补偿。就生成模糊模式而言，运动检索区域生成控制部150对原来的运动检索区域设定运动大小(强度、长度)、运动方向、滤波器的种类，并在运动模糊滤波器100设定η个模式，在去运动模糊滤波器120设定m个模式。以设定的η个模式制作添加各模式的模糊的动作检索区域，以m个模式制作去除各模式的模糊的动作检索区域。在运动估计及模式选择控制部90’中，与现有的运动检索区域一同执行n+m+1个运动估计，并通过计算各执行步骤的费用，来选择费用少的模式作为最佳模式。图4表示本发明的适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置的结构。 上述视频压缩解码装置包括解码部200，其对输入的流执行反熵编码(entropydecoding);反量化部210，其对在解码部200解码的影像信号执行反量化；反变换部220，其对经过反量化的影像信号反向执行编码过程中的变换过程；加法器230，其加上运动补偿的影像，用于生成复原影像；滤波器选择控制部240，其从通过解码部200解码的影像信号抽取模糊模式信息，并通过利用所抽取的信息选择及控制运动模糊滤波器250或去运动模糊滤波器260来生成运动检索区域；一个以上的多个运动模糊滤波器250及去运动模糊滤波器260，用于生成运动检索区域；多个帧存储器270，分别对应于运动模糊滤波器250及去运动模糊滤波器260而设置；以及运动补偿部280，其对从各帧存储器270传达的运动检索区域进行运动补偿。如上所述的本发明的解码器，其特征在于，能够从在本发明的编码器编码的影像信号抽取通过编码过程输入的模糊模式信息，并通过所抽取的信息生成参考影像，以能够实现运动补偿。上述过程包括从已解码的影像信号中抽取模糊模式的过程；根据所抽取的模糊模式，通过运动模糊滤波器或者去运动模糊滤波器来生成运动检索区域的过程；根据所生成的运动检索区域进行运动补偿的过程。解码器通过在解码部200对输入的流执行反熵编码，以使输入的流解码，并对其进行反量化、反变换来从运动补偿的影像中构成复原影像。这时，在滤波器选择控制部240中，从已解码的影像信号中抽取已输入的模糊模式信息。模糊模式信息以与编码器相设定好的形态存在于解码器的内部，从所抽取的模糊模式信息中选择是否进行运动模糊滤波还是进行去运动模糊滤波，并通过取得与运动大小(长度、强度)、方向(角度)、滤波器的种类相关的信息。通过上述信息，滤波器选择控制部240对已解码的参考影像的运动检索区域执行运动模糊滤波或者去运动模糊滤波，来得到添加或者去除运动模糊杂音的新的参考影像，并提供给运动补偿部280。运动补偿部280利用这种参考影像来执行运动补偿。
权利要求
1.一种适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置，其特征在于， 就适用通过运动估计的运动补偿方法的视频编码器而言，包括 一个以上的多个运动模糊滤波器及去运动模糊滤波器，对用于原来运动估计的块单位运动检索区域生成追加的运动检索区域； 帧存储器，分别对应于上述运动模糊滤波器及去运动模糊滤波器而设置； 运动检索区域生成控制单元，其根据已设定的模糊模式选择运动模糊滤波器及去运动模糊滤波器，来对原来的运动检索区域生成追加的模糊模式运动检索区域； 运动估计及模式选择控制单元，其对生成的运动检索区域和新追加的运动检索区域分别执行运动估计，并计算该运动估计过程的费用来选择要适用于运动补偿的模糊模式；以及 运动补偿单元，其根据由运动估计及模式选择控制部所选择的模糊模式来执行运动补m\-ΖΧ ο
2.根据权利要求I所述的适用利用运动检索区域的运动补偿方法的视频压缩编码装置，其特征在于，在上述运动检索区域生成控制单元内设定的模糊模式包含运动的大小(长度、强度)、运动方向及滤波器的种类信息。
3.一种用于运动补偿的选择性运动检索区域的决定方法，其特征在于， 就估计运动并根据所估计的运动来进行运动补偿的压缩编码装置的运动估计及运动补偿过程而言，包括 模糊模式选择过程，设定用于根据运动程度及角度来对原来的参考影像生成追加的运动检索区域的模糊模式，并根据已设定的模糊模式来选择运动模糊滤波器及去模糊滤波器； 滤波过程，通过基于所选择的模糊模式的运动模糊滤波器及去模糊滤波器来生成运动检索区域； 运动估计过程，对原来参考影像的运动检索区域和通过上述滤波过程生成的运动检索区域进行运动估计；以及 运动补偿过程，通过比较在运动估计后产生的费用，选择具有最小值的模糊模式来进行运动补偿。
4.根据权利要求3所述的用于运动补偿的选择性运动检索区域决定方法，其特征在于， 就上述模糊模式选择过程而言，模糊模式包含运动的大小(长度、强度)、运动的方向、滤波器的种类信息。
5.一种适用利用选择性运动检索区域的运动补偿方法的视频压缩解码装置，其特征在于， 就执行运动补偿的视频解码器而言，包括 滤波器选择控制单元，其从已解码的影像信号中抽取模糊模式信息，通过根据所抽取的模糊模式信息选择运动模糊滤波器或去运动模糊滤波器来生成及控制运动检索区域；一个以上的多个运动模糊滤波器及去运动模糊滤波器，用于生成运动检索区域； 帧存储器，其分别对应上述运动模糊滤波器及去运动模糊滤波器而设置；运动补偿单元，其根据所生成的运动检索区域，进行运动补偿。
6.根据权利要求5所述的适用利用选择性运动检索区域的运动补偿方法的视频压缩解码装置，其特征在于，上述模糊模式信息包含运动的大小(长度、强度)、运动方向、滤波器的种类信息。
7.一种适用利用选择性运动检索区域的运动补偿方法的视频压缩编码及解码装置，其特征在于， 就适用运动估计及补偿方法的压缩编码及解码装置而言， 通过对用于原来的运动估计的块单位运动检索区域，构成一个以上的多个运动模糊滤波器及去运动模糊滤波器，来生成追加的运动检索区域；对所生成的运动检索区域和新追加的运动检索区域分别执行运动估计；通过计算该运动估计过程的费用，选择适用于运动补偿的运动估计值，执行运动补偿来将视频压缩编码；构成一个以上的多个运动模糊滤波器及去运动模糊滤波器；从压缩编码的影像中选择对运动模糊或去运动模糊的滤波器信息，并根据所抽取的信息选择上述运动模糊滤波器或去运动模糊滤波器来生成运动检索区域，并由此进行运动补偿来对视频进行解码。
全文摘要
本发明涉及通过运动估计来体现运动补偿的视频编解码器的参考影像的生成方法。用视频设备拍摄的结果影像的各帧因摄像机的每秒帧数及快门速度和拍摄设备的运动或手抖等外因或拍摄物的运动等原因而在大量帧中产生规定方向的运动模糊。对这种影像执行运动估计时，因在参考影像中产生运动模糊而在输入影像中不产生运动模糊的情况，或者在参考影像中无运动模糊而在输入影像中有运动模糊的情况下，差分影像值会变大，将带来压缩效率不高的结果。本发明通过制作对参考影像有意执行运动模糊和去运动模糊滤波的追加的多个参考影像，对原来的参考影像和追加的多个参考影像执行运动估计时，选择差分影像数据少的参考影像作为最终参考影像，能够提高压缩效率。
文档编号H04N7/32GK102907099SQ201080066908
公开日2013年1月30日 申请日期2010年5月20日 优先权日2010年5月20日
发明者高晋, 安宰德, 金成勋, 金仁权 申请人:星河通信株式会社