专利名称:运动图象编码器及其方法、程序、存储介质的制作方法
技术领域:
本发明涉及运动图象编码器、运动图象编码方法、及其使用的运动图象编码程序、和存储程序的存储介质。例如,本发明优选地应用到使用互联网以压缩和编码方式发布运动图象数据的运动图象编码器。
背景技术:
最近,运动图象的互联网发布、即所谓“流”得到广泛使用。在流中,通过使用互联网发送使用视频摄像机或采集主体图象的类似设备采集的运动图象数据到用户的个人计算机,基于运动图象数据的运动图象得以实时显示。
在运动图象数据的流式实际发布中,通过互联网发送运动图象的发送速率是较低的。因此,运动图象数据是通过在发送一侧提供运动图象编码器以缩减容量的形式发布的,所述编码器使用例如国际标准化组织/国际电子技术委员会(ISO/IEC)的MPEG-2压缩编码标准,接着利用运动图象编码器去以帧图象为单位通过对象素十中取一以缩减运动图象数据,并且接着以较高的压缩因子执行压缩编码。
在上述运动图象数据的流式发布中,因为运动图象编码器在发送一侧使用较高的压缩因子执行压缩编码,所以提供给用户的运动图象的分辨率(代表图象粗糙程度的水平)、图象质量(指示是否存在噪声)劣化了。为了消除该劣化,非常需要提高所发布的运动图象的分辨率和图象质量。
因而,对于运动图象数据的流式发布,建议将MPEG-4压缩编码方法应用到该运动图象编码器上。
在MPEG-4中,类似于MPEG-2中的处理的、用于压缩和编码运动图象数据的处理(在下文中称为“简单轮廓处理”)能够通过执行以帧图象为单位的顺序运动补偿帧间预测而得以执行;以及通过从以帧图象为单位的图象数据中跟踪和提取任意形状图象、和对通过执行顺序运动补偿帧间预测所提取的图象数据(在下文中称为“提取图象数据”)进行压缩和编码的处理(在下文中称为“核心轮廓处理”)得以执行。
因而,在运动图象数据的流式发布中,以较低的压缩因子进行编码的压缩得以执行,因为在将通过使用视频摄像机或采集主体图象的类似设备获取的运动图象数据根据MPEG-4标准输入到两个运动图象编码器之后,一个运动图象编码器受控去执行简单轮廓处理,使得该运动图象数据以较高的压缩因子得到压缩编码;而其它运动图象编码器受控去执行核心轮廓处理,使得该运动图象数据以较低的压缩因子得到压缩编码,这是因为通过执行从运动图象数据的帧图象数据中顺序跟踪和提取而获得的所提取图象数据的总量低于该帧图象数据的总量。
另外,在上述运动图象发布中,通过将帧图象数据和由运动图象编码器压缩和编码的提取图象数据发送到用户个人计算机,和通过使用该个人计算机显示基于提取图象数据的提取图象,使得其叠加在基于帧图象数据的帧图象上,能够给用户显示其中只有被提取图象受到处理具有高分辨率和高图象质量的一个运动图象。
在上述运动图象的流式发布中,如果单个运动图象编码器执行简单轮廓处理和核心轮廓处理两者,则在结构中可以简化发送一侧。
根据上述运动图象的发布,在单个运动图象编码器中,必须提供一种运动矢量检测电路和通过使用简单轮廓处理以帧图象为单位顺序地压缩和编码运动图象数据的压缩编码电路;以及必须分别提供的另一种运动矢量检测电路和另一种使用核心轮廓处理从由连续运动图象组成的帧图象数据中顺序地跟踪和提取图象数据的压缩编码电路。因为这两个所提供的运动矢量检测电路具有极大的处理工作量,所以整个压缩编码的总处理工作量极大地增长,使得该压缩处理要求大量处理时间。
发明内容
本发明的目的在于提供一种在从运动图象数据中获得的多个图象上执行高速压缩编码处理的运动图象编码器和运动图象编码方法、一种该编码器和该方法使用的运动图象编码程序、以及存储该程序的存储介质。
为了实现上述目的,根据本发明的一个方面,提供一种运动图象编码器。该运动图象编码器包括运动矢量检测单元,它检测在运动图象数据的帧图象之间的每个运动矢量;和多个压缩编码单元,它通过使用共有已检测运动矢量,执行运动补偿帧间预测,在运动图象数据上以具有不同任意形状的预定图象为单位执行压缩编码。
优选地,该运动图象编码器还包括跟踪单元,它通过使用共有已检测运动矢量,顺序地跟踪在连续地具有运动图象数据的每个帧图象中的预定跟踪区域;和提取单元,它从在每个帧图象中的被跟踪预定跟踪区域中提取一任意形状图象。在多个压缩编码单元之间,一任意压缩编码单元,以帧图象单位作为具有不同任意形状的预定图象的单位,在运动图象数据上执行压缩编码;并且多个不同于任意压缩编码单元的压缩编码单元之一,以每个任意形状图象的单位作为具有不同任意形状的预定图象的单位,在运动图象数据上执行压缩编码。
该运动图象编码器可以还包括场景变化检测单元,它检测帧图象之间的相关性,并且基于检测到的相关性,确定在运动图象中的场景是否已有变化。在场景变化检测单元已经确定场景已变化时,跟踪单元停止对该帧图象随后的帧图象的跟踪区域的跟踪。
根据本发明的另一个方面,提供了一种运动图象编码方法。该运动图象编码方法包括运动矢量检测步骤,用于检测运动图象数据的帧图象之间的每个运动矢量;和压缩编码步骤,通过使用共有已检测运动矢量,执行运动补偿帧间预测,以具有不同任意形状的预定图象为单位,在运动图象数据上执行压缩编码。
优选地,该运动图象编码方法还包括跟踪步骤,用于通过使用共有已检测运动矢量,顺序地跟踪在连续地具有运动图象数据的每个帧图象中的预定跟踪区域;和提取步骤,用于从在每个帧图象中的被跟踪预定跟踪区域中提取一任意形状图象。在该压缩编码步骤中,在运动图象数据上的压缩编码,是以帧图象单位作为具有不同任意形状的预定图象的单位而得以执行的;并且在运动图象数据上的压缩编码,是以每个任意形状图象的单位作为具有不同任意形状的预定图象的单位而得以执行的。
该运动图象编码方法可以还包括场景变化检测步骤,用于检测帧图象之间的相关性,并且基于检测到的相关性,确定在运动图象中的场景是否已有变化。在该跟踪步骤中,在场景变化检测单元已经确定场景已变化时,停止对该帧图象随后的帧图象的跟踪区域的跟踪。
根据本发明的另一方面,提供了存储用于控制运动图象编码器去执行处理的运动图象编码程序的存储介质。该处理包括运动矢量检测步骤,用于检测运动图象数据的帧图象之间的每个运动矢量;和压缩编码步骤,用于通过使用共有已检测运动矢量,执行运动补偿帧间预测,以具有不同任意形状的预定图象为单位,在运动图象数据上执行压缩编码。
根据本发明的另一方面,提供了用于控制运动图象编码器去执行处理的运动图象编码程序。该处理包括运动矢量检测步骤,用于检测运动图象数据的帧图象之间的每个运动矢量;和压缩编码步骤,用于通过使用共有已检测运动矢量,执行运动补偿帧间预测,以具有不同任意形状的预定图象为单位,在运动图象数据上执行压缩编码。
根据本发明,能够大大降低在从运动图象数据中获得的多个图象上的整个压缩编码处理的工作量。这能够加速在从运动图象数据中获得的图象上的压缩编码处理。
图1是说明在运动图象数据发布系统中的运动图象数据发布形式的方框图;图2A、2B、2C是在图1所示的运动图象数据发布系统中的运动图象数据的处理的图解说明;图3是根据本发明的一个实施例说明一种运动图象编码器的方框图;图4是标示跟踪区域的图解说明;图5是从图4所示的跟踪区域中获得一任意形状提取图象的一帧的图解说明;图6是获得提取图象的图解说明;图7是用于标示提取图象的图象的蒙板(mask)图象的结构的图解说明;图8是说明用于在运动图象编码器中压缩编码的两种例程的流程图;图9是说明跟踪处理的流程图;图10是另一实施例的标示跟踪区域的图解说明;图11是另一实施例的标示提取图象形状的图解说明;具体实施方式
下面结合附图描述本发明的实施例。1.在运动图象数据发布系统中的运动图象数据发布形式如图1所示,在运动图象数据发布系统1中,通过使用在发送一侧采集主体图象的视频摄像机2获得的运动图象数据被输入到使用MPEG-4标准的运动图象编码器3上。
如图2A所示,运动图象编码器3以较高的压缩因子,以每个帧图象10为单位,通过执行简单轮廓处理,在运动图象数据上执行顺序压缩编码,并且发送经压缩编码的帧图象数据到网络发送器4上。如图2B所示,运动图象编码器3还顺序地从以每个帧图象10为单位的图象数据(帧图象数据)中跟踪和提取任意形状图象(提取图象)11的数据,并且以较低的压缩速率,通过执行核心轮廓压缩,在提取数据上执行压缩编码,并且发送经压缩编码的提取图象数据到网络发送器4上。
在执行顺序地从运动图象编码器3发送的压缩编码图象数据和压缩编码的提取图象数据的时分多路复用后,网络发送器4通过互联网5发送获得的数据流到在接收一侧的个人计算机6。
当接收到网络发送器4通过互联网5发送的数据流时,个人计算机6将数据流分离成为压缩编码图象数据和压缩编码的提取图象数据。通过顺序地解码压缩编码图象数据和压缩编码的提取图象数据,并且发送该解码数据到显示单元,个人计算机6显示一屏幕,其中基于提取图象数据并具有高分辨率和高图象质量的提取图象11叠加到基于帧图象数据并具有低分辨率和低图象质量的帧图象12上,如图2C所示。
因而,设计运动图象数据发布系统1,使得通过如上所述发布运动图象数据,通过只处理任意形状提取图象11而产生运动图象,使得它具有能够向用户显示的高分辨率和高图象质量。2.实施例2-1.运动图象编码器的结构图3说明本发明的运动图象编码器20的总体。在该运动图象编码器20中,从用于采集主体图象的外部视频摄像机(未示出)提供的运动图象数据D1以帧图象为单位顺序地输入到运动矢量检测电路21,它包括在执行简单轮廓处理的路径SP中(在下文称为“简单轮廓处理路径SP”);和同时输入到运动跟踪电路22,它包括在执行核心轮廓处理的路径CP中(在下文称为“核心轮廓处理路径CP”);所述核心轮廓处理与所述单轮廓处理同时并行进行。
在运动矢量检测电路21中,从由顺序帧内编码执行压缩编码的内编码图象(I图象)类型、和由前向运动补偿帧间预测进行压缩编码的预测图象(P图象)类型中,以预定次序分配一种压缩编码类型到组成外部输入运动图象数据D1的帧图象数据上。
当分配I图象类型到帧图象数据上时,运动矢量检测电路21基于I图象分配帧图象数据(在下文称为“I帧图象数据”)将帧图象分成多个宏块(microblock)。
运动矢量检测电路21使用块匹配,在I帧图象数据和帧图象数据(P帧图象数据)之间检测在每个宏块中的每个运动矢量,所述帧图象数据临时地定位在I帧图象数据之前的一个帧,并且将作为矢量数据D2的每个宏块的运动矢量、以及用于确认I帧图象数据的信息、和表示I图象类型分配到I帧图象数据的分配图象信息发送到运动跟踪电路22。运动矢量检测电路21还发送每个宏块的运动矢量和通过以宏块为单位分开每个宏块的运动矢量而产生的I帧图象数据,到场景变化检测电路23。
当分配P图象类型到帧图象数据时,运动矢量检测电路21基于P图象分配帧图象数据(在下文称为“P帧图象数据”)将帧图象分成多个宏块。
运动矢量检测电路21使用块匹配,在P帧图象数据和帧图象数据(I帧图象数据)之间检测在每个宏块中的每个运动矢量,所述帧图象数据临时地定位在P帧图象数据之前的一个帧,并且将作为矢量数据D2的每个宏块的运动矢量、以及用于确认P帧图象数据的信息、和表示P图象类型分配到P帧图象数据的分配图象信息发送到运动跟踪电路22。运动矢量检测电路21还发送每个宏块的运动矢量和通过以宏块为单位分开每个宏块的运动矢量而产生的P帧图象数据,到场景变化检测电路23。
当从运动矢量检测电路21中以宏块为单位顺序地提供每个宏块的运动矢量和I帧图象数据时,场景变化检测电路23基于每个宏块的运动矢量,确定在运动图象中的场景变化时I帧图象数据是否是帧图象数据。
当运动图象中的场景变化时,在基于I帧图象数据的帧图象的宏块中的运动矢量大大增加了(当运动图象的帧图象的分量在场景变化时变得完全不同时,不可能检测到每个宏块的运动矢量),或具有很不同的值。
因而,基于例如I帧数据的每个宏块的运动矢量、P帧数据的每个宏块的运动矢量,其中所述P帧数据临时定位在I帧数据之前的一个帧,场景变化检测电路23计算帧图象之间的相关性,并且通过将计算的相关性与预定门限值比较,找出该相关性是否低于门限值。如果该相关性低于门限值,则场景变化检测电路23确定该场景没有变化,并且产生表示该确定结果的场景连续信息。
反之,该相关性不低于门限值,则场景变化检测电路23确定该场景已经变化,并且产生表示该确定结果的场景变化信息。
在如上所述确定该场景没有变化或已经变化之后,场景变化检测电路23将作为场景变化数据D3的场景连续信息或场景变化信息、和用于确认I帧图象数据的信息发送到运动跟踪电路22;并且还将场景连续信息或场景变化信息、和以宏块为单位分开的I帧图象数据和每个宏块的运动矢量发送到帧编码单元24。
另外,当从运动矢量检测电路21中、以宏块为单位提供P帧图象数据和每个宏块的运动矢量时,场景变化检测电路23基于P帧图象数据和帧图象数据之间的相关性,类似地确定在运动图象中的场景变化时P帧图象数据是否是帧图象数据,其中所述帧图象数据是临时地定位在P帧图象数据的前一帧。
在确定该场景没有变化或已经变化之后,场景变化检测电路23将表示该确定结果的场景连续信息或场景变化信息作为场景变化数据D3、和用于确认P帧图象数据的信息发送到运动跟踪电路22;并且还将场景连续信息或场景变化信息、和以宏块为单位分开的P帧图象数据和每个宏块的运动矢量发送到帧编码单元24。
当从场景变化检测电路23中以宏块为单位正在提供I帧图象数据时,帧编码单元24通过对每个宏块执行象素十中取一,减小基于I帧图象数据的帧图象尺寸,使得该块尺寸被减小,并且通过使用以尺寸已减少的宏块(在下文称为“缩减宏块”)为单位的帧内编码,在已减小的I帧图象数据上以较高的压缩因子执行压缩编码。场景变化检测电路23发送获得的压缩编码帧图象数据D6到外部网络发送器(未示出)。
当从场景变化检测电路23中提供以宏块为单位分开的P帧图象数据、每个宏块的运动矢量和场景连续信息时,帧编码单元24通过对每个宏块执行象素十中取一,减小基于P帧图象数据的帧图象尺寸,使得该块尺寸被减小,并且根据减少的P帧图象数据,还减少每个宏块的运动矢量。
帧编码单元24通过使用由缩减宏块为单位减少缩减P帧图象数据而获得的运动矢量(在下文称为“缩减运动矢量”),执行前向运动补偿帧间预测,以较高的压缩因子在缩减P帧图象数据上执行压缩编码,并且发送获得的压缩编码的帧图象数据D7到外部网络发送器。
当从场景变化检测电路23中提供以宏块为单位分开的P帧图象数据、每个宏块的运动矢量和场景变化信息时,帧编码单元24通过将分配到P帧图象数据的压缩编码类型变为I帧图象类型,可以将P帧图象数据变为I帧图象数据。
当将P帧图象数据变为I帧图象数据时,帧编码单元24从I帧图象数据中产生缩减I帧图象数据,并且还以较高的压缩因子,在缩减I帧图象数据上以缩减宏块为单位执行压缩编码。帧编码单元24发送获得的压缩编码的帧图象数据D6到外部网络发送器。
在运动图象数据D1以帧为单位被顺序地压缩编码之后,即使当因为在运动图象中的场景已经变化、并且宏块的运动矢量大大增加或具有很不同的值而难以使用前向运动补偿帧间预测、在将要被压缩编码的P帧图象数据上去执行合适的压缩编码的时候,帧编码单元24能够在对应于通过在此时将P帧图象数据变为I帧图象数据而变化的场景的P帧图象数据上执行合适的压缩编码。
帧编码单元24检测从场景变化检测电路23中提供的I帧图象数据和P帧图象数据的序列。例如,在帧编码单元24根据场景变化信息将正好在I帧图象数据之前的P帧图象数据变为I帧图象数据的情形中,当从场景变化检测电路23中提供了跟随P帧图象数据之后的原始I帧图象数据和场景连续信息时,帧编码单元24将分配到原始I帧图象数据的压缩编码类型变为P图象类型,并且接着通过使用如上所述的前向运动补偿帧间预测,在P帧图象数据上执行压缩编码。
因而,如果帧编码单元24响应于运动图象中的场景变化,已经将P帧图象数据变为I帧图象数据,则I帧图象数据继续作为帧图象数据被编码,由此,与运动图象数据的总体相比较,能够防止被编码数据的总量增加。
能够从外部将标示预定的矩形区域26的跟踪标示数据D10、和标示终止在如图4所示的帧图象25中的跟踪处理的跟踪停止数据D11输入到运动跟踪电路22,所述矩形区域26(下文称为“跟踪区”)包括在基于帧图象数据的帧图象25中被跟踪的人物等。
当提供了跟踪标示数据D10时,运动跟踪电路22将帧图象25分为多个宏块,并且从宏块中检测与由跟踪标示数据D10标示的跟踪区26相关的所有宏块的位置。
运动跟踪电路22将在宏块的被检测位置上的信息作为跟踪数据D12发送到形状提取电路28,同时发送的还有识别信息、分配图象信息、以及在从运动矢量检测电路21中提供的相应运动矢量数据D2中的每个宏块的运动矢量、和相应的被分为以宏块为单位的帧图象数据。
当在检测宏块位置之后从场景变化检测电路23中顺序地提供场景变化数据D3到运动跟踪电路22时,无论何时运动跟踪电路22顺序地采集对应于在来自外部的场景变化数据D3中的识别信息的帧图象数据,它都顺序地将基于帧图象数据的帧图象25分为多个宏块,并且通过使用相关运动矢量D2(即,每个宏块的运动矢量),跟踪和检测与在帧图象25中的跟踪区26相关的每个运动宏块的位置,其中所述运动矢量D2是通过例如使用线匹配从运动矢量检测电路21中提供的。
运动跟踪电路22将在每个运动宏块的位置上的信息作为跟踪数据D12发送到形状提取电路28,同时发送的还有识别信息、分配图象信息、在相应运动矢量数据D2中的每个宏块的运动矢量、和相应的被分为以宏块为单位的帧图象数据。
如上所述,在一种情形中,其中当执行对帧图象25中的跟踪区26的跟踪时,从场景变化检测电路23中将包括场景变化信息的场景变化数据D3提供到运动跟踪电路22,运动跟踪电路22停止对相关于在场景变化数据D3中的识别信息的帧图象数据的跟踪。此后,直到提供新的跟踪标示数据D10,运动跟踪电路22才继续处于停止在顺序采集的帧图象数据上的跟踪的状态。运动跟踪电路22将该状态告知形状提取电路28。
当在运动图象中的场景变化时,因为跟踪区26在帧图象25中有很大运动,所以运动跟踪电路22难以跟踪跟踪区26,包括在跟踪区26中的特定人物放大了,或该特定人物在跟踪区26中消失。然而,运动跟踪电路22能够有效避免此类情况。
还是在一种情形中,其中当执行对帧图象25中的跟踪区26的跟踪时,跟踪停止数据D11从外部提供给运动跟踪电路22,运动跟踪电路22类似地采取跟踪步骤并将该状态告知形状提取电路28。
设计形状提取电路28是为了使得当输入跟踪标示数据D10到运动跟踪电路22时,能够从外部输入标示用于在跟踪区26中指定一被提取的任意形状(例如,椭圆)图象的帧30(如图5所示)的形状标示数据D13。
因而,当在从外部提供了形状标示数据D13之后从运动跟踪电路22中提供跟踪数据D12时,形状提取电路28就基于每个宏块的位置去检测在基于相应帧图象数据的帧图象25中的跟踪区26,其中所述每个宏块的位置是基于跟踪数据D12获得的。
形状提取电路28如图6所示从帧图象25中分配跟踪区26,并且通过在分配的跟踪区26上叠加帧30,获得一提取图象31,使得它们的中央位置(未示出)相互重合,同时在帧30内的跟踪区26的部分保持不变,并且使用例如黑象素取代在帧30外的跟踪区26的其它部分的象素,使得该其它部分不能显示在接收一侧。
另外,如图7所示,通过暴露提取图象31到跟踪区26,并且覆盖提取图象31的外围,形状提取电路28产生一个指示到接收一侧的提取图象31的形状的蒙板图象32。
如上所述,无论何时从运动跟踪电路22中提供跟踪数据D12,形状提取电路28都通过分配由运动跟踪电路22跟踪的跟踪区26,从帧图象25中获得提取图象31,并且产生指示提取图象31的形状的蒙板图象32。形状提取电路28将提取图象31的数据(包括被跟踪区26的黑象素取代的外围)和蒙板图象32的数据作为形状提取数据D14发送到任意形状编码单元35,同时发送的还有识别信息、分配图象信息、基于跟踪数据D12获得的每个宏块的运动矢量。
另外,在场景变化之后,当运动跟踪电路22将跟踪停止状态告知形状提取电路28并且不提供跟踪数据D12时,则形状提取电路28停止上述连续的图象提取处理,并且将处理停止告知任意形状编码单元35,直到再次提供跟踪数据D12。
在从形状提取电路28中提供形状提取数据D14到任意形状编码单元35之后,当基于形状提取数据D14的分配图象信息代表I图象类型时(即,当I图象类型被分配给基于形状提取数据D14的提取图象数据时),任意形状编码单元35通过执行以宏块为单位的帧内编码,以较低的压缩因子在基于形状提取数据D14的提取图象数据上执行压缩编码,同时保持原始图象的尺寸。类似地,任意形状编码单元35在基于形状提取数据D14获得的蒙板图象数据上执行压缩编码,并且发送该压缩编码的提取图象数据和蒙板图象数据到外部网络发送器。
另外,当基于形状提取数据D14的分配图象信息代表P图象类型时(即,当P图象类型被分配给基于形状提取数据D14的提取图象数据时),任意形状编码单元35通过使用以宏块为单位的相应运动矢量,执行前向运动补偿帧间预测,以较低的压缩因子在基于形状提取数据D14的提取图象数据上执行压缩编码,同时保持原始图象的尺寸。类似地,任意形状编码单元35在基于形状提取数据D14获得的蒙板图象数据上执行压缩编码,并且发送该压缩编码的提取图象数据和蒙板图象数据到外部网络发送器。
如上所述,任意形状编码单元35能够在用于显示具有任意形状的运动图象的连续提取图象数据上执行顺序压缩编码,并且能够执行有效的压缩编码,同时通过像帧编码单元24那样将I图象类型或P图象类型分配到提取图象数据,而最小化在数据总量上的增加。
在形状提取电路28将它的操作停止告知任意形状编码单元35之后,并且不提供形状提取数据D14,则任意形状编码单元35停止编码处理,直到从形状提取电路28中再次提供形状提取数据D14。
当起动编码处理时,任意形状编码单元35能够检测从形状提取电路28提供的第一形状提取数据D14(即,提取处理开始时的形状提取数据D14)。
因而,当将P图象类型作为压缩编码类型分配到基于形状提取数据D14而获得的提取图象数据时,在将它的编码类型从P图象类型变为I图象类型之后,任意形状编码单元35使用帧内编码在提取图象数据上执行压缩编码。
另外,当将I图象类型作为压缩编码类型分配到正好在基于第一形状提取数据D14而获得的提取图象数据之后的提取图象数据时,在将它的编码类型从I图象类型变为P图象类型之后,任意形状编码单元35使用前向运动补偿帧间预测,在提取图象数据上执行压缩编码。
如上所述,任意形状编码单元35能够执行合适的压缩编码,同时防止在开始编码处理时通过在基于形状提取数据D14的提取图象数据上执行编码处理而获得的数据的总量的增加。
接着,根据简单轮廓处理路径SP和核心轮廓处理路径CP,在运动图象编码器20中的压缩编码处理,将参考图8在下文描述。
如图8部分(A)所示,在简单轮廓处理路径SP中的例程RT1的处理开始,并且行进到SP1。
在步骤SP1中,运动矢量检测电路21顺序地接收外部提供的以每帧图象25为单位的运动图象数据D1,并且将基于所接收的帧图象数据的帧图象25分为多个宏块。运动矢量检测电路21检测在帧图象数据与在该帧图象数据之前临时的一个帧的帧图象数据之间的每个宏块的运动矢量。运动矢量检测电路21将包括每个宏块的运动矢量的矢量数据D2发送到在核心轮廓处理路径CP中的运动跟踪电路22,并且将以宏块为单位分开每个宏块的运动矢量而获得的帧图象数据发送到场景变化检测电路23。其后,该处理行进到步骤SP2。
在步骤SP2中,基于从运动矢量检测电路21中提供的将要处理的帧图象数据中每个宏块的运动矢量,和基于在将要处理的帧图象之前临时的一个帧的每个宏块的运动矢量,场景变化检测电路23使用帧图象数据之间的相关性确定将要处理的帧图象数据是否是在运动图象中的场景已经变化时获得的那个帧图象数据。场景变化检测电路23将包括该确定结果的场景变化数据D3发送到运动跟踪电路22,并且将该确定结果、以及以宏块为单位分开的I帧图象数据和每个宏块的运动矢量发送到帧编码单元24。其后,该处理行进到步骤SP3。
在步骤SP3中,当将I图象类型作为压缩编码类型分配到由场景变化检测电路23提供的帧图象数据上时,帧编码单元24使用帧内编码以缩减宏块为单位,在缩减I帧图象数据上以较高的压缩因子执行压缩编码,并且发送压缩编码数据到外部网络发送器。当将P图象类型作为压缩编码类型分配到由场景变化检测电路23提供的帧图象数据上时,帧编码单元24使用帧内编码以缩减宏块为单位,在缩减P帧图象数据上以较高的压缩因子执行压缩编码,并且发送压缩编码数据到外部网络发送器。其后,该处理行进到步骤SP4。
在步骤SP4中,在简单轮廓处理路径SP中,如果运动矢量检测电路21没有结束采集运动图象数据D1,则处理返回到步骤SP1。其后,直到运动矢量检测电路21结束采集运动图象数据D1时,通过顺序地重复次序为SP4、SP1、SP2、SP3和SP4的步骤,顺序地以帧为单位压缩编码运动图象数据D1。在运动矢量检测电路21结束采集运动图象数据D1之后,该处理行进到步骤SP5,并且结束在简单轮廓处理路径SP中的处理。
另外,如图8的部分(B)所示,在核心轮廓处理路径CP中,从例程RT2的开始步骤开始,并且行进到SP11。
在步骤SP11中,运动跟踪电路22顺序地采集从外部提供的以每个帧图象25为单位的运动图象数据D1,并且还采集从运动矢量检测电路21提供的运动图象数据D2、和从场景变化检测电路23提供的场景变化数据D3。运动跟踪电路22使用运动矢量,通过执行跟踪处理(稍后描述)去跟踪和检测在来自帧图象25的跟踪区26中的每个宏块的位置。运动跟踪电路22将包括被测位置上的信息的跟踪数据D22发送到形状提取电路28,并且行进到步骤SP12。
在步骤SP12中,基于从运动跟踪电路22提供的跟踪标示数据D10,形状提取电路28从帧图象25中分配跟踪区26,并且根据由形状标示数据D11标示的帧30的形状,从已分配跟踪区26中获得提取图象31。基于该帧30,形状提取电路28产生指示提取图象31的形状的蒙板图象32,并且将指示蒙板图象32的数据的形状提取数据D14发送到任意形状编码单元35。其后,该处理行进到步骤SP13。
在步骤SP13中,当将I图象类型作为压缩编码类型分配到由形状提取电路28提供的提取图象数据上时,任意形状编码单元35通过执行帧间编码以宏块为单位,在提取图象数据上以较低的压缩因子执行压缩编码,并且将压缩编码的提取图象数据和蒙板图象数据两者作为压缩编码提取图象数据D15,发送到外部网络发送器。当将P图象类型作为压缩编码类型分配到由形状提取电路28提供的提取图象数据上时,任意形状编码单元35通过执行前向运动补偿帧间预测,以宏块为单位,在提取图象数据上以较低的压缩因子执行压缩编码,并且在从形状提取电路28提供的蒙板图象数据上执行压缩编码。任意形状编码单元35将压缩编码的提取图象数据和蒙板图象数据两者作为压缩编码提取图象数据D15,发送到外部网络发送器,并且,该处理行进到步骤SP14。
在步骤SP14中,如果在核心轮廓处理路径CP中的运动跟踪电路22没有结束采集运动图象数据D1,则该处理返回到步骤SP11。其后,直到运动跟踪电路22结束采集运动图象数据D1,同时顺序地跟踪提取图象数据,才从运动图象数据D1中获得提取图象数据,并通过重复次序为SP14、SP11、SP12、SP13和SP14的步骤进行压缩编码。在运动跟踪电路22结束采集运动图象数据D1之后,该处理行进到步骤SP15,并且终止在核心轮廓处理路径CP中,使得运动图象编码器20的压缩编码处理终止。
在核心轮廓处理路径CP中,当由运动跟踪电路22执行的跟踪处理被停止使得运动跟踪电路22受到外部指令停止时,或在运动图象中的场景变化时,形状提取电路28和任意形状编码单元35相应地终止它们的处理,虽然该步骤未在图8的部分(B)中示出。
运动跟踪电路22(参考图3和图8的部分(B)中的描述)被设计根据事先存储于它的内部存储器单元中的跟踪处理程序执行跟踪处理。根据该跟踪处理程序,跟踪例程RT3的处理开始,并且行进到步骤SP21。
在步骤SP21中,运动跟踪电路22等待要从外部输入的新的跟踪标示数据D10。如果运动跟踪电路22已经确定已经输入了新的跟踪标示数据D10,则运动跟踪电路22行进到步骤SP22。
在步骤SP22中,从基于从外部采集的帧图象数据的帧图象25中,运动跟踪电路22检测由跟踪标示数据D10标示的跟踪区26中的所有宏块的位置,并且行进到步骤SP23。
在步骤SP23中,运动跟踪电路22产生包括在步骤SP22中检测到的宏块位置信息的跟踪数据D12,并且发送该产生的跟踪数据D12到形状提取电路28。其后,运动跟踪电路22行进到步骤SP24。
在步骤SP24中,运动跟踪电路22确定是否已经从外部输入了跟踪停止数据D11。
在步骤SP24中得到否定的确定意味着从帧图象25到跟踪区26的每个宏块的运动位置受到连续地跟踪,因为运动跟踪电路22没有被从外部通过跟踪停止数据D11指令停止跟踪。此时,行进到步骤SP25,运动跟踪电路22确定是否已经从场景变化检测电路23中提供了包括场景变化信息的场景变化数据D3。
在步骤SP25中得到否定的确定意味着,由于从场景变化检测电路23中提供了包括场景变化信息的场景变化数据D3,作为对应于外部提供的将要处理的帧图象数据的场景变化数据,所以根据跟踪标示数据D10,从帧图象25到跟踪区26的每个宏块的运动位置受到连续地跟踪。此时,运动跟踪电路22行进到步骤SP26。
在步骤SP26中,从将要处理的帧图象25中,其中所述帧图象25对应于在场景变化数据D3中的识别信息,运动跟踪电路22基于在步骤SP22中检测到的每个运动矢量(从运动矢量检测电路21中提供)的位置,跟踪和检测在跟踪区26中的每个宏块的运动位置,并且行进到步骤SP27。
在步骤SP27中,运动跟踪电路22产生并将包括每个宏块的运动位置的信息(在步骤SP26中检测到的)的跟踪数据D12发送到形状提取电路28,并且行进到步骤SP28。
在步骤SP28中,运动跟踪电路22确定采集从外部视频摄像机发送的运动图象数据D1是否已经完成。
在步骤SP28中得到否定的确定意味着,由于从外部视频摄像机发送的运动图象数据D1顺序地以帧为单位被采集,所以响应于一个外部请求,跟踪处理得以执行。此时,运动跟踪电路22返回到步骤SP4。其后,直到运动跟踪电路22在步骤SP28中获得肯定的确定,它才通过顺序地重复次序为SP28、SP24、SP25、SP26、SP27和SP28的步骤,从连续的帧图象中跟踪和检测每个宏块的运动位置。
当在步骤SP28中,在如上所述所运动图象数据的完成上得到肯定的确定时,运动跟踪电路22行进到步骤SP29,并且跟踪例程RT3终止。
在步骤SP24中得到肯定的确定意味着,因为从外部输入了跟踪停止数据D11,所以对跟踪区26中的每个宏块的运动位置的跟踪被停止。此时,运动跟踪电路22返回到步骤SP21。
在步骤SP25中得到肯定的确定意味着,因为从场景变化检测电路23中提供了包括场景变化信息的场景变化数据D3,作为对应于外部提供的将要处理的帧图象数据的场景变化数据,所以根据场景变化数据D3,停止对在跟踪区26中的每个宏块的运动位置的跟踪。此时,运动跟踪电路22返回到步骤SP21。
如上所述,响应于一个外部请求,运动跟踪电路22能够检测在帧图象25中的跟踪区26中的每个宏块的运动位置,同时顺序地执行合适的跟踪。2-2.实施例的操作和效果在上述结构中,在运动图象编码器20中提供了用于运动图象数据D1的简单轮廓处理路径SP和用于运动图象数据D1的核心轮廓处理路径CP。
在运动图象编码器20中,运动矢量检测电路21以每个帧图象25为单位,顺序地采集运动图象数据D1,并且检测每个宏块的运动矢量。通过控制简单轮廓处理路径SP和核心轮廓处理路径CP,去使用每个宏块的共有已检测的运动矢量,运动图象编码器20使用简单轮廓处理路径SP,以每个帧图象25为单位,在运动图象数据D1上执行顺序的压缩编码;并且在通过使用运动矢量顺序地跟踪和从由连续运动图象数据组成的帧图象25中获得提取图象31以后,运动图象编码器20使用核心轮廓处理路径CP,在提取图象31上执行压缩编码。
由此,虽然提供给运动图象编码器20两路处理系统,即,简单轮廓处理路径SP和核心轮廓处理路径CP,但是在执行压缩编码处理的情形中,它使用其上作用了大量处理工作量的单个运动矢量检测电路21,并且控制两路处理系统去共享由运动矢量检测电路21检测的运动矢量,由此,能够大大减少运动图象编码器20的整体处理工作量。
在运动图象编码器20中,为两路处理系统,即,简单轮廓处理路径SP和核心轮廓处理路径CP,提供了单个运动矢量检测电路21。由此,能够简化运动图象编码器20的整体电路结构。
另外,运动图象编码器20根据由场景变化检测电路23所检测的场景变化,将帧图象数据的压缩编码类型从P图象类型变为I图象类型。由此,运动图象编码器20能够在由连续运动图象数据D1组成的帧图象数据上执行合适的压缩编码。另外,当原始分配了I图象类型的帧图象数据正好跟随在其压缩编码类型通过场景变化已经变为I图象类型的帧图象数据之后时,原始分配了I图象类型的帧图象数据的编码类型被改变到P图象类型,由此,能够对由连续运动图象数据D1组成的帧图象数据进行合适的压缩编码。
因为运动图象编码器20根据由场景变化检测电路23所检测的场景变化,停止由运动跟踪电路22对帧图象25中的跟踪区26的跟踪,所以该跟踪区26能够在运动图象的单个场景中被合适地跟踪,使得能够在接收一侧对用户合适地显示提取图象31。
在运动图象编码器20中,为两路处理系统,即,简单轮廓处理路径SP和核心轮廓处理路径CP,提供了单个场景变化检测电路23,并且场景变化检测电路23控制简单轮廓处理路径SP和核心轮廓处理路径CP,去共享在检测到的运动图象上的场景变化信息。由此,即使提供了场景变化检测电路23,也能够简化运动图象编码器20的电路结构。
根据以上所述结构,通过使用两路处理路径,在其中一路中,通过执行运动补偿帧间预测,以每个帧图象25为单位,对运动图象数据D1顺序地进行压缩编码;并且在另一处理路径中,通过顺序地跟踪提取图象31,去共享以帧图象为单位的、由单个运动矢量检测电路21检测的每个宏块的运动矢量,从运动图象数据D1连续的帧图象25中获得提取图象31;能够大大减少从一个图象的整体压缩编码处理中得到的多个图象的处理工作量,由此,能够加速在从一个图象中获得的多个图象上的压缩编码处理的运动图象编码器得以实现。3.其它实施例在上述实施例中,已经描述了其中以较高的压缩因子对连续运动图象数据D1的帧图象进行压缩编码、和以较低的压缩因子对从运动图象数据D1获得的提取图象数据进行压缩编码的一种情形。然而,本发明不限于该情形,但是如果压缩编码的帧图象数据D6和D7的总量和压缩编码的提取图象数据D15的总量是在传输速率之内,由此,它们能够被发送到接收一侧,则可以执行一种处理,其中以较高的压缩因子对连续运动图象数据D1的帧图象进行压缩编码、和以较低的压缩因子对从运动图象数据D1获得的提取图象数据进行压缩编码。
在上述实施例中,已经描述了其中将I图象类型和P图象类型作为压缩编码类型通过运动矢量检测电路21分配给帧图象数据的一种情形,所述运动矢量检测电路21以帧为单位采集运动图象数据D1。然而,本发明不限于该情形。除了I图象类型和P图象类型以外,也可以将双向预测图象(B图象)类型分配给由连续运动图象数据D1组成的帧图象数据,所述双向预测图象类型使用双向运动补偿帧间预测执行压缩编码。
在上述实施例中,已经描述了其中对运动图象编码器20提供了简单轮廓处理路径SP和核心轮廓处理路径CP的一种情形。然而,本发明不限于该情形。但是可以使用各种电路结构,例如具有单个简单轮廓处理路径SP和多个核心轮廓处理路径CP的运动图象编码器20,它通过使用运动矢量执行运动补偿帧间预测,以每个不同形状的提取图象31为单位,在运动图象数据D1上执行压缩编码;和例如只具有多个核心轮廓处理路径的运动图象编码器20,它通过使用运动矢量执行运动补偿帧间预测,以每个不同形状的提取图象31为单位,在运动图象数据D1上执行压缩编码。在具有多个核心轮廓处理路径的情形中,在每个核心轮廓处理路径中,提取图象被以单个压缩因子压缩编码。
在上述实施例中,已经描述了其中为运动跟踪电路22标示一个事先设置为矩形的跟踪区的一种情形。然而,本发明不限于该情形。如图10所示,对于运动跟踪电路22,通过在帧图象25中人物上标示例如一个任意点40,并且围绕该点40提取外围边(即,人物等的轮廓),从而可以设置一个具有任意形状的矩形跟踪区40,使得它包括该提取边。
在上述实施例中,已经描述了其中运动跟踪电路22通过使用相应矢量数据D2(即,每个宏块的运动矢量),例如使用线匹配,跟踪和检测在跟踪区26中的每个宏块的运动位置的一种情形。然而,本发明不限于该情形。在以宏块为单位利用从运动矢量检测电路21中提供的矢量数据D2执行跟踪以后,运动跟踪电路22可以在使用线匹配以象素为单位(即,不以宏块为单位)去跟踪跟踪区26的同时执行检测。
在上述实施例中,已经描述了其中为形状提取电路28标示事先设定为椭圆形的帧30的一种情形。然而,本发明不限于该情形。如图11所示,通过使用形状提取电路28,该人物或其它物体在跟踪区26中的轮廓可以被自动地设置为帧42。或者,对于形状提取电路28,可以标识具有比如星形和圆形而不是椭圆的形状的各种类型的帧。相应地,可以广泛地使用任意形状的帧。
在上述实施例中,已经描述了其中当场景变化检测电路23检测到场景变化时、运动跟踪电路22相应地停止对跟踪区的跟踪的一种情形。然而,本发明不限于该情形。即使当运动图象的场景已经改变时,运动跟踪电路22也可以直接跟踪通过将正好在场景变化前获得的跟踪区26叠加到在场景已经变化时获得的帧图象25上而获得的一个区域,而不改变正好在场景变化之前的跟踪区域的尺寸和位置。在即使当场景已经变化也跟踪该跟踪区26的情形中,可以相应地控制形状提取电路28和任意形状编码单元35去操作。
在上述实施例中,已经描述了其中将运动矢量检测电路21、场景变化检测电路23、和帧编码单元24在简单轮廓处理路径SP中串连起来,同时将运动跟踪电路22、形状提取电路28、和任意形状编码单元35在核心轮廓处理路径CP中串连起来的一种情形。然而,本发明不限于该情形。通过提供采集和临时存储从视频摄像机提供的运动图象数据的存储单元,运动矢量检测电路21、场景变化检测电路23、帧编码单元24、运动跟踪电路22、形状提取电路28、和任意形状编码单元35可以分别地连接到该存储单元。
特别地,在图3所示的上述运动图象编码器20中,为了使运动矢量检测电路21、场景变化检测电路23、和帧编码单元24可以串连,并且使运动跟踪电路22、形状提取电路28、和任意形状编码单元35可以串连,运动矢量检测电路21、场景变化检测电路23、帧编码单元24、运动跟踪电路22、形状提取电路28、和任意形状编码单元35必须包括用于吸收处理延迟的存储单元。
反之,通过提供具有采集和临时存储从视频摄像机提供的运动图象数据的存储单元的运动图象编码器20,并且将运动矢量检测电路21、场景变化检测电路23、帧编码单元24、运动跟踪电路22、形状提取电路28、和任意形状编码单元35分别连接到存储单元,则在运动图象编码器20上的存储单元的存储容量能够被大大降低,并且该运动图象编码器20的处理能够被加速,因为运动矢量检测电路21、场景变化检测电路23、帧编码单元24、运动跟踪电路22、形状提取电路28、和要处理帧图象数据中的每一个都能够通过该运动图象编码器20从存储单元中在任意时间被读取。
在上述实施例中,已经描述了其中根据图3至11所述的运动图象编码器20被作为本发明的运动图象编码器使用的一种情形。然而,本发明不限于该情形,而是能够广泛地应用到那些使用MPEG-2标准和在作为预定任意形状图象的运动图象上,以帧图象为单位、或以提取图象为单位执行顺序压缩编码的一类运动图象编码器,其中所述提取图象是通过使用运动矢量执行运动补偿帧间预测从该帧图象中获得的;并且本发明还能够应用到那些在取代流存储在内部或外部的运动图象上执行顺序压缩编码的、类似于根据图3至11所述的运动图象编码器20的一类运动图象编码器;并且本发明甚至可以应用到那些能够在运动图象上执行顺序压缩编码、比如个人计算机、蜂窝电话、个人数字助手(PDA)和其它各种类型的运动图象编码器。
在将本发明的运动图象编码器应用到比如个人计算机、蜂窝电话和PDA的电子设备上的情形中,可以提供根据图3所述的上述电路块作为在该电子设备中的硬件。或者,取代该硬件,通过在电子设备中安装用于执行根据图8的部分(A)和部分(B)所述的压缩编码处理的程序、和根据以软件显示处理的该程序执行压缩编码处理,也可以实现本发明。
为了在电子设备中安装用于执行根据图8的部分(A)和部分(B)所述的压缩编码处理的程序,可以使用一种存储该程序的存储介质,也可以使用诸如局域网、互联网、或数字卫星广播的有线或无线通信介质。另外,可以通过使用诸如路由器和调制解调器等各种类型通信接口安装该程序。
不仅是诸如软盘、致密盘只读存储器、和数字通用光盘的封装介质,而且临时或永久存储发布处理程序的存储设备(诸如半导体存储器或磁盘)都可以用作用于在电子设备中安装程序的程序存储介质。另外,诸如局域网、互联网、或数字卫星广播的有线或无线通信介质也可以用作存储在上述程序存储介质中的发布处理程序的装置。或者,可以通过使用诸如路由器和调制解调器等各种类型通信接口安装该发布处理程序。
在上述实施例中,已经描述了其中以宏块为单位检测每个运动矢量的运动矢量检测电路21(见图3)被作为一种检测运动图象数据的帧图象之间的每个运动矢量的运动矢量检测装置使用的一种情形。然而,本发明不限于该情形。各种类型的运动矢量检测装置,比如以不同于宏块单位的预定块为单位检测运动矢量的运动矢量检测装置、使用光流检测运动矢量的运动矢量检测装置,如果它们能够检测运动图象数据的帧图象之间的每个运动矢量,则都可以被使用。
在上述实施例中,已经描述了其中上述帧编码单元24和任意形状编码单元35(均见于图3)被作为多个压缩编码装置使用的一种情形,所述多个压缩编码装置通过使用共享形式的已检测运动矢量执行运动补偿帧间预测,以具有不同形状的预定图象为单位,在运动图象上执行压缩编码。然而,本发明不限于该情形。各种类型的压缩编码装置,比如仅以具有不同任意形状的提取图象为单位在运动图象数据上执行压缩编码的多个压缩编码装置等,如果它们能够通过使用共享形式的已检测运动矢量执行运动补偿帧间预测,以具有不同形状的预定图象为单位在运动图象上执行压缩编码,则可以被使用。
在上述实施例中,已经描述了其中上述运动跟踪电路22(根据图3和9所述)被作为一种跟踪装置使用的一种情形,所述跟踪装置通过使用共享形式的已检测运动矢量,对在连续具有运动图象数据的每个帧图象中的预定跟踪区域进行跟踪。然而,本发明不限于该情形。各种类型的跟踪装置,比如根据运动图象的运动部分自动地设置跟踪区的跟踪装置,如果它们能够通过使用共享形式的已检测运动矢量,对在连续具有运动图象数据的每个帧图象中的预定跟踪区域进行跟踪,则可以被使用。
在上述实施例中,已经描述了其中上述形状提取电路28(根据图5至7所述)被作为一种提取装置使用的一种情形,所述提取装置在每个帧图象中,从所跟踪的预定跟踪区中提取一任意形状图象。然而,本发明不限于该情形。各种类型的提取装置,比如在跟踪区中沿图象的轮廓自动地提取一图象作为提取图象的提取装置,如果它们能够在每个帧图象中从所跟踪的预定跟踪区中提取一任意形状图象,则可以被使用。
在上述实施例中,已经描述了其中基于帧图象之间的运动矢量、通过计算相关性检测在运动图象中的场景变化的上述场景变化检测电路23(见图3)被作为一种场景变化检测装置使用的一种情形,所述场景变化检测装置检测帧图象之间的相关性,并基于已检测的相关性确定在运动图象中的场景是否已经变化。然而,本发明不限于该情形。各种类型的场景变化检测装置,比如通过基于比如亮度和照度的各种信息、计算帧图象之间的相关性检测场景变化的场景变化检测装置,如果它们能够检测帧图象之间的相关性,并基于已检测的相关性确定在运动图象中的场景是否已经变化,则可以被使用。
权利要求
1.一种运动图象编码器,包括运动矢量检测装置,检测运动图象数据的帧图象之间的每个运动矢量;和多个压缩编码装置,通过使用共有的已检测运动矢量,执行运动补偿帧间预测,以具有不同任意形状的预定图象为单位,在运动图象数据上执行压缩编码。
2.根据权利要求1所述的运动图象编码器,还包括跟踪装置,通过使用共享形式的已检测运动矢量,对在连续具有运动图象数据的每个帧图象中的预定跟踪区域进行顺序的跟踪;和提取装置,从所跟踪的每个帧图象中的预定跟踪区中提取一任意形状图象;其中在所述多个压缩编码装置中,一种任意形状压缩编码装置,以帧图象的单位作为具有不同任意形状的预定图象的所述单位,在运动图象数据上执行压缩编码;和所述多个压缩编码装置之一,它不同于所述任意形状压缩编码装置,以每个任意形状图象的单位作为具有不同任意形状的预定图象的所述单位,在运动图象数据上执行压缩编码。
3.根据权利要求2所述的运动图象编码器,还包括场景变化检测装置,它检测帧图象之间的相关性,并基于已检测的相关性,确定在运动图象中的场景是否已经变化;其中所述跟踪装置停止对在所述场景变化检测装置已经确定所述场景已经变化时的帧之后跟随的帧的跟踪区的跟踪。
4.一种运动图象编码方法,包括运动矢量检测步骤,用于检测运动图象数据的帧图象之间的每个运动矢量;和压缩编码步骤,用于通过使用共有的已检测运动矢量,执行运动补偿帧间预测,以具有不同任意形状的预定图象为单位,在运动图象数据上执行压缩编码。
5.根据权利要求4所述的运动图象编码方法,还包括跟踪步骤,用于通过使用共有的已检测运动矢量,对在连续具有运动图象数据的每个帧图象中的预定跟踪区域进行顺序的跟踪;和提取步骤,用于从所跟踪的每个帧图象中的预定跟踪区中提取一任意形状图象;其中在所述压缩编码步骤中,在运动图象数据上的压缩编码是以帧图象的单位作为具有不同任意形状的预定图象的所述单位而执行的,和在运动图象数据上的压缩编码是以每个任意形状图象的单位作为具有不同任意形状的预定图象的所述单位而执行的。
6.根据权利要求5所述的运动图象编码方法,还包括场景变化检测步骤,用于检测帧图象之间的相关性,并基于已检测的相关性,确定在运动图象中的场景是否已经变化;其中,在所述跟踪步骤中,停止对在所述场景变化检测装置当已经确定所述场景已经变化时的帧之后跟随的帧的跟踪区的跟踪。
7.一种存储用于控制运动图象编码器执行处理的运动图象编码程序的存储介质,包括运动矢量检测步骤,用于检测运动图象数据的帧图象之间的每个运动矢量;和压缩编码步骤,用于通过使用共有的已检测运动矢量,执行运动补偿帧间预测,以具有不同任意形状的预定图象为单位,在运动图象数据上执行压缩编码。
8.一种用于控制运动图象编码器执行处理的运动图象编码程序,包括运动矢量检测步骤,用于检测运动图象数据的帧图象之间的每个运动矢量;和压缩编码步骤,用于通过使用共有的已检测运动矢量,执行运动补偿帧间预测,以具有不同任意形状的预定图象为单位,在运动图象数据上执行压缩编码。
全文摘要
在运动图象编码器中,运动矢量检测电路检测在运动图象数据的帧图象之间的每个运动矢量,并且压缩编码单元通过使用共有的已检测运动矢量,执行运动补偿帧间预测,以具有不同的任意形状的预定图象为单位,在运动图象数据上进行压缩编码。因为在其上具有很大处理工作量的运动图象检测电路是作为单一电路构造的,这能够极大地减少在从单个运动图象数据中获得的多个图象上的整个压缩编码的处理工作量。该结构能够加速在从单个运动图象数据中获得图象上的压缩编码。
文档编号H04N7/26GK1377189SQ0210739
公开日2002年10月30日 申请日期2002年3月20日 优先权日2001年3月22日
发明者坂口竜己 申请人:索尼公司