专利名称：数据处理装置及其方法以及编码装置和解码装置的制作方法
技术领域：
本发明涉及一种用于执行运动图像数据的运动补偿的数据处理装置及其方法，以及编码装置和解码装置。
背景技术：
近年来，一种与例如运动图像专家组(MPEG)这样一种方法相关实现的装置在例如广播站的信息传送端和一般家庭中信息接收端的两端都是普遍的，该方法通过例如离散余弦变换这样的正交变换和将图像数据作为数字数据处理，在该位置上进行有效信息的发射和积累，并利用对于图像信息唯一的冗余信息的运动补偿来进行压缩。
随着MPEG方法的发展，提出了一种实现更高数据补偿率称作H264/AVC(高级视频编码)的编码方法。
MPEG方法和H264/AVC方法的编码装置，以与MPEG方法的编码装置相似的方式，通过将预定的运动补偿块作为一个单元执行运动预测和补偿处理以产生运动矢量和预测图像数据。
MPEG方法和H264/AVC方法的编码装置将通过在执行正交变换和量化后经历反量化、反正交变换和重构处理而产生的有效像素区内部的基准图像数据写入存储器并从存储器读出由已经获得的运动矢量所指示的基准图像数据内部的块数据，以产生预测图像数据。
顺便提及，在H264/AVC方法中，允许产生指示上面提到的有效像素区外部的运动矢量。
在此情况下，编码装置在产生预测图像数据时判断包括由运动矢量指示的基准图像数据内部的块数据的像素数据是否存在于有效像素内部，对于判断不存在于有效像素区内部的情况，编码装置复制有效像素区内部的像素数据并产生有效像素区外部像素数据，并用其产生预测图像。
然而，上面提到的传统编码装置存在这样一个问题，即，由于无论像素数据什么时候从存储器中读出用于产生预测图像数据都需要判断像素数据是否是有效像素区内部的数据这样的一个步骤，因此需要很长的处理时间。
同样在解码装置中在产生预测图像数据的情况时，存在类似于上面提到的编码装置的问题。
发明内容
考虑到上面提到的传统技术做出了本发明，本发明的一个目的是提供一种即使在使用指示有效像素区外部的运动矢量的情况下也能够在短时间内产生预测图像数据的数据处理装置及其方法，以及编码装置和解码装置。
为了解决上面提到的传统技术的问题，第一发明的数据处理装置是一种用于基于运动矢量和有效像素区的第一基准图像数据、产生图像数据的预测图像数据作为编码目标或解码目标的数据处理装置，该装置具有存储第一基准图像数据的存储器；用于在产生预测图像数据之前、基于在存储器中存储的第一基准图像数据产生有效像素区周围的预定非有效像素区的第二基准图像数据并将其写入存储器的预处理器；用于在运动矢量指示非有效像素区的情况下基于运动矢量读出由预处理器写入存储器的第二基准图像数据的阅读器；和基于由阅读器读出的第二基准图像数据产生预测图像数据的产生器。
第一发明的操作解释如下。
首先，在产生预测图像数据之前，预处理器基于存储在存储器中的第一基准数据产生在有效像素区周围的预定非有效像素区的第二基准图像数据。
接下来，在运动矢量指示非有效像素区的情况下，阅读器基于运动矢量读出通过预处理器写入存储器的第二基准图像数据。
接下来，基于通过阅读器读出的第二基准数据，产生器产生预测图像数据。
第二发明的第二数据处理方法是一种基于运动矢量和有效像素区的第一基准图像数据产生编码目标或解码目标图像数据的预测图像数据的数据处理方法，该方法具有基于在存储器中存储的第一基准图像数据产生有效像素区周围的预定非有效像素区的第二基准图像数据并将其写入存储器的第一步骤，在运动矢量指示非有效像素区的情况下基于运动矢量读出在第一步骤中写入存储器的第二基准图像数据的第二步骤，和基于在第二步骤中从存储器中读出的第二基准图像数据产生预测图像数据的第三步骤。
第二发明的数据处理方法的操作解释如下。
首先，在第一步骤，基于存储在存储器中的第一基准图像数据产生在有效像素区周围的预定非有效像素区的第二基准图像数据，并将其写入存储器。
接下来，在第二步骤，在运动矢量指示非有效像素区的情况下，基于运动矢量读出在第一步骤写入存储器的基准图像数据。
接下来，在第三步骤，基于在第二步骤从存储器读出的第二基准图像数据产生预测图像数据。
第三发明的编码装置是一种编码装置，该编码装置具有对编码图像数据和预测图像数据之间的差进行编码的编码器；用于存储有效像素区的第一基准图像数据的存储器；用于产生编码图像数据的运动矢量的运动预测电路；和基于运动预测电路产生的运动矢量和存储在存储器中的基准图像数据产生预测图像数据的运动补偿电路，其中所述运动补偿电路具有用来在产生预测图像数据之前基于存储在存储器中的第一基准图像数据产生在有效像素区周围的预定非有效像素区的第二基准图像数据并将其写入存储器的预处理器；用于在由运动预测电路产生的运动矢量指示非有效像素区的情况下，基于运动矢量读出由预处理过程写入存储器的第二基准图像数据的阅读器；和用于基于由阅读器读出的第二基准图像数据产生预测图像数据的产生器。
第三发明的编码装置的操作解释如下。
编码器对编码图像数据和预测图像数据的差进行编码。
运动预测电路产生编码图像数据的运动矢量。
接下来，运动补偿电路基于由运动预测电路产生的运动矢量和存储在基准图像数据中的基准图像数据产生预测图像数据。
运动补偿电路的操作等同于第一发明的数据处理装置。
第四发明的解码装置是一种解码装置，该装置具有对作为解码目标的图像数据进行解码的解码器；用于在解码后存储有效像素区的第一基准图像数据的存储器；基于加入到作为解码目标的图像数据的运动矢量和从存储器读出的第一基准图像数据产生预测图像数据的运动补偿电路；和用于把由运动补偿电路产生的预测图像数据与由解码器解码并产生的图像数据相加的计算器，其中所述运动补偿电路具有预处理器，用于在产生预测图像数据之前基于存储在存储器中的第一基准图像数据产生有效像素区周围的预定非有效像素区的第二基准图像数据并将其写入存储器中；阅读器，用于在由运动预测电路产生的运动矢量指示非有效像素区的情况下，基于运动矢量读出由预处理过程写入存储器的第二基准图像数据；和产生器，用于基于由阅读器读出的第二基准图像数据产生预测图像数据。
第四发明的解码装置的操作解释如下。
解码器对作为解码目标的图像数据进行解码。
运动补偿电路基于加入到作为解码目标的图像数据的运动矢量和从存储器中读出的第一基准图像数据产生预定图像数据。
接下来，计算器把由运动补偿电路产生的预测图像数据和解码器解码并产生的图像数据相加。
根据本发明，即使在使用运动矢量指示有效像素区外部的情况下，也可以提供能够在短时间内产生预测图像数据的数据处理装置及其方法，以及编码装置和解码装置。
从下面参考附图给出的优选实施例的描述中，本发明的这些和其它目的特征将变得明显，其中图1是本发明第一实施例通信系统的框图；图2是图1所示的编码装置的功能框图；图3是用于解释存储在图2所示的存储器中的有效像素区的基准图像数据和在非有效像素区外部的基准数据的视图；图4是用于解释由图2所示的运动补偿电路使用的基准运动补偿块的视图；图5是图2中所示的运动补偿电路的框图；图6是用于解释图5所示非有效像素区构成电路的处理的视图；图7是用于解释图5所示非有效像素区构成电路的处理的视图；图8是用于解释在图2所示的编码装置上使用的运动补偿块的视图；图9是解释图5所示的MV变换电路的处理的视图；图10A和10B是解释图5所示的MV变换电路的处理的视图；图11是用于解释图5所示的运动补偿电路的操作实例的流程图；图12是用于详细解释在图11中所示步骤ST2的流程图；图13是用于解释本发明第二实施例编码装置的运动补偿电路的处理的视图；
图14是用于解释本发明第二实施例编码装置的运动补偿电路的处理的视图；图15是本发明第三实施例的解码装置的框图；图16是图15所示的运动预测/补偿电路的框图；以及图17是用于解释本发明实施例的修改实例的视图。
具体实施例方式
在下文中，将参考附图描述根据本发明优选实施例的H264/AVC方法的编码装置。
第一实施例在下文中，将详细解释第一实施例通信系统的编码装置。
本实施例对应于第一、第二和第三发明。
在本实施例中，将结合实例解释通过非隔行扫描获得的数据作为成为编码目标的图像数据的情况。
图1是本实施例的通信系统1的示意图。
如图1所示，通信装置1有安置在发送端的编码装置2和安置在接收端的解码装置3。
通信系统1产生通过例如离散余弦变换和Karhunen-Loeve变换这样的正交变换和运动补偿压缩的帧图像数据(比特流)，并在发送端的编码装置2中调制之后经例如卫星广播电波、有线电视网、电话线网和移动电话线网这样的传输介质发送该帧图像数据。
在接收端，在解码接收的图像信号之后，产生和利用由正交变换的反向变换和上面提到的调制中的运动补偿展宽(stretch)的帧图像数据。
注意，上面的传输介质可以是例如光盘、磁盘和半导体存储器这样的记录介质。
图1所示的解码装置3执行相应于编码装置2编码的解码。
将在第三实施例中详细解释解码装置3。
在下文中，将解释如图1所示的编码装置2。
图2是图1所示的编码装置2的整体框图。
如图2所示，编码装置2包括，例如，A/D转换器电路22、屏幕分类(screensorting)电路23、计算电路24、正交变换电路25、量化电路26、无损耗编码电路27、缓冲器28、反向量化电路29、反向正交变换电路30、速率控制电路32、重构电路33、解块滤波器34、存储器35、运动预测电路36和运动补偿电路37。
在本实施例中，编码装置2与第三发明的编码装置相对应。
进一步，运动补偿电路37与第一发明的数据处理装置和第三发明的运动补偿电路相对应。
在下文中，将解释编码装置2的部件。
A/D转换器电路22把由输入的模拟亮度信号Y、色差信号Cb、Cr组成的原始图像信号S10转换为数字图像信号S22，并将其输出到屏幕分类电路23。
屏幕分类电路23把从A/D转换器电路22输入的图像数据S22根据由其画面(picture)类型I、P、B组成的画面组(group of pictures，GOP)结构按照编码顺序进行分类，并把经过分类的图像数据S23输出到计算电路24、速率控制电路32和运动预测电路36。
计算电路24产生指示作为在图像数据S23内部处理目标的运动补偿块MCB和相应于MCB的从运动预测/补偿电路输入的预测图像数据PI的运动补偿块RMCB2之间的差的图像数据S24，并将其输出到正交变换电路25。
正交变换电路25对图像数据S24执行例如离散余弦变换和Karhunen-Loeve变换这样的正交变换以产生图像数据S25(例如DCT系数)，并将其输出到量化电路26。
量化电路26用从速率控制电路32输入的量化尺度量化图像数据S25以产生图像数据S26，并将其输出到无损耗编码电路27和反向量化电路29。
无损耗编码电路27把执行了可变长度编码或算术编码的图像数据存储在缓冲器28中。
此时，无损耗编码电路27对从运动预测电路36输入的运动矢量MV进行编码，并在执行了间预测(inter-prediction)编码的情况下存储在报头数据中。
在执行调制等等之后，发送存储在缓冲器28中的图像数据。
反向量化电路29产生由其它运动补偿块MCB参考的基准图像数据的运动补偿块MCB的图像数据S26被反量化所得的信号，并将其输出到反向正交变换电路30。
反向正交变换电路30对从反向量化电路29输入的图像数据S26执行在正交变换电路25中的正交变换的反变换，并将其输出到重构电路33。
重构电路33相加相应于从运动补偿电路37输入的预测图像PI的运动补偿块RMCB2和从反向正交变换电路30输入的图像数据S26的运动补偿块MCB，并重构运动预测/补偿处理中参考的基准运动补偿块RMCB，并将其输出到解块过滤器34。
解块滤波器34去除从重构电路33输入的重构基准运动补偿块RMCB中的块失真，并将其写入到存储器35中。
在解块滤波器34把构成一个画面的所有基准运动补偿块RMCB写入到存储器35时，如图3所示，用于一个画面的基准图像数据REF_E存储在存储器35中。基准图像数据REF_E是关于有效像素区的图像数据，并且不包括关于有效像素区周围预定范围的非有效像素区的图像数据。
速率控制电路32产生量化参数QP以便基于，例如，从屏幕分类电路23输入的图像数据S23来精细量化图像中具有高复杂度的部分并粗略量化图像中具有低复杂度的部分。
然后，速率控制电路32基于上面产生的量化参数QP和从屏幕分类电路23读出的图像数据产生量化尺度，并将其输出到量化电路26。
运动预测电路36通过把从屏幕分类电路23输入的图像数据S23的运动补偿块MCB作为单元产生运动矢量MV。
此时，运动预测电路36实质上可以通过预定预测算法产生指示相应于存储在存储器35中的基准图像数据REF_E的有效像素区外部的运动矢量MV。
运动补偿电路37基于从运动预测电路36输入的运动矢量MV和存储在存储器35中的基准图像数据产生图像数据S23的预测图像数据PI，并将其输出到计算电路24和重构电路33。
具体地，关于构成图像数据S23的每一运动补偿块MCB，运动补偿电路37读出由从关于运动补偿块MCB的运动预测电路36输入的运动矢量MV指示的基准图像数据内部的基准运动补偿块RMCB1，并把基于读出的基准运动补偿块RMCB1产生的基准运动补偿块RMCB2输出到计算电路24和重构电路33。
这里，基准运动补偿块RMCB1是，如图4所示，对于由运动矢量MV指示的基准运动补偿块RMCB添加在垂直方向上先扫描侧的两个像素和后扫描侧的三个像素和在水平方向上先扫描侧的两个像素和后扫描侧的三个像素的像素数据的图像数据。
如上面所提到的，基准运动补偿块RMCB1由预测图像数据PI的产生算法和重构图像构成。
图5是图1所示的运动补偿电路37的框图。
正如图5所示，运动补偿电路37具有，例如，非有效像素区构成电路51、MV变换电路52、读出电路53和PI产生电路54。
这里，非有效像素区构成电路51和MV变换电路52与第一和第三发明的预处理器对应，读出电路53与第一和第三发明的阅读器对应，并且PI产生电路54与第一和第三发明的产生器对应。
另外，图5所示有效像素区的基准图像数据REF_E与第一到第三发明的第一基准图像数据对应，非有效像素区REF_N的基准图像数据与第一到第三发明的第二基准图像数据对应。
另外，运动补偿块MCB与本发明的块数据对应。
非有效像素区构成电路51，基于从存储器35中读出的图3所示的有效像素区的基准图像数据REF_E，产生在有效像素区周围的非有效像素区的基准图像数据REF_N，并将其写入存储器35。
基准图像数据REF_N，如图6所示，由基准图像数据REF_NH1、NH2、NV1和NV2构成。
如图6所示，基准图像数据REF_NH1是有关于第一非有效像素区的数据，该第一非有效像素区在沿垂直于屏幕扫描方向的垂直方向V上延伸并在水平方向H上具有16比特长的长度的第一侧L1上与有效像素区相邻。
非有效像素区构成电路51，如图7所示的，通过复制在垂直方向V上具有相同位置的第一侧L1的有效像素区内部的像素数据而产生上面提到的第一非有效像素区的像素位置的像素数据来产生基准图像数据REF_NH1。
另外，基准图像数据REF_NH2是有关于第二非有效像素区的数据，该第二非有效像素区在与上面提到的第一侧L1相对、沿垂直方向V延伸并且在水平方向H上具有16比特长的长度的第二侧L2上与有效像素区相邻。
非有效像素区构成电路51通过复制在垂直方向V上具有相同位置的第二侧L2的有效像素区内部的像素数据而产生上面提到的第二非有效像素区的像素位置的像素数据来产生基准图像数据REF_NH2。
另外，基准图像数据REF_NV1是有关于第三非有效像素区的数据，该第三非有效像素区在沿平行于屏幕扫描方向的水平方向H延伸并且在垂直方向V上具有32比特长的长度的第三侧L3上与有效像素区相邻。
非有效像素区构成电路51，如图7所示的，通过复制在水平方向H上具有相同位置的第三侧L3的有效像素区内部的像素数据而产生上面提到的第三非有效像素区的像素位置的像素数据来产生基准图像数据REF_NV1。
另外，基准图像数据REF_NV2是有关于第四非有效像素区的数据，该第四非有效像素区在与上面提到的第三侧L3相对、沿水平方向H延伸并且在垂直方向V上具有32比特长的长度的第四侧L4上与有效像素区相邻。
非有效像素区构成电路51通过复制在水平方向H上具有相同位置的第四侧L4的有效像素区内部的像素数据而产生上面提到的第四非有效像素区的像素位置的像素数据来产生基准图像数据REF_NV2。
这里，正如上面所提到的，在水平方向H上的比特长度规定为16，并且在垂直方向V上的比特长度规定为32的原因是，正如图8所示，因为运动补偿块MCB的最大尺寸是16(H)×16(V)，而后面提到的宏块对(macro blockpair)的尺寸变为16(H)×32(V)。
在从运动预测电路36输入的运动矢量MV指示图3所示有效像素区和第一到第四非有效像素区两者外部的情况下，MV变换电路52对运动矢量MV进行变换以便指示最接近的第一到第四非有效像素区的内部，并产生新的运动矢量MV1。
具体地，在由运动矢量MV标识的基准图像数据内部的基准运动补偿块RMCB1的整体或部分指示有效像素区和第一到第四非有效像素区两者外部的情况下，MV变换电路52产生运动矢量MV1以便整个基准运动补偿块RMCB1落在第一到第四非有效像素区内。
由此，例如，如图9所示，把位于有效像素区和第一到第四非有效像素区两者外部的基准运动补偿块RMCB1移动到第三非有效像素区。
进一步，即使在移动了从运动预测电路36输入的由运动矢量指示的基准图像数据内部的基准运动补偿RMCB1的情况下，整个基准运动补偿块RMCB1也没有落入第一到第四非有效像素区，MV变换电路52把RMCB1划分为图8所示的任何尺寸并获得多个运动补偿块MCB，并移动它们以便与此相应的基准运动补偿块RMCB1落在第一到第四非有效像素区内来产生对应于移动之后的每一基准运动补偿块RMCB的运动矢量MV1。
此时，对于变为在图像数据S23中的处理目标的运动补偿块MCB，以类似的方式进行划分。
MV变换电路52把图10A所示的相应于，例如，16×16运动补偿块MCB的21×21基准运动补偿块RMCB1划分为，如图10B所示，分别相应于两个8×16的运动补偿块的两个13×21的基准运动补偿块B1，B2。
然后，MV变换电路52把基准运动补偿块B2移动到第一非有效像素区。
此时，MV变换电路52以相类似的方式也把处理目标的运动补偿块MCB划分为两个8×16的运动补偿块，并在上面提到的有关它们每一个的移动之后，根据基准运动补偿块的位置产生运动矢量MV1。
读出电路53从存储器35中读出构成由从MV变换电路52输入的运动矢量MV1指示的基准运动补偿块RMCB1的像素数据，并产生它提供给PI产生电路54。
此时，通过上面提到的非有效像素区构成电路51和MV变换电路52的处理，把由运动矢量MV1指示的基准运动补偿块RMCB1的所有像素数据存储到存储器35内。因此，读出电路53每次从存储器35中读出基准运动补偿块RMCB1的像素数据时，没有必要去判断像素数据是否是有效像素区内部的数据，从而，可以使处理负荷比传统处理小。
PI产生电路54基于从读出电路53输入的构成基准运动补偿块RMCB1的像素数据产生构成预测图像数据PI的运动补偿块MCB2，并将其输出到计算电路24和重构电路33。
在下文中，是图5所示的运动预测电路36和运动补偿电路37的操作实例。
图11是用于解释图5所示运动预测电路36和运动补偿电路37操作实例的流程图。
步骤ST1运动补偿电路37判断构成由图像数据S23内部的运动补偿块MCB参考的基准图像数据的有效像素区内部的基准图像数据REF_E的所有像素数据是否通过解码处理写入了存储器35，其中图像数据S23成为运动矢量MV的产生目标(处理目标)，并且如果判断写入了，则前进到步骤ST2。
这里，上面提到的解码处理是反向量化电路29、反向正交变换电路30、重构电路33和解块滤波器34的处理。
步骤ST2
运动预测电路36通过把从屏幕分类电路23输入的图像数据S23的运动补偿块MCB作为单元产生运动矢量MV。
此时，运动补偿块36实际上可以通过预定的预测算法产生指示相应于存储在存储器35中的基准图像数据REF_E的有效像素区外部的运动矢量MV。
步骤ST3MV变换电路52把从运动预测电路36输入的运动矢量MV变换为指示图3所示有效像素区和第一到第四非有效像素区内部的新的运动矢量MV1，并将其输出到读出电路53。
MV变换电路52的处理将通过使用后面的流程图来解释。
步骤ST4非有效像素区构成电路51基于从存储器35读出的图3所示有效像素区的基准图像数据REF_E产生有效像素区周围的非有效像素区的基准图像数据REF_N，并将其写入存储器35。
具体地，非有效像素区构成电路51产生图6所示的基准图像数据REF_NH1、NH2、NV1和NV2作为基准图像数据REF_N，并将其写入存储器35。
步骤ST5读出电路53从存储器35中读出构成由从MV变换电路52输入的运动矢量MV指示的基准运动补偿块RMCB1的图像数据，并将其输出到PI产生电路54。
然后，PI产生电路54基于构成从读出电路53输入的基准运动补偿块RMCB1的像素数据产生构成预测图像数据的运动补偿块MCB2，并将其输出到计算电路24和重构电路33。
在下文中，将详细解释图11所示步骤ST2的处理。
图12是用于解释图11所示步骤ST2处理的流程图。
步骤ST21MV变换电路52判断从运动预测电路36输入的运动矢量MV是否指示图3所示有效像素区和第一到第四非有效像素区两者的外部，并且如果判断是，则前进到步骤ST22。
步骤ST22MV变换电路52变换上面提到的运动矢量MV以指示最接近运动矢量MV指示部分的第一到第四非有效像素区的内部，并产生新的运动矢量MV1。
具体地，在由运动矢量MV指示的基准图像数据内部的基准运动补偿块RMCB1的整体或部分位于有效像素区和第一到第四非有效像素区两者外部的情况下，MV变换电路52变换运动矢量MV以便基准运动补偿块RMCB1的整体都位于第一到第四非有效像素区的内部，并且产生运动矢量MV1。
步骤ST23在移动由从运动预测电路36输入的运动矢量MV指示的基准图像数据内部的基准运动补偿块RMCB1之后，MV变换电路52判断基准运动补偿块RMCB1的整体是否落在第一到第四非有效像素内部，并且如果判断没有落在其内部，则前进到步骤ST24。
步骤ST24MV变换电路52把上面提到的运动补偿块MCB1划分为图8所示的任一尺寸，获得多个运动补偿块MCB，并产生相应于多个运动补偿块MCB中每一个的运动矢量MV1以便相应于这些MCB的基准运动补偿块RMCB1落在第一到第四非有效像素区内部。
同时，也划分成为图像数据S23内部的处理目标的运动补偿块MCB。
在下文中，将解释图2所示编码装置2的整个操作。
当输入原始图像信号S10时，在A/D转换器电路22中把原始图像信号S10转换成数字图像信号。
接下来，根据成为输出的图像压缩信息的GOP结构，在屏幕分类电路23中对图像数据S22中画面进行分类，从而把获得的图像数据D23输出到计算电路24、速率控制电路32和运动预测电路36。
接下来，计算电路24检测在从屏幕分类电路23来的构成图像数据S23的运动补偿块MCB和从运动预测/补偿电路39来的预测运动补偿块RMCB2(预测图像数据PI)之间的差别，并把示出其差别的图像数据S24输出到正交变换电路25。
接下来，正交变换电路25对图像数据S24执行例如离散余弦变换和Karhunen-Loeve变换这样的正交变换，并将其输出到量化电路26。
接下来，量化电路26量化图像数据S25，并把表示量化变换系数的图像数据S26输出到无损耗编码电路27和反向量化电路29。
接下来，无损耗编码电路27对图像数据S26执行例如可变长度编码或算术编码这样的无损耗编码，并把从运动预测电路36输入的运动矢量MV加入到报头以产生图像数据，并在缓冲器28中累加它。
另外，速率控制电路32基于图像数据S23和来自缓冲器28的图像数据控制量化电路26中的量化速率。
另外，反向正交变换电路30对从量化电路26输入的图像数据S26执行反向量化，并将其输出到重构电路33。
重构电路33相加从运动补偿电路37来的预测图像数据PI和从反向正交变换电路30来的图像数据S30以产生作为重构图像的基准图像数据，并将其输出到解块滤波器34。
解块滤波器34去除从重构电路33输入的基准图像数据的块失真，并将其写入存储器35。
另外，运动预测电路36基于从屏幕分类电路23来的图像数据S23产生作为处理目标的运动补偿块MCB的运动矢量MV，并将其输出到运动补偿电路37。
然后，运动补偿电路37执行图3到图12所解释的处理以产生预测图像数据PI，并将其输出到计算电路24和重构电路33。
正如上面所解释的，在编码装置2中，在运动补偿电路37中产生预测图像数据PI之前，运动补偿电路37产生图6所示有效像素区外部的第一到第四非有效像素区的基准图像数据REF_NH1、NH2、NV1和NV2，并将其写入存储器35。
然后，补偿电路37从存储器35中读出由运动预测电路36产生的运动矢量MV指示的基准运动补偿块RMCB的像素数据，并且用以在不用判断像素数据是否是有效像素区内部的数据的情况下就能产生预测图像数据PI。
因此，根据编码装置2，与传统装置比较，在短时间内能产生预测图像数据PI。
另外，在编码装置2中，如使用图9和图10所解释的，由图5所示补偿电路37的MV变换电路52变换运动矢量MV来产生新的运动矢量MV1以便由运动矢量MV指示的基准运动补偿块RMCB落在第一到第四非有效像素区。然后，在读出电路35中从存储器35读出由运动矢量MV1指示的基准运动补偿块RMCB。
因此，根据编码装置2，即使在运动矢量MV指示有效像素区和第一到第四非有效像素区两者外部的情况下，也可以基于运动矢量MV1从存储器35中读出基准运动补偿块RMCB。
也就是说，可避免不能从存储器35中读出用于产生预测图像数据PI的基准运动补偿块RMCB的情况。
第二实施例本实施例以与第一实施例相类似的方式与第一、第二和第三发明对应。
除了在第一实施例中解释的补偿电路37的非有效像素区构成电路51的处理之外，本实施例的编码装置等同于第一实施例的编码装置2。
然而，尽管在上面第一实施例中用实例解释了由非隔行扫描获得的图像数据23，但在本实施例中，通过非隔行扫描和隔行扫描的任何一种获得图像数据S23。
在图11所示的步骤ST24中的本发明的非有效像素区构成电路51a，正如图13所示，基于有效像素区的基准图像数据以与第一实施例相类似的方式产生第一非有效像素区的基准图像数据REF_NH1和第二非有效像素区的基准图像数据REF_NH2，并将其写入存储器35中。
也就是说，非有效像素区构成电路51a不执行产生第三非有效像素区的基准图像数据REF_NV1和第四非有效像素区的基准图像数据REF_NV2并将其以块写入存储器35中的操作。
在基于运动矢量MV由运动预测电路36标识的每一基准运动补偿块RMCB1位于有效像素区和非有效像素区两者外部或横跨它们外部的情况下，非有效像素区构成电路51a基于在有效像素区中的基准图像数据复制第三和第四非有效像素区的所需的像素数据。
图14是用于解释有效像素区构成电路51a的处理的视图。
步骤ST41非有效像素区构成电路51a电路基于有效像素区的基准图像数据以与第一实施例相类似的方式产生第一非有效像素区的基准图像数据REF_NH1和第二非有效像素区的基准图像数据REF_NH2，并将其写入存储器35。
步骤ST42非有效像素区构成电路51a判断在由来自MV变换电路52的运动矢量MV1标识的基准图像数据中的基准运动补偿块RMCB1的顶部边缘(图3所示垂直方向V上的最上面边缘)的像素数据是否位于图3所示有效像素区的上边，并且当判断位于上边时前进到步骤ST43，或者当判断不是位于上边时前进到步骤ST44。
步骤ST43非有效像素区构成电路51a在上面提到的第三侧L3上复制在有效像素区内部的像素数据，并且将其写入存储器35作为基准图像数据REF_NV1的一部分，其中第三侧的位置等同于在步骤ST42中判断的在上面提到区域中水平方向H上位于有效像素区的上边的区域。
步骤ST44非有效像素区构成电路51a判断在由来自MV变换电路52的运动矢量MV1标识的基准图像数据中的基准运动补偿块RMCB1的底部边缘(图3所示垂直方向V上的最下面边缘)的像素数据是否位于图3所示有效像素区的下边，并且当判断位于下边时前进到步骤ST45，或者当不位于下边时终止该处理。
步骤ST45非有效像素区构成电路51a在上面提到的第四侧L4上复制有效像素区内部的像素数据，并且将其写入存储器35作为基准图像数据REF_NV2的一部分，其中第四侧的位置等同于在步骤ST44中判断的在上面提到区域中水平方向H上位于有效像素区下边的区域。
在本实施例中，在混合非隔行扫描和隔行扫描的情况下，通过产生仅仅关于必要区域的基准图像数据REF_NV1和REF_NV2并将其写入存储器35，可以减少写入存储器35的数量并提高处理效率。
第三实施例在本实施例中，将解释图1所示解码装置3。
本发明对应于第四发明。
图15是图1所示解码装置的功能框图。
正如图15所示，解码装置3具有，例如，累加缓冲器71、无损耗解码电路72、反向量化电路73、反向正交变换电路74、计算电路75、屏幕分类电路76、D/A转换器电路77、存储器78和运动预测/补偿电路81。
反向解码电路72对应于第四发明的解码器，存储器78对应于第四发明的存储器，运动预测/补偿电路81对应于第四发明的运动补偿电路，并且计算电路75相应于第四发明的计算器。
当接收到通过图2所示的编码装置编码、调制和发送的图像信号时，累加缓冲器71存储通过解调获得的图像数据并且解码该图像数据。
无损耗解码电路72对从累加缓冲器71输入的图像数据S71执行相应于编码处理的解码处理，把通过该处理获得的图像数据输出到反向量化电路73，并把在解码处理过程中获得的运动矢量MV输出到运动预测/补偿电路81。
反向量化变化电路73对从无损耗解码电路73输入的图像数据执行相应于图25所示正交变换电路25的正交变换处理的反向正交变换，并把通过该处理获得的图像数据输出到计算电路75。
计算电路75相加来自反向正交变换电路74的图像数据S74和来自运动预测/补偿电路81的预测图像数据PI以产生图像数据S75，将其输出到屏幕分类电路76，并将其写入存储器78。
写入存储器78的图像数据S75等同于图3所示有效像素区内部的基准图像数据REF_E。
屏幕分类电路76产生图像信号并将其输出到D/A转换器电路77，其中按照显示顺序分类由图像数据S75指示的画面。
D/A转换器电路77把从屏幕分类电路76输入的数字图像数据转换为模拟图像数据并输出它。
运动预测/补偿电路81基于从无损耗解码电路72输入的运动矢量MV和从存储器78读出的基准图像数据产生预测图像数据，并将其输出到计算电路75。
图16是图15所示运动预测/补偿电路81的框图。
如图16所示，运动预测/补偿电路81具有，例如，非有效像素区构成电路91、MV变换电路92、读出电路93和PI产生电路94。
这里，非有效像素区构成电路91、MV变换电路92、读出电路93和PI产生电路94等同于非有效像素区构成电路51、MV变换电路52、读出电路53和PI产生电路54。
这里，非有效像素区构成电路91对应于第四发明的预处理器，读出电路93对应于第四发明的阅读器，和PI产生电路对应于第四发明的产生器。
然而，非有效像素区构成电路91和读出电路93存取图16所示的存储器78。
另外，MV变换电路92输入来自图15所示无损耗解码电路72的运动矢量MV。
另外，PI产生电路94输出用于图15所示的计算电路75的构成预测图像数据PI的运动补偿块MCB。
在下文中，将解释解码装置3的整个操作实例。
在解码装置3中，在存储到缓冲器71之后把成为输入的图像数据输出到无损耗解码电路72。然后，在无损耗解码电路72中，基于预定图像压缩信息的格式执行例如可变长度编码和算术编码这样的处理。同时，在帧是互编码(inter-coded)帧的情况下，在无损耗解码电路72中，执行上面提到的操作，并且存储在图像数据的报头部分的运动矢量VD被解码和输出到运动预测/补偿电路81。
把成为无损耗解码电路72输出的量化变换系数输入到反向量化电路73，并在这里产生变换系数。对于该变换系数，基于图像压缩信息的预定格式执行例如反向离散余弦变换和反向Karhunen-Loeve变换这样的反向正交变换。在帧是内编码(intra-coded)帧的情况下，把执行了反向正交变换处理的图像信息存储到屏幕分类电路76，并通过D/A转换器77的D/A转换处理输出。
相反地，在帧是互编码帧的情况下，在运动预测/补偿电路81中，基于运动矢量MV和存储在存储器78中的基准图像数据产生预测图像数据PI，并且在计算电路75中相加该预测数据PI和从反向正交变换电路74输出的图像数据S74。
正如上面解释的，在解码装置3中，在运动预测/补偿电路81中，在产生预测图像数据PI之前，产生在图6所示有效像素区外部的第一到第四非有效像素区的基准图像数据REF_NH1、NH2、NV1和NV2，并写入存储器35。
然后，运动预测/补偿电路81从存储器35中读出由上面产生的运动矢量MV指示的基准运动补偿块RMCB的像素数据，并且将它用于在无需判断像素数据是否是有效像素区内部的数据的情况下就可以产生预测图像数据PI中。
因此，根据解码装置3，与传统装置比较，能在短时间内产生预测图像数据PI。
注意，本发明并不局限于上面的实施例，并且本发明包括在权利要求书范围内的修改。
在上面提到的实施例中，作为本实施例的块数据，用实例解释了图8所示运动补偿块MCB，然而，如图17所示，可以使用相应于通过在垂直方向上安排两个运动补偿块MCB构成的宏块对的基准运动补偿块RMCB1。
权利要求
1.一种数据处理装置，用于基于运动矢量和有效像素区的第一基准图像数据产生编码目标或者解码目标的图像数据的预测图像数据，包括存储器，用于存储所述第一基准图像数据；预处理器，用于在产生所述预测图像数据之前，基于存储在所述存储器中的所述第一基准图像数据产生所述有效像素区周围的预定非有效像素区的第二基准图像数据，并将其写入所述存储器；阅读器，用于在所述运动矢量指示所述非有效像素区的情况下，基于所述运动矢量读出由所述预处理器写入所述存储器的所述第二基准图像数据，以及产生器，用于基于由所述阅读器读出的所述第二基准图像数据产生所述预测图像数据。
2.根据权利要求1所述数据处理装置，其中在所述运动矢量指示所述有效像素区和所述非有效像素区两者的外部的情况下，所述预处理器变换所述运动矢量以使它指示所述非有效像素区的内部，所述阅读器基于由所述预处理器变换并产生的所述运动矢量从所述存储器中读出所述第二基准图像数据。
3.根据权利要求1所述的数据处理装置，其中所述预处理器变换所述运动矢量以便在关于构成所述图像数据的多个块数据的每一个规定所述运动矢量并且由所述运动矢量指示的整个或部分基准块数据位于所述有效像素区和所述非有效像素区的外部的情况下，整个该基准块数据落在所述非有效像素区内。
4.根据权利要求1所述的数据处理装置，其中所述预处理器变换所述运动矢量以便在关于构成所述图像数据的多个块数据的每一个规定所述运动矢量并且由所述运动矢量指示的基准块数据没有落在非有效像素区内的情况下，通过划分所述基准块数据获得的每一个分割基准块数据落在所述非有效像素区内。
5.根据权利要求1所述的数据处理装置，其中在仅将隔行扫描或非隔行扫描之一应用到产生所述预测图像数据的多个该图像数据的情况下，所述预处理器规定在第一侧与所述有效像素区相邻的第一非有效像素区、在第二侧与所述有效像素区相邻的第二非有效像素区、在第三侧与所述有效像素区相邻的第三非有效像素区和在第四侧与所述有效像素区相邻的第四非有效像素区的每一个，其中所述第一侧将所述有效像素区规定为矩形并在垂直于屏幕扫描方向的垂直方向上延伸，所述第二侧与所述第一侧相对并且在所述垂直方向上延伸，所述第三侧在平行于所述屏幕扫描方向的水平方向上延伸，和所述第四侧与所述第三侧相对并且在所述水平方向上延伸，并且，所述预处理器基于所述第一基准图像数据产生所述第二基准图像数据并将其写入所述存储器中以便所述第一非有效像素区的像素位置的像素数据等同于其位置在垂直方向上等同于所述第一非有效像素区的所述第一侧上的所述有效像素区内的像素数据，所述第二非有效像素区的像素位置的像素数据等同于其位置在垂直方向上等同于所述第二非有效像素区的所述第二侧上的所述有效像素区内的像素数据，所述第三非有效像素区的像素位置的像素数据等同于其位置在水平方向上等同于所述第三非有效像素区的所述第三侧上的所述有效像素区内的像素数据，并且所述第四非有效像素区的像素位置的像素数据等同于其位置在水平方向上等同于所述第四非有效像素区的所述第四侧上的所述有效像素区内的像素数据。
6.根据权利要求1所述的数据处理装置，其中在产生所述预测图像数据的多个所述图像数据中混合应用了隔行扫描的所述图像数据和应用了非隔行扫描的所述图像数据的情况下，所述预处理器规定在第一侧与所述有效像素区相邻的第一非有效像素区和在第二侧与所述有效像素区相邻的第二非有效像素区的每一个，其中所述第一侧将所述有效像素区规定为矩形并在垂直于屏幕扫描方向的垂直方向上延伸，所述第二侧与所述第一侧相对并且在所述垂直方向上延伸，并且，所述预处理器基于所述第一基准图像数据产生所述第二基准图像数据并将其写入所述存储器中以便所述第一非有效像素区的像素位置的像素数据等同于其位置在垂直方向上等同于所述第一非有效像素区的所述第一侧上的所述有效像素区内的像素数据，所述第二非有效像素区的像素位置的像素数据等同于其位置在垂直方向上等同于所述第二非有效像素区的所述第二侧上的所述有效像素区内的像素数据。
7.一种基于运动矢量和有效像素区的第一基准图像数据产生编码目标或解码目标的图像数据的预测图像数据的数据处理方法，包括第一步骤，基于存储在存储器中的所述第一基准图像数据产生所述有效像素区周围的预定非有效像素区的第二基准图像数据并将其写入所述存储器；第二步骤，在所述运动矢量指示所述非有效像素区的情况下，基于所述运动矢量读出在所述第一步骤中写入所述存储器中的所述第二基准图像数据，以及第三步骤，基于在所述第二步骤中从所述存储器中读出的所述第二基准图像数据产生所述预测图像数据。
8.一种编码装置，包括编码器，用于对编码的图像数据和预测图像数据之间的差进行编码；存储器，用于存储有效像素区的第一基准图像数据；运动预测电路，用于产生所述编码的图像数据的运动矢量；和运动补偿电路，用于基于由所述运动预测电路产生的所述运动矢量和存储在所述存储器中的所述基准图像数据产生所述预测图像数据，其中所述运动补偿电路包括预处理器，用于在产生所述预测图像数据之前、基于存储在所述存储器中的所述第一基准图像数据产生所述有效像素区周围的预定非有效像素区的第二基准图像数据并将其写入所述存储器中；阅读器，用于在由所述运动预测电路产生的所述运动矢量指示所述非有效像素区的情况下、基于所述运动矢量读出由所述预处理过程写入所述存储器的所述第二基准图像数据，和产生器，用于基于由所述阅读器读出的所述第二基准图像数据产生所述预测图像数据。
9.一种解码装置，包括解码器，用于对作为解码目标的图像数据进行解码；存储器，用于存储解码后的有效像素区的第一基准图像数据；运动补偿电路，用于基于添加到作为所述解码目标的图像数据的运动矢量和从所述存储器中读出的所述第一基准图像数据产生预测图像数据，以及计算器，用于相加由所述运动补偿电路产生的所述预测图像数据和由所述解码器解码并产生的图像数据，其中所述运动补偿电路包含预处理器，用于在产生所述预测图像数据之前、基于存储在所述存储器中的所述第一基准图像数据产生所述有效像素区周围的预定非有效像素区的第二基准图像数据并将其写入所述存储器中；阅读器，用于在由所述运动补偿电路产生的所述运动矢量指示所述非有效像素区的情况下、基于所述运动矢量读出由所述预处理过程写入所述存储器中的所述第二基准图像数据，以及产生器，用于基于由所述阅读器读出的所述第二基准图像数据产生所述预测图像数据。
全文摘要
一种即使在使用指示有效像素区外部的运动矢量的情况下也能在短时间内产生预测图像数据的数据处理装置。运动补偿电路基于通过解码存储在存储器中的有效像素区内部的基准图像数据产生有效像素区外部的基准并将其写入存储器。在运动矢量MV指示有效像素区外部的情况下，运动补偿电路基于存储在存储器中的有效像素区外部的基准图像数据产生预测图像数据。
文档编号H04N7/26GK1652608SQ20051005420
公开日2005年8月10日 申请日期2005年2月5日 优先权日2004年2月5日
发明者山根真人, 泉伸明, 渡辺真司 申请人:索尼株式会社