专利名称：无附加帧存储器基于块边界的差和量化因子的去块效应法的制作方法
技术领域：
本发明涉及频图象信号压缩码流的解码，特别是涉及到去除视频图象信号高压缩比编解码中产生的块效应的一种视频图像信号中无附加帧存储器基于块边界的差和量化因子的去块效应法。
(2)背景技术目前几乎所有的视频图象信号国际压缩标准，如VCD中所用的MPEG1、DVD中所用的MPEG2和可视手机中所用的MPEG4等，都是把一帧图象划分成若干块8×8象素的所谓子块，然后对各个子块分别进行数据压缩和编码。如MPEG1的一帧图象有352×288个象素，在进行编码压缩时，需要把一帧图象划分成44×36＝1584块子块(如图1所示)。
对图1中每一子块进行编码压缩的过程可分为下列步骤1)运动估计(motion estimation)；2)离散余弦变换(DCT)；3)离散余弦变换系数的量化(quantization)；4)可变长度编码(variable length coding)。
编码压缩后所产生的码流的数据量比原图象的数据量大为减少，从而达到数据压缩的目的。当需要重新播放被压缩的视频图象的时候，就要对码流进行解码解压缩来恢复和重现原来的图象。
参见图2，对码流的解码过程可分为下列步骤1)码流进行可变长度解码VLD(variable length decoding)得到量化的离散余弦变换系数和量化因子；2)离散余弦变换系数的逆量化IQ(inverse quantization)产生出离散余弦变换系数；3)逆离散余弦变换IDCT(inverse discrete cosine transform)产生出象素或象素差；4)运动补偿MC(motion compensation)如果上述步骤3产生出象素，则直接把象素值储存到当前帧(第N帧)复原图象存储器，如果上述步骤3产生出象素差，则把象素差加到前一帧(第N-1帧)复原图象存储器中的某个象素上得到象素值并把此象素值储存到当前帧(第N帧)复原图象存储器，然后至图像显示器。
当图象的压缩比很高的时候，这种基于子块的编码压缩可能引起所谓的块效应(Blocking)，即解码后的复原图象在子块之间的边缘处表现出基于子块处理的痕迹，使人们能够注意到整个图象似乎是由很多子块拼起来的。为了减少这种块效应，在高压缩比的情况下，必须对复原图象进行去块效应(Deblocking)的后处理。加上去块效应的后处理，码流的解码过程可参见图3的原理方框图表示。
图3中在当前帧(第N帧)复原图象存储器后加入去块效应(Deblocking)的后处理和去块效应之后的复原图象帧存储器，在去块效应的运算中，需要用到量化因子及离散余弦变换系数。
目前已公开的去块效应的现有技术都具有下列技术特征1、需要一附加的帧存储器来储存去块效应之后的复原图象；2、去块效应运算中，不仅需要用到量化因子，而且需要用到离散余弦变换系数。
这些现有技术的相关专利有1)三星电子株式会社的信号自适应滤波方法，信号自适应滤波器及其存储程序的计算机可读介质(中国专利公开号1264482A，申请号98807265.3)；2)大宇电子株式会社的用于去除运动画面解码器中成块效应的装置及方法(中国专利公开号1174478A，申请号97104266.7)；3)大宇电子株式会社的能减小分块效应的视频信号解码装置(中国专利公开号1112335A，申请号95104750.7)。
由于需要增加一整帧，在某些情况下甚至需要增加二整帧的存储空间，并且对离散余弦变换系数进行运算还需要另外的存储空间和大量的运算逻辑电路，现有的去块效应的方法不适用于在集成电路芯片上实现，特别是集成到一个片上系统(System-on-Chip即SoC)中。
(3)发明内容本发明的目的在于提出一种适用于在集成电路芯片上实现，特别是集成到一个片上系统中的视频图像信号中无附加帧存储器基于块边界的差和量化因子的去块效应法。
本发明的目的是这样实现的一种无附加帧存储器基于块边界的差和量化因子的去块效应法.是一种对图象信号压缩码流进行解码的方法，所述的解码的步骤为(1)对码流进行可变长度解码VLD得到量化的离散余弦变换系数和量化因子；(2)离散余弦变换系数的逆量化IQ产生出离散余弦变换系数；(3)逆离散余弦变换IDCT产生出象素或象素差；(4)运动补偿MC如果上述步骤3产生出象素，则直接把象素值储存到当前帧(第N帧)复原图象存储器，如果上述步骤3产生出象素差，则把象素差加到前一帧(第N-1帧)复原图象存储器中的某个象素上得到象素值并把此象素值储存到当前帧(第N帧)复原图象存储器；(5)用去块效应的装置对当前帧(第N帧)复原图象存储器中的复原图象进行去块效应处理，其特征在于所述的步骤(5)中去块效应处理的方法包括用去块效应补偿量决定器和去块效应补偿运算器根据所述的解码后复原图象的相邻子块(8×8象素为一块子块)的边界象素的差值和量化因子来决定是否要对某子块中的象素P(I，j)进行去块效应的补偿处理以及各个象素的补偿量ΔP(i，j)，从而去除当前帧(第N帧)复原图象存储器中视频图象信号因高压缩比编解码中产生的块效应；去除块效应的视频图象信号直接至图像显示部。
本发明的功效提出一种适用于在集成电路芯片上实现，特别是集成到一个片上系统中的去除块效应的方法和装置。这种方法不需要附加的帧存储器，只使用解码后复原图象的相邻子块的边界象素的差值和量化因子来决定是否要对某子块中的象素进行去块效应的补偿处理以及各个象素的补偿程度。此外，本装置中去除块效应的视频图象信号直接送至图像显示部显示。因此，本发明克服了现有技术中的去块处理需要一附加的帧存储器来储存去块效应之后的复原图象以及去块效应运算中，不仅需要用到量化因子，而且需要用到离散余弦变换系数的缺点。
为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。
(4)
图1为现有技术中的一帧图像划分成若干子块的原理图；图2为现有技术中码流的解码过程原理方框图；图3为现有技术中有去块效应的码流的解码过程原理方框图；图4为本发明的原理方框图；图5为本发明中子块的原理图；图6为图4中所述的去块效应补偿量决定器的组成原理图；图7为图4中所述的去块效应补偿运算器的工作流程原理图。
(5)具体实施方式
请参阅图4，为本发明的原理方框图，本发明中对图象信号压缩码流的解码过程可分为下列步骤1、码流进行可变长度解码VLD得到量化的离散余弦变换系数和量化因子；2、离散余弦变换系数的逆量化IQ产生出离散余弦变换系数；3、逆离散余弦变换IDCT产生出象素或象素差；4、运动补偿MC如果上述步骤3产生出象素，则直接把象素值储存到当前帧(第N帧)复原图象存储器，如果上述步骤3产生出象素差，则把象素差加到前一帧(第N-1帧)复原图象存储器中的某个象素上得到象素值并把此象素值储存到当前帧(第N帧)复原图象存储器；5、去块效应补偿量决定器和去块效应补偿运算器使用解码后复原图象的相邻子块的边界象素的差值和量化因子来决定是否要对某子块中的象素P(i，j)进行去块效应的补偿处理以及各个象素的补偿程度(即补偿量ΔP(i，j))，从而去除当前帧(第N帧)复原图象存储器中视频图象信号因高压缩比编解码中产生的块效应。
6、去除块效应的视频图象信号直接至图像显示部。
步骤5中象素P(I，j)的去块效应补偿量ΔP(i，j)由两部分相加而成ΔP(i，j)＝ΔPv(i，j)+ΔPh(i，j)其中ΔPv(i，j)是垂直边界去块效应补偿量，其数值由下列三个因素决定1)离象素P(i，j)最近的垂直子块边界上相邻象素的差值；2)象素P(i，j)所在的子块的量化因子；3)象素P(i，j)与离其最近的垂直子块边界的距离。
其中ΔPh(i，j)是水平边界去块效应补偿量，其数值由下列三个因素决定1)离象素P(i，j)最近的水平子块边界上相邻象素的差；2)象素P(i，j)所在的子块的量化因子；3)象素P(i，j)与离其最近的水平子块边界的距离。
图4中去块效应补偿量决定器决定了该象素P(i，j)的去块效应补偿量ΔP(i，j)之后，去块效应补偿运算器进行下列加法运算求得去块效应后的象素值P’(i，j)P’(i，j)＝P(i，j)+ΔP(i，j)＝P(i，j)+ΔPv(i，j)+ΔPh(i，j)。
参见图5，图5为本发明中子块的原理图，其中以象素P(12，11)(图中有斜线的象素)为例其垂直边界去块效应补偿量ΔPv(12，11)的数值由下列三个因素决定1)离P(12，11)最近的垂直子块边界上相邻两象素P(12，8)和P(12，9)的差值；2)子块46的量化因子；3)象素P(12，11)与离其最近的垂直子块边界的距离，也就是3。
而象素P(12，11)的水平边界去块效应补偿量ΔPh(12，11)的数值由下列三个因素决定1)离P(12，11)最近的水平子块边界上相邻两象素P(8，11)和P(9，11)的差值；2)子块46的量化因子；3)象素P(12，11)与离其最近的水平子块边界的距离，也就是4。
去块效应补偿量决定器决定了P(12，11)的去块效应补偿量ΔP(12，11)之后，去块效应补偿运算器进行下列加法运算求得去块效应后的象素值P’(12，11)P’(12，11)＝P(12，11)+ΔP(12，11)＝P(12，11)+ΔPv(12，11)+ΔPh(12，11)。
参见图6，图6是图4中所述的去块效应补偿量决定器的组成原理图，去块效应补偿量决定器由下列部分组成1、垂直子块边界相邻象素读取器2、垂直子块边界相邻象素差计算器3、垂直象素差与量化因子比较器4、垂直子块边界相邻象素差存储器5、垂直边界去块效应补偿量决定器
6、水平子块边界相邻象素读取器7、水平子块边界相邻象素差计算器8、水平象素差与量化因子比较器9、水平子块边界相邻象素差存储器10、水平边界去块效应补偿量决定器11、当前显示象素位置(i，j)读取器去块效应补偿量决定器的典型工作流程为垂直子块边界相邻象素读取器读取当前显示象素P(i，j)右边最近的垂直子块边界上的两相邻象素的数值，例如，当前显示象素P(i，j)为图5中的象素A＝P(12，5)时，这两相邻象素为D＝P(12，8)和E＝P(12，9)；垂直子块边界相邻象素差计算器计算两相邻象素数值的差(设为dv)，例如，计算dv＝D-E；垂直象素差与量化因子比较器把计算得到的象素差与量化因子(设为Q)进行比较，把此差值限制在一定范围内if(dv＜-Q)dv＝-Qelse if(dv＞Q)dv＝Q；把此差值dv存入垂直子块边界相邻象素差存储器。这是因为dv将被多次用到。例如，dv＝D-E不但会在计算象素A＝P(12，5)的垂直边界去块效应补偿量时被用到，而且将在计算象素B、C、D、E、F、G和H的垂直边界去块效应补偿量时被多次用到。把dv存储起来后，在计算象素B、C、D、E、F、G和H的垂直边界去块效应补偿量时，就不需要重复前面的3个步骤来计算dv了；当前显示象素位置读取器读取当前显示象素的位置(i，j)；垂直边界去块效应补偿量决定器根据当前显示象素的位置(i，j)与离其最近的垂直子块边界的距离(可能的距离值为-4、-3、-2、-1、1、2、3或4)和dv的值来决定当前显示象素P(i，j)的垂直边界去块效应补偿量ΔPv(i，j)(补偿量的可能值为-dv/8、-dv/4、-3*dv/8、-dv/2、3*dv/8、dv/4、dv/8或0)，例如，象素A、B、C、D、E、F、G和H的垂直边界去块效应补偿量分别为-dv/8、-dv/4、-3*dv/8、-dv/2、3*dv/8、dv/4、dv/8和0；
水平子块边界相邻象素读取器读取当前显示象素P(i，j)下面最近的水平子块边界上的两相邻象素的数值，例如，当前显示象素P(i，j)为前图5中的象素I＝P(5，11)时，这两相邻象素为L＝P(8，11)和M＝P(9，11)；水平子块边界相邻象素差计算器计算两相邻象素数值的差(设为dh)，例如，计算dh＝L-M；水平象素差与量化因子比较器把计算得到的象素差与量化因子Q进行比较，把此差值限制在一定范围内if(dh＜-Q)dh＝-Qelse if(dh＞Q)dh＝Q；把此差值dh存入水平子块边界相邻象素差行存储器。这是因为dh将被多次用到。例如，dh＝L-M不但会在计算象素I＝P(5，11)的水平边界去块效应补偿量时被用到，而且将在计算象素J、K、L、M、M、O和G的水平边界去块效应补偿量时被多次用到。把dh存储起来后，在计算象素J、K、L、M、M、O和G的水平边界去块效应补偿量时，就不需要重复前面的3个步骤来计算dh了。因为图象显示是逐行进行的，在图象象素I被送往图象显示器显示之后，要经过一整行的时间，才是显示图象象素J的时候，所以一整行的水平子块边界相邻象素差都必须被存储起来，以备后用，故称之为“行存储器”；水平边界去块效应补偿量决定器根据当前显示象素的位置(i，j)与离其最近的水平子块边界的距离(可能的距离值为-4、-3、-2、-1、1、2、3或4)和dh的值来决定当前显示象素P(i，j)的水平边界去块效应补偿量ΔPh(i，j)(补偿量的可能值为-dh/8、-dh/4、-3*dh/8、-dh/2、3*dh/8、dh/4、dh/8或0)，例如，象素I、J、K、L、M、M、O和G的水平边界去块效应补偿量分别为-dh/8、-dh/4、-3*dh/8、-dh/2、3*dh/8、dh/4、dh/8和0。
对一帧图象的最上面4行、最下面4行、最左边4列和最右边4列的象素不进行任何去块效应补偿，也就是ΔPh(i，j)＝ΔPv(i，j)＝0，因此P’(i，j)＝P(i，j)，以352×288象素的图象为例，对第1、2、3、4、285、286、287和288行以及第1、2、3、4、349、350、351和352列的象素不进行去块效应补偿。
参见图7，图7是图4中所述的去块效应运算器的工作流程原理图，去块效应补偿运算器由下列部分组成1、当前显示象素P(i，j)读取器；2、去块效应补偿加法器。
去块效应补偿运算器的典型工作流程为当前显示象素读取器从当前帧(第N帧)复原图象存储器中读取当前显示象素P(i，j)；去块效应补偿加法器把来自当前显示象素读取器的象素P(i，j)和来自去块效应补偿量决定器的垂直边界去块效应补偿量ΔPv(i，j)及水平边界去块效应补偿量ΔPh(i，j)相加起来得到去块效应后的象素值P’(i，j)P’(i，j)＝P(i，j)+ΔPv(i，j)+ΔPh(i，j)；然后把去块效应后的象素值P’(i，j)送往图象显示器显示。
当然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。
权利要求
1.一种无附加帧存储器基于块边界的差和量化因子的去块效应法，是一种对图象信号压缩码流进行解码的方法，所述的解码的步骤为(1)对码流进行可变长度解码VLD得到量化的离散余弦变换系数和量化因子；(2)离散余弦变换系数的逆量化IQ产生出离散余弦变换系数；(3)逆离散余弦变换IDCT产生出象素或象素差；(4)运动补偿MC如果上述步骤3产生出象素，则直接把象素值储存到当前帧(第N帧)复原图象存储器，如果上述步骤3产生出象素差，则把象素差加到前一帧(第N-1帧)复原图象存储器中的某个象素上得到象素值并把此象素值储存到当前帧(第N帧)复原图象存储器；(5)用去块效应的装置对当前帧(第N帧)复原图象存储器中的复原图象进行去块效应处理，其特征在于所述的步骤(5)中去块效应处理的方法包括用去块效应补偿量决定器和去块效应补偿运算器根据所述的解码后复原图象的相邻子块(8×8象素为一块子块)的边界象素的差值和量化因子来决定是否要对某子块中的象素P(I，j)进行去块效应的补偿处理以及各个象素的补偿量ΔP(i，j)，从而去除当前帧(第N帧)复原图象存储器中视频图象信号因高压缩比编解码中产生的块效应；去除块效应的视频图象信号直接至图像显示部。
2.如权利要求1所述的一种无附加帧存储器基于块边界的差和量化因子的去块效应法，其特征在于所述的去块效应处理方法中的象素P(I，j)的去块效应补偿量ΔP(i，j)由两部分相加而成ΔP(i，j)＝ΔPv(i，j)+ΔPh(i，j)。
3.如权利要求2所述的一种无附加帧存储器基于块边界的差和量化因子的去块效应法，其特征在于所述的去块效应补偿量ΔP(i，j)中的ΔPv(i，j)是垂直边界去块效应补偿量，其数值由下列三个因素决定(1)离象素P(i，j)最近的垂直子块边界上相邻象素的差值；(2)象素P(i，j)所在的子块的量化因子；(3)象素P(i，j)与离其最近的垂直子块边界的距离。
4.如权利要求2所述的一种无附加帧存储器基于块边界的差和量化因子的去块效应法，其特征在于所述的去块效应补偿量ΔP(i，j)中的ΔPh(i，j)是水平边界去块效应补偿量，其数值由下列三个因素决定(1)离象素P(i，j)最近的水平子块边界上相邻象素的差；(2)象素P(i，j)所在的子块的量化因子；(3)象素P(i，j)与离其最近的水平子块边界的距离。
5.如权利要求1、2所述的一种无附加帧存储器基于块边界的差和量化因子的去块效应法，其特征在于所述的去块效应处理方法中的去块效应补偿量决定器的工作流程为垂直子块边界相邻象素读取器读取当前显示象素P(i，j)右边最近的垂直子块边界上的两相邻象素的数值；垂直子块边界相邻象素差计算器计算两相邻象素数值的差(设为dv)；垂直象素差与量化因子比较器把计算得到的象素差与量化因子(设为Q)进行比较，把此差值限制在一定范围内if(dv＜-Q)dv＝-Qelse if(dv＞Q)dv＝Q；把此差值dv存入垂直子块边界相邻象素差存储器(这是因为dv将被多次用到)；当前显示象素位置读取器读取当前显示象素的位置(i，j)；垂直边界去块效应补偿量决定器根据当前显示象素的位置(i，j)与离其最近的垂直子块边界的距离(可能的距离值为-4、-3、-2、-1、1、2、3或4)和dv的值来决定当前显示象素P(i，j)的垂直边界去块效应补偿量ΔPv(i，j)(补偿量的可能值为-dv/8、-dv/4、-3*dv/8、-dv/2、3*dv/8、dv/4、dv/8或0)；水平子块边界相邻象素读取器读取当前显示象素P(i，j)下面最近的水平子块边界上的两相邻象素的数值；水平子块边界相邻象素差计算器计算两相邻象素数值的差(设为dh)；水平象素差与量化因子比较器把计算得到的象素差与量化因子Q进行比较，把此差值限制在一定范围内if(dh＜-Q)dh＝-Qelse if(dh＞Q)dh＝Q；把此差值dh存入水平子块边界相邻象素差行存储器(这是因为dh将被多次用到)；水平边界去块效应补偿量决定器根据当前显示象素的位置(i，j)与离其最近的水平子块边界的距离(可能的距离值为-4、-3、-2、-1、1、2、3或4)和dh的值来决定当前显示象素P(i，j)的水平边界去块效应补偿量ΔPh(i，j)(补偿量的可能值为-dh/8、-dh/4、-3*dh/8、-dh/2、3*dh/8、dh/4、dh/8或0)。
6.如权利要求1、2所述的一种无附加帧存储器基于块边界的差和量化因子的去块效应法，其特征在于所述的去块效应处理方法中的去块效应运算器的工作流程为当前显示象素读取器从当前帧(第N帧)复原图象存储器中读取当前显示象素P(i，j)；去块效应补偿加法器把来自当前显示象素读取器的象素P(i，j)和来自去块效应补偿量决定器的垂直边界去块效应补偿量ΔPv(i，j)及水平边界去块效应补偿量ΔPh(i，j)相加起来得到去块效应后的象素值P’(i，j)P’(i，j)＝P(i，j)+ΔPv(i，j)+ΔPh(i，j)；然后把去块效应后的象素值P’(i，j)直接送往图象显示器显示。
全文摘要
一种无附加帧存储器基于块边界的差和量化因子的去块效应法，是一种对图象信号压缩码流进行解码的方法，用去块效应的装置对当前帧复原图象存储器中的复原图象进行去块效应处理。去块效应处理是用去块效应补偿量决定器和去块效应补偿运算器根据所述的解码后复原图象的相邻子块的边界象素的差值和量化因子来决定是否要对某子块中的象素进行去块效应的补偿处理以及各个象素的补偿程度，从而去除当前帧复原图象存储器中视频图象信号因高压缩比编解码中产生的块效应。本发明提出一种适用于在集成电路芯片上实现，特别是集成到一个片上系统中的去除块效应的方法和装置，不需要附加的帧存储器，去除块效应的视频图象信号直接送至图像显示部。
文档编号H04N5/93GK1398115SQ0213614
公开日2003年2月19日 申请日期2002年7月22日 优先权日2002年7月22日
发明者林涛, 林争辉 申请人:上海芯华微电子有限公司