专利名称：一种Wyner-ziv视频编解码方法
技术领域：
本发明涉及一种视频编解码技术，尤其是涉及一种Wyner-ziv视频编解码方法。
背景技术：
Wyner-ziv视频编解码技术是近年来国际上提出的一种新兴视频编解码方式，它能 满足一些无线终端设备低编码复杂度、低功耗的视频编码压縮要求，因此有着较为广泛 的应用前景。然而压縮效率低下、重建图像质量不高是当前Wyner-ziv视频编解码技术 所面临的问题。其主要原因在于与传统视频编码方法在编码端进行运动估计有所不同， Wyner-ziv视频编码方法在解码端实施运动估计，由于解码端的运动估计中不可能得到 当前帧的原始帧，因而运动估计的准确性将受到影响，使得其后的仅仅通过运动估计插 值(MEI， Motion Estimation Interpolation)技术插值出的Wyner-ziv帧的边信息与原始 Wyner-ziv帧相差较大，解码端不得不请求编码端发送大量的校验比特，从而造成 Wyner-ziv视频编解码方法的率失真性能不佳。
发明内本发明所要解决的技术问题是提供一种Wyner-ziv视频编解码方法，其通过利用时 间轴上的图像重组方法，提高重组后的关键帧图像与Wyner-ziv帧图像之间的相关性， 使解码端能利用已有的关键帧图像的数据插值得到质量较高的Wyner-ziv帧图像的边信 息。
本发明解决上述技术问题所采用的技术方案为 一种Wyner-ziv视频编解码方法， 它包括以下步骤
a.在编码端，将时域上相邻的前后两帧图像分别定义为前一时刻图像和后一时刻图 像，前一时刻图像记为i^，后一时刻图像记为《；将i^根据其自身的各个像素的位
置信息分解成F二和F二两部分，将《根据其自身的各个像素的位置信息分解成W和A2
两部分，再根据图像重组方法将F二和"、F丄和F,2分别重组为两帧新图像，将"一和《1
重组得到的新图像记为/ —p将/^和《2重组得到的新图像记为/ ;定义/"一为关键帧
图像及/ 为Wyner-ziv帧图像，将关键帧图像/ —,和Wyner-ziv帧图像/ 分别送入 Wyner-ziv编码器，对关键帧图像进行帧内编码，对Wyner-ziv帧图像/ 进行 Wyner-ziv帧编码，将Wyner-ziv帧图像/ 编码后得到的校验比特缓存在编码端以供解 码端请求时发送给解码端；将编码后的关键帧图像/ _,通过网络传输给解码端；
b.在解码端，将接收到的编码后的关键帧图像/ _,通过Wyner-ziv解码器解码得到
关键帧图像/ —,的解码重建图像乙,，然后对/ —,进行低通滤波得到滤波后的重建图像 / 一 ，再根据编码端所采用的图像重组方法对/"一进行反重组分离得到包含在前一时刻图 像FM中的《"和包含在后一时刻图像《中的《；采用公知的图像自适应插值方法对 《h和巧分别进行自适应插值得到与前一时刻图像i^—,和后一时刻图像《的分辨率相同 的F二和F/;再根据编码端所采用的图像重组方法将/^分解成i^和i^两部分，将玎 分解成if和if两部分，将i^和if重组为/;;，定义/:为Wyner-ziv帧图像/ 的边信
息；利用关键帧图像/ —,的解码重建图像i"—p边信息/;;以及解码端向编码端请求发送的
校验比特通过Wyner-ziv解码器解码得到Wyner-ziv帧图像/ 的解码重建图像& ;根据 编码端所采用的图像重组方法对关键帧图像/^的解码重建图像L和Wyner-ziv帧图像 /。的解码重建图像A进行反重组分离得到前一时刻图像i^的解码重建图像/^和后一 时刻图像《的解码重建图像爲。
所述的图像重组方法采用行图像重组模式、列图像重组模式、行交织图像重组模式、 列交织图像重组模式、像素交织图像重组模式中的任一种模式。
所述的行图像重组模式为以下两类方式中的一种1)取前一时刻图像fm和后一时 刻图像K的奇数行像素组成一帧新图像，取Fw和F,的偶数行像素组成另一帧新图像， 将这两帧新图像中的一帧记为/w，另一帧记为/ ，重组后的新图像/^和/"中，若取自 i^帧的数据占据该新图像的上半帧，则取自F,帧的数据占据该新图像的下半帧，若取 自Fw帧的数据占据该新图像的下半帧，则取自F,帧的数据占据该新图像的上半帧；2) 取前一时刻图像Fw的奇数行像素和后一时刻图像F,的偶数行像素组成一帧新图像，取 F,的奇数行像素和FM的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为 另一帧记为/ ，重组后的新图像/w和/"中，若取自FM帧的数据占据该新图像的 上半帧，则取自F,帧的数据占据该新图像的下半帧，若取自Fw帧的数据占据该新图像 的下半帧，则取自F,帧的数据占据该新图像的上半帧。
所述的列图像重组模式为以下两类方式中的一种1)取前一时刻图像尸m和后一时 刻图像F,的奇数列像素组成一帧新图像，取Fm和F,的偶数列像素组成另一帧新图像， 将这两帧新图像中的一帧记为/^，另一帧记为/ ，重组后的新图像/^和/"中，若取自 Fw帧的数据占据该新图像的左半帧，则取自F,帧的数据占据该新图像的右半帧，若取
自Fw帧的数据占据该新图像的右半帧，则取自F,帧的数据占据该新图像的左半帧；2) 取前一时刻图像FM的奇数列像素和后一时刻图像F,的偶数列像素组成一帧新图像，取 F,的奇数列像素和Fw的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为 /。.P另一帧记为/"，重组后的新图像/ —!和/ 中，若取自i^帧的数据占据该新图像的 左半帧，则取自F,帧的数据占据该新图像的右半帧，若取自FM帧的数据占据该新图像 的右半帧，则取自K帧的数据占据该新图像的左半帧。
所述的行交织图像重组模式为取前一时刻图像i^和后一时刻图像《的奇数行像 素，并以行交替存放方式组成新图像/ —"取i^和《的偶数行像素，并以行交替存放 方式组成新图像/ ;或者，取i^和《的偶数行像素，并以行交替存放方式组成新图像 / _,，取i^和《的奇数行像素，并以行交替存放方式组成新图像人；或者，取i^,的奇 数行像素和巧的偶数行像素，并以行交替存放方式组成新图像/ _,，取巧的奇数行像素 和i^的偶数行像素，并以行交替存放方式组成新图像/ ;或者，取《的奇数行像素和 i^的偶数行像素，并以行交替存放方式组成新图像/"^取i^的奇数行像素和巧的偶 数行像素，并以行交替存放方式组成新图像/ 。
所述的列交织图像重组模式为取前一时刻图像i^,和后一时刻图像f;的奇数列像
素，并以列交替存放方式组成新图像/^，取i^和《的偶数列像素，并以列交替存放 方式组成新图像/ ;或者，取《—,和《的偶数列像素，并以列交替存放方式组成新图像 取i^和《的奇数列像素，并以列交替存放方式组成新图像/ ;或者，取《一的奇 数列像素和f的偶数列像素，并以列交替存放方式组成新图像/ 一,，取巧的奇数列像素 和《—i的偶数列像素，并以列交替存放方式组成新图像/ ;或者，取《的奇数列像素和 i^的偶数列像素，并以列交替存放方式组成新图像/^，取《—,的奇数列像素和《的偶 数列像素，并以列交替存放方式组成新图像/ 。
所述的像素交织图像重组模式为取前一时刻图像i^的奇数行中的奇数列像素和 偶数行中的偶数列像素及取后一时刻图像《的奇数行中的偶数列像素和偶数行中的奇 数列像素组成新图像/"一,，取i^的奇数行中的偶数列像素和偶数行中的奇数列像素及取 《的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像/ ;或者，取《一的奇 数行中的偶数列像素和偶数行中的奇数列像素及取《的奇数行中的奇数列像素和偶数 行中的偶数列像素组成新图像/^，取《一,的奇数行中的奇数列像素和偶数行中的偶数列 像素及取《的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像/ 。
所述的步骤b中的自适应插值方法为采用公知的边缘检测方法对待插值图像进行 边缘检测得到边缘方向；定义当前正在处理的待插值图像中的像素为当前像素，当当前
像素属于待插值图像的边缘区域时，按照边缘方向对该当前像素进行线性插值；当当前 像素属于待插值图像的非边缘区域时，直接对该当前像素进行双线性插值或立方插值。 与现有技术相比，本发明的优点在于利用时间轴上的图像重组方法对时域上相邻的 前后两帧图像进行重组，使得重组后的关键帧图像和Wyner-Ziv帧图像各自包含原输入 视频信号时域上相邻的前后两帧图像的部分信息，提高了重组后的关键帧图像与 Wyner-ziv帧图像之间的相关性，使得解码端能利用已有的关键帧图像的数据插值得到质 量较高的Wyner-ziv帧图像的边信息，提高Wyner-Ziv帧图像编码压縮性能，从而达到提 高Wyner-ziv视频编解码的率失真性能的目的；此外，本发明方法虽然在解码端增加了图 像重组、反重组和图像插值等处理，但免去了计算量极大的运动估计插值，因此相对于 原有的Wyner-ziv编解码器其编解码复杂度增加极为有限。
图1为本发明方法的流程框图2a为前一时刻图像《—〗的示意图2b为后一时刻图像《的示意图3a为采用其中一种行图像重组模式重组得到的关键帧图像/ _,的示意图3b为采用其中一种行图像重组模式重组得到的Wyner-ziv帧图像/。的示意图4a为采用另一种行图像重组模式重组得到的关键帧图像/。—,的示意图4b为采用另一种行图像重组模式重组得到的Wyner-ziv帧图像/ 的示意图5a为采用其中一种行交织图像重组模式重组得到的关键帧图像/ 一的示意图5b为采用其中一种行交织图像重组模式重组得到的Wyner-ziv帧图像/ 的示意
图6a为采用另一种行交织图像重组模式重组得到的关键帧图像/"—,的示意图； 图6b为采用另一种行交织图像重组模式重组得到的Wyner-ziv帧图像/"的示意图； 图7a为采用像素交织图像重组模式重组得到的关键帧图像/^的示意图； 图7b为采用像素交织图像重组模式重组得到的Wyner-ziv帧图像/ 的示意图； 图8a为QCIF格式的测试序列"Foreman"在前一时刻的帧图像； 图8b为QCIF格式的测试序列"Foreman"在后一时刻的帧图像； 图8c为对图8a和图8b所示的时域上相邻的前后两帧图像采用行图像重组模式得 到的新图像；
图8d为对图8a和图8b所示的时域上相邻的前后两帧图像采用行交织图像重组模 式得到的新图像；图8e为对图8a和图8b所示的时域上相邻的前后两帧图像采用列图像重组模式得 到的新图像；
图8f为对图8a和图8b所示的时域上相邻的前后两帧图像采用列交织图像重组模式 得到的新图像；
图9为图1所示的流程框图的具体框图10为对QCIF格式的测试序列"Coastguard"分别采用本发明方法与传统的8><8 块运动估计插值生成边信息的Wyner-ziv编码方法、H.264帧内编码方法以及H.264帧间 编码方法进行编码的率失真性能的比较图11为对QCIF格式的测试序列"Foreman"分别采用本发明方法与传统的8x8块 运动估计插值生成边信息的Wyner-ziv编码方法、H.264帧内编码方法以及H.264帧间编 码方法进行编码的率失真性能的比较图。
具体实施例方式
以下结合附图实施例对本发明作进一步详细描述。
一种Wyner-ziv视频编解码方法，如图1所示，它包括以下步骤
a.在编码端，首先，将时域上相邻的前后两帧图像分别定义为前一时刻图像和后一
时刻图像，前一时刻图像记为i^，后一时刻图像记为《；将前一时刻图像《一,根据其 自身的各个像素的位置信息分解成巧二和两部分，将后一时刻图像《根据其自身的 各个像素的位置信息分解成《和两部分，再根据图像重组方法将i^和《、F丄和《2 分别重组为两帧新图像，将i^和《重组得到的新图像记为/""，将i^和if重组得到 的新图像记为/ ;然后，定义；,为关键帧图像及/"为Wyner-ziv帧图像，将关键帧图 像/ —,和Wyner-ziv帧图像/ 分别送入Wyner-ziv编码器进行编码，即对关键帧图像/ _, 进行帧内编码，对Wyner-ziv帧图像/ 进行Wyner-ziv帧编码；将Wyner-ziv帧图像/ 编 码后得到的校验比特缓存在编码端以供解码端请求时发送给解码端；最后，将编码后的 关键帧图像/^通过网络传输给解码端。在此具体实施例中，对关键帧图像/"一进行帧内 编码可以采用现有的任意帧内编码方法，如H.264帧内编码方法；对Wyner-ziv帧图像/ 进行Wyner-ziv帧编码也可以采用现有的任意Wyner-ziv帧编码方法。
这里，图像重组方法可以采用行图像重组模式、列图像重组模式、行交织图像重组 模式、列交织图像重组模式、像素交织图像重组模式中的任一种模式。下面以图2a所 示的前一时刻图像i^和图2b所示的后一时刻图像《为例对图像重组方法采用的各种
模式进行详细描述，前一时刻图像i^和后一时刻图像《在时域上相邻。
行图像重组模式为以下两类方式中的一种1)取前一时刻图像Fw和后一时刻图像
K的奇数行像素组成一帧新图像，取FM和F,的偶数行像素组成另一帧新图像，将这两 帧新图像中的一帧记为/".。另一帧记为/ ，重组后的新图像/^和/"中，若取自Fw帧 的数据占据该新图像的上半帧，则取自^帧的数据占据该新图像的下半帧，若取自Fm 帧的数据占据该新图像的下半帧，则取自F,帧的数据占据该新图像的上半帧；2)取前 一时刻图像Fw的奇数行像素和后一时刻图像F,的偶数行像素组成一帧新图像，取F, 的奇数行像素和的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为 /"，另一帧记为/ ，重组后的新图像/w和A中，若取自i^帧的数据占据该新图像的 上半帧，则取自F,帧的数据占据该新图像的下半帧，若取自Fw帧的数据占据该新图像 的下半帧，则取自F,帧的数据占据该新图像的上半帧。图3a和图3b分别为对图2a所 示的Fw和图2b所示的F,采用行图像重组模式重组后得到的新图像和/ 的示意图， 其中图3a所示的重组后的新图像中上半部分为FM中奇数行像素，下半部分为F( 中奇数行像素，图3b所示的重组后的新图像/ 中上半部分为FM中偶数行像素，下半 部分为F,中偶数行像素。在行图像重组模式下，也可以如图4a和图4b所示，取/k帧 的奇数行像素和F,帧的偶数行像素重组成和/ 中的一帧，取F,帧的奇数行像素和 Fm帧的偶数行像素重组成和/ 中的另一帧。
列图像重组模式与行图像重组模式相似，只不过以列为单位而不是以行为单位进行 图像重组。列图像重组模式为以下两类方式中的一种1)取前一时刻图像/^和后一时 刻图像F,的奇数列像素组成一帧新图像，取Fm和F,的偶数列像素组成另一帧新图像， 将这两帧新图像中的一帧记为/w，另一帧记为/ ，重组后的新图像/^和/"中，若取自 Fw帧的数据占据该新图像的左半帧，则取自F,帧的数据占据该新图像的右半帧，若取 自Fw帧的数据占据该新图像的右半帧，则取自F,帧的数据占据该新图像的左半帧；2) 取前一时刻图像Fw的奇数列像素和后一时刻图像F,的偶数列像素组成一帧新图像，取 K的奇数列像素和Fw的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为 /"，另一帧记为/ ，重组后的新图像；i和/"中，若取自Fw帧的数据占据该新图像的 左半帧，则取自F,帧的数据占据该新图像的右半帧，若取自Fw帧的数据占据该新图像 的右半帧，则取自F,帧的数据占据该新图像的左半帧。
行交织图像重组模式为取前一时刻图像i^和后一时刻图像巧的奇数行像素，并 以行交替存放方式组成新图像/"一，新图像/"一如图5a所示，取《—,和《的偶数行像素， 并以行交替存放方式组成新图像/ ，新图像/"如图5b所示；或者，取/^和《的偶数 行像素，并以行交替存放方式组成新图像/"一,，取i^和《的奇数行像素，并以行交替 存放方式组成新图像/。；或者，取巧—,的奇数行像素和《的偶数行像素，并以行交替存 放方式组成新图像/"一^新图像/^如图6a所示，取巧的奇数行像素和i^的偶数行像 素，并以行交替存放方式组成新图像/ ，新图像/"如图6b所示；或者，取巧的奇数行
像素和F卜,的偶数行像素，并以行交替存放方式组成新图像/"一，取/;一的奇数行像素和
F,的偶数行像素，并以行交替存放方式组成新图像/ 。行交替存放方式为在新图像/^,
或新图像/ 中，若当前一行存放的是巧—,中的一行，则下一行将存放巧中的一行；若当
前一行存放的是《中的一行，则下一行将存放i^中的一行。
列交织图像重组模式与行交织图像重组模式相似，只不过是以列为单位而不是以行 为单位进行图像重组。列交织图像重组模式为取前一时刻图像i^和后一时刻图像《的
奇数列像素，并以列交替存放方式组成新图像/^,，取i^和《的偶数列像素，并以列 交替存放方式组成新图像/ ;或者，取《一,和《的偶数列像素，并以列交替存放方式组 成新图像/ 一,，取《—,和《的奇数列像素，并以列交替存放方式组成新图像/ ;或者， 取/^的奇数列像素和《的偶数列像素，并以列交替存放方式组成新图像/^,取^的 奇数列像素和i^的偶数列像素，并以列交替存放方式组成新图像/ ;或者，取《的奇 数列像素和i^的偶数列像素，并以列交替存放方式组成新图像/ —"取《—i的奇数列像 素和巧的偶数列像素，并以列交替存放方式组成新图像/ 。列交替存放方式为在新图 像/^或新图像/"中，若当前一列存放的是i^中的一列，则下一列将存放《中的一列； 若当前一列存放的是《中的一列，则下一列将存放i^中的一列。
像素交织图像重组模式为取前一时刻图像i^的奇数行中的奇数列像素和偶数行 中的偶数列像素及取后一时刻图像《的奇数行中的偶数列像素和偶数行中的奇数列像 素组成新图像/"，新图像/^如图7a所示，取F,一的奇数行中的偶数列像素和偶数行中 的奇数列像素及取A的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像/ ， 新图像/"如图7b所示；或者，取i^的奇数行中的偶数列像素和偶数行中的奇数列像素 及取《的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像/^，取&,的奇 数行中的奇数列像素和偶数行中的偶数列像素及取巧的奇数行中的偶数列像素和偶数 行中的奇数列像素组成新图像/ 。在如图7a和7b所示的新图像/"—,和/"中，当新图像 中坐标为(x，力的像素取自于中坐标为(;c,力的像素时，新图像中坐标为(x-l,力、 (:c + l,力、(x，;;-l)、 (x,y + l)的像素分别取自于《中坐标为(jc-1,力、(x + l，力、 (x,y-l)、 (x,少+ l)的像素；同样，当新图像中坐标为(x,少)的像素取自于《中坐标为 (x,力的像素时，新图像中坐标为(x-l，力、(x + l，力、(x，少-1)、 (x，y + l)的像素分别 取自于《—!中坐标为(x-l，力、(;c + l，力、(jc,j;-1)、 (x,;; + l)的像素。
图8a和图8b分别给出了 QCIF (Quarter common intermediate format,常用的标准化 视频图像格式)格式的测试序列"Foreman"的前后两帧图像。图8c、图8d、图8e和
图8f分别给出了对图8a和图8b所示的图像采用行图像重组模式、行交织图像重组模式、 列图像重组模式和列交织图像重组模式进行重组得到的图像。
b.在解码端，将接收到的编码后的关键帧图像/ —,通过Wyner-ziv解码器解码得到
关键帧图像/"一的解码重建图像^一,，然后对^^进行低通滤波得到滤波后的重建图像 / _,，再根据图像重组方法对滤波后的重建图像/^进行反重组分离得到包含在前一时刻 图像巧—i中的《i,和包含在后一时刻图像《中的巧；采用公知的图像自适应插值方法对 《、和巧分别进行自适应插值得到与和《的分辨率相同的《"和《'；再根据图像重 组方法将i^分解成F二和i^两部分，将巧'分解成《'和if两部分，将7^和if重组 为/:，定义/;;为Wyner-ziv帧图像/ 的边信息；利用关键帧图像/"一,的解码重建图像？ _,、 边信息/;;以及解码端向编码端请求发送的校验比特通过Wyner-ziv解码器解码得到 Wyner-ziv帧图像/ 的解码重建图像/ ;根据图像重组方法对关键帧图像/ 一,的解码重建 图像之^和Wyner-ziv帧图像/ 的解码重建图像A进行反重组分离得到前一时刻图像
《—,的解码重建图像《—,和后一时刻图像巧的解码重建图像/;。
在上述步骤b中对《L和《可以采用现有的任意图像插值算法进行插值，考虑到最
终的插值效果，本发明采用公知的图像自适应插值方法。在本实施例中采用的图像自适 应插值方法为采用公知的边缘检测方法对待插值图像进行边缘检测得到边缘方向；定 义当前正在处理的待插值图像中的像素为当前像素，当当前像素属于待插值图像的边缘 区域时，即当前像素自身为边缘像素或以该当前像素为中心的A^V邻域中有边缘像素 时，按照边缘方向对该当前像素进行线性插值，在参与线性插值的样点中剔除不合适的 样点，可有效避免边缘模糊现象；当当前像素属于待插值图像的非边缘区域时，直接对 该当前像素进行双线性插值或立方插值；其中，W为窗口尺寸，窗口尺寸iV的大小与待 插值图像的大小有关， 一般iV可取3或5或7等。在对非边缘区域的像素进行插值时也 可采用其他适用于平滑区域插值且计算量相对较小的插值方法。本发明方法对边缘区域 的像素和非边缘区域的像素采用不同的插值方法，有利于在保证插值速度的同时保持图 像边缘纹理的清晰。
边缘检测方法可以是任意公知的成熟的边缘检测算法，例如Sobel算子、Prewitt算 子、Roberts算子、Canny算子等。
在本实施例中，上述步骤b中的校验比特的形成过程如图9所示，在编码端，对编 码后的关键帧图像/^,进行解码得到关键帧图像/^的解码重建图像L,， / _,与 Wyner-ziv帧图像/ 相减得到残差图像￡);残差图像"经过DCT (Discrete Cosine Transform,离散余弦变换)变换和量化后得到量化系数S ，对S的各个位平面采用Turbo 编码器编码形成校验比特。校验比特通常存储在Wyner-ziv编码器的缓冲区中。而在解
码端，A 和if重组为边信息/二后，将边信息《与关键帧图像的解码重建图像L相 减得到残差图像D'， O'经过DCT变换和量化后得到量化系数S'，将S'的各个位平面 送入Turbo解码器，该Turbo解码器根据S'和编码端发送来的校验比特从S'的最高位平 面开始进行迭代解码，直至解码误比特率降低至预定要求，当残差图像D和残差图像Z)' 比较接近时，解码端请求编码端发送的校验比特较少，相反，需要的校验比特较多，以 便得到较为准确的量化系数S的重建值i。然后将Turbo解码器解码得到的i进行反量 化和反DCT变换得到重建的残差图像力，将重建的残差图像5与关键帧图像/^的解码
重建图像^相加得到Wyner-ziv帧图像/ 的解码重建图像f"。最后对关键帧图像/ —,的 解码重建图像/ —,和Wyner-ziv帧图像人的解码重建图像^进行反重组，最终得到前一 时刻图像/^的解码重建图像&,和后一时刻图像《的解码重建图像《。
以下为采用本发明方法对QCIF格式的测试序列"Coastguard"和"Foreman"进行 Wyner-ziv编码的结果，实验中图像组GOP (Group Of Picture)长度为2，帧率为10fps， 编码帧数为100帧。
图10和图11分别给出了对测试序列"Coastguard"和"Foreman"采用本发明方法 (图像重组方法采用列图像重组模式)、传统的8x8块运动估计插值生成边信息的 Wyner-ziv编码方法、H.264帧内编码方法以及H.264帧间编码方法进行编码的率失真性 能的比较。图10和图11中H.264I、 H.264P分别表示H.264帧内编码方法和H.264帧间 编码方法在GOP-2时的率失真性能曲线，TWZC-8X8Block则表示使用传统的8><8块 运动估计插值生成边信息的Wyner-ziv编码方法的率失真性能曲线。实验结果表明本发 明方法与使用传统的8x8块运动^f计插值生成边信息的Wyner-ziv编码方法相比率失真 性能提高0.5dB左右，位于H.264帧内编码方法和H.264帧间编码方法的率失真性能之 间，特别是对于测试序列"Coastguard"，本发明方法与H.264帧间编码方法的率失真 性能只相差0.1dB左右。由此可见，本发明的边信息生成方法相当有效，它有效地克服 了传统的8x8块运动估计插值生成边信息的Wyner-ziv编码方法在边信息生成过程中的 缺陷，提高了边信息生成质量。因而，本发明的Wyner-ziv视频编解码方法与基于传统 的8x8块运动估计插值生成边信息的Wyner-ziv编码方法相比整体率失真性能有较大提 高。
权利要求
1、一种Wyner-ziv视频编解码方法，其特征在于它包括以下步骤a.在编码端，将时域上相邻的前后两帧图像分别定义为前一时刻图像和后一时刻图像，前一时刻图像记为Ft-1，后一时刻图像记为Ft；将Ft-1根据其自身的各个像素的位置信息分解成Ft-11和Ft-12两部分，将Ft根据其自身的各个像素的位置信息分解成Ft1和Ft2两部分，再根据图像重组方法将Ft-11和Ft1、Ft-12和Ft2分别重组为两帧新图像，将Ft-11和Ft1重组得到的新图像记为In-1，将Ft-12和Ft2重组得到的新图像记为In；定义In-1为关键帧图像及In为Wyner-ziv帧图像，将关键帧图像In-1和Wyner-ziv帧图像In分别送入Wyner-ziv编码器，对关键帧图像In-1进行帧内编码，对Wyner-ziv帧图像In进行Wyner-ziv帧编码，将Wyner-ziv帧图像In编码后得到的校验比特缓存在编码端以供解码端请求时发送给解码端；将编码后的关键帧图像In-1通过网络传输给解码端；b.在解码端，将接收到的编码后的关键帧图像In-1通过Wyner-ziv解码器解码得到关键帧图像In-1的解码重建图像 id="icf0001" file="A2008100633420002C1.tif" wi="7" he="5" top= "116" left = "83" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>然后对 id="icf0002" file="A2008100633420002C2.tif" wi="5" he="5" top= "116" left = "108" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>进行低通滤波得到滤波后的重建图像 id="icf0003" file="A2008100633420002C3.tif" wi="7" he="5" top= "124" left = "24" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>再根据编码端所采用的图像重组方法对 id="icf0004" file="A2008100633420002C4.tif" wi="5" he="5" top= "124" left = "106" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>进行反重组分离得到包含在前一时刻图像Ft-1中的 id="icf0005" file="A2008100633420002C5.tif" wi="5" he="5" top= "133" left = "44" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>和包含在后一时刻图像Ft中的 id="icf0006" file="A2008100633420002C6.tif" wi="6" he="5" top= "133" left = "109" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>采用公知的图像自适应插值方法对 id="icf0007" file="A2008100633420002C7.tif" wi="5" he="5" top= "141" left = "24" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>和 id="icf0008" file="A2008100633420002C8.tif" wi="3" he="5" top= "141" left = "35" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>分别进行自适应插值得到与前一时刻图像Ft-1和后一时刻图像Ft的分辨率相同的F′t-1和F′t；再根据编码端所采用的图像重组方法将F′t-1分解成F′t-11和F′t-12两部分，将F′t分解成F′t1和F′t2两部分，将F′t-12和I′t2重组为I′n，定义I′n为Wyner-ziv帧图像In的边信息；利用关键帧图像In-1的解码重建图像 id="icf0009" file="A2008100633420002C9.tif" wi="7" he="5" top= "166" left = "98" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>边信息I′n以及解码端向编码端请求发送的校验比特通过Wyner-ziv解码器解码得到Wyner-ziv帧图像In的解码重建图像 id="icf0010" file="A2008100633420002C10.tif" wi="5" he="5" top= "175" left = "168" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>根据编码端所采用的图像重组方法对关键帧图像In-1的解码重建图像 id="icf0011" file="A2008100633420002C11.tif" wi="5" he="5" top= "184" left = "142" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>和Wyner-ziv帧图像In的解码重建图像 id="icf0012" file="A2008100633420002C12.tif" wi="3" he="5" top= "192" left = "59" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>进行反重组分离得到前一时刻图像Ft-1的解码重建图像 id="icf0013" file="A2008100633420002C13.tif" wi="5" he="5" top= "192" left = "166" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>和后一时刻图像Ft的解码重建图像 id="icf0014" file="A2008100633420002C14.tif" wi="5" he="5" top= "201" left = "76" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>
2、 根据权利要求1所述的一种Wyner-ziv视频编解码方法，其特征在于所述的图像 重组方法采用行图像重组模式、列图像重组模式、行交织图像重组模式、列交织图像重 组模式、像素交织图像重组模式中的任一种模式。
3、 根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的行图 像重组模式为以下两类方式中的一种1)取前一时刻图像FM和后一时刻图像K的奇 数行像素组成一帧新图像，取FM和F,的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为/w，另一帧记为/ ，重组后的新图像/w和/"中，若取自FM帧的数据 占据该新图像的上半帧，则取自F,帧的数据占据该新图像的下半帧，若取自FM帧的数 据占据该新图像的下半帧，则取自巧帧的数据占据该新图像的上半帧；2)取前一时刻 圈像Fm的奇数行像素和后一时刻图像F,的偶数行像素组成一帧新图像，取F,的奇数行 像素和F,.,的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为/^,另一帧记为/ ，重组后的新图像/^和/"中，若取自尸m帧的数据占据该新图像的上半帧，则 取自F,帧的数据占据该新图像的下半帧，若取自i^帧的数据占据该新图像的下半帧， 则取自F,帧的数据占据该新图像的上半帧。
4、 根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的列图 像重组模式为以下两类方式中的一种1)取前一时刻图像Fw和后一时刻图像F,的奇 数列像素组成一帧新图像，取Fw和F,的偶数列像素组成另一帧新图像，将这两帧新图 像中的一帧记为/w，另一帧记为/ ,重组后的新图像/w和/。中，若取自i^帧的数据 占据该新图像的左半帧，则取自F,帧的数据占据该新图像的右半帧，若取自尸m帧的数 据占据该新图像的右半帧，则取自^帧的数据占据该新图像的左半帧；2)取前一时刻 图像Fw的奇数列像素和后一时刻图像K的偶数列像素组成一帧新图像，取F,的奇数列 像素和i&的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为/^，另一帧记为/ ，重组后的新图像/"-i和/"中，若取自FM帧的数据占据该新图像的左半帧，则取自F,帧的数据占据该新图像的右半帧，若取自尸w帧的数据占据该新图像的右半帧， 则取自K帧的数据占据该新图像的左半帧。
5、 根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的行交 织图像重组模式为取前一时刻图像/^和后一时刻图像《的奇数行像素，并以行交替 存放方式组成新图像/^，取《—,和《的偶数行像素，并以行交替存放方式组成新图像 / ;或者，取&和《的偶数行像素，并以行交替存放方式组成新图像/"，取巧—,和巧 的奇数行像素，并以行交替存放方式组成新图像/ ;或者，取i^的奇数行像素和巧的 偶数行像素，并以行交替存放方式组成新图像/"一,，取《的奇数行像素和i^的偶数行 像素，并以行交替存放方式组成新图像/ ;或者，取F,的奇数行像素和i^的偶数行像 素，并以行交替存放方式组成新图像/^,取《—,的奇数行像素和《的偶数行像素，并 以行交替存放方式组成新图像/ 。
6、 根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的列交 织图像重组模式为取前一时刻图像i^和后一时刻图像《的奇数列像素，并以列交替 存放方式组成新图像/^，取i^和^的偶数列像素，并以列交替存放方式组成新图像 / ;或者，取i^和《的偶数列像素，并以列交替存放方式组成新图像/ _,，取i^和《的奇数列像素，并以列交替存放方式组成新图像/ ;或者，取i^的奇数列像素和^的偶数列像素，并以列交替存放方式组成新图像/^，取^;的奇数列像素和i^的偶数列像素，并以列交替存放方式组成新图像/ ;或者，取《的奇数列像素和F卜,的偶数列像素，并以列交替存放方式组成新图像/"一,，取/^的奇数列像素和A的偶数列像素，并 以列交替存放方式组成新图像/ 。
7、 根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的像素 交织图像重组模式为取前一时刻图像Fw的奇数行中的奇数列像素和偶数行中的偶数 列像素及取后一时刻图像《的奇数行中的偶数列像素和偶数行中的奇数列像素组成新 图像，取《4的奇数行中的偶数列像素和偶数行中的奇数列像素及取《的奇数行中 的奇数列像素和偶数行中的偶数列像素组成新图像/ ;或者，取i^的奇数行中的偶数 列像素和偶数行中的奇数列像素及取A的奇数行中的奇数列像素和偶数行中的偶数列 像素组成新图像/^，取《—,的奇数行中的奇数列像素和偶数行中的偶数列像素及取巧 的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像/ 。
8、 根据权利要求1所述的一种Wyner-ziv视频编解码方法，其特征在于所述的步骤 b中的自适应插值方法为采用公知的边缘检测方法对待插值图像进行边缘检测得到边 缘方向；定义当前正在处理的待插值图像中的像素为当前像素，当当前像素属于待插值 图像的边缘区域时，按照边缘方向对该当前像素进行线性插值；当当前像素属于待插值 图像的非边缘区域时，直接对该当前像素进行双线性插值或立方插值。
全文摘要
本发明公开了一种Wyner-Ziv视频编码方法，利用时间轴上的图像重组方法对时域上相邻的前后两帧图像进行重组，使得重组后的关键帧图像和Wyner-Ziv帧图像各自包含原输入视频信号时域上相邻的前后两帧图像的部分信息，提高了重组后的关键帧图像与Wyner-ziv帧图像之间的相关性，使得解码端能利用已有的关键帧图像的数据插值得到质量较高的Wyner-ziv帧图像的边信息，提高Wyner-Ziv帧图像编码压缩性能，从而达到提高Wyner-ziv视频编解码的率失真性能的目的；此外，本发明方法虽然在解码端增加了图像重组、反重组和图像插值等处理，但免去了计算量极大的运动估计插值，因此相对于原有的Wyner-ziv编解码器其编解码复杂度增加极为有限。
文档编号H04N7/26GK101360236SQ20081006334
公开日2009年2月4日 申请日期2008年8月8日 优先权日2008年8月8日
发明者范旭明, 蒋刚毅, 梅 郁 申请人:宁波大学