专利名称：一种双目立体视频编码方法
技术领域：
本发明涉及视频编码技术，具体的说是涉及一种双目立体视频编码方法。
背景技术：
在视频显示技术领域中，主要的发展趋势是追求对自然景物更加真实、清晰的特征。模拟电视经过数十年的发展和应用，如今将逐步被数字电视取代，高清晰数字电视 (HDTV)通过增加图像显示的分辨率，进一步提高了视觉的真实性。目前的二维视频在表示自然场景深度信息方面的局限性已使其不能满足人们对场景真实和自然再现的需求。双眼在观察物体时，物体在双眼视网膜上的成像位置上略有差异，称为双目视差。 双目视差经过大脑视觉皮层的融合，增强人们对于现实世界的立体感知效果。双目立体视频利用人眼双目视差特性，使用两个摄像机从两个不同视点(视点间距一般等于人的双目间距)获取同一景物的两个图像，然后再把两个图像分别呈现给人的左右眼，大脑通过处理左视和右视图像间的间距，感知图像内景物的深度信息，使得欣赏到的图像具有强烈的深度感和逼真感。针对双目立体视频的编码，国际标准组织MPEG-3DAV曾提出了四种基于MPEG-4的立体视频编码方案第一种，左右视点都采用独立的MPEG-4进行编码；第二种，考虑左右视点相关性，不考虑右视点视差预测的残差；第三种，考虑左右视点相关性和右视点视差预测的残差；第四种，利用MPEG-4的时域分级编码。另外，基于单视点视频与深度的编码以及多视点视频及深度的编码也是当前的研究重点。传统技术中的双目立体视频编码一般采用如IBBPBBP……IBBPBBP……的固定 GOP(图像组)结构，编码不具有灵活性，未充分考虑到左右视频序列的场景相关性和复杂度特性，在场景切换时也未对GOP进行重新划分，容易产生马赛克现象，引起图像质量下降，视频重建稳定性差。
发明内容
本发明所要解决的技术问题是提出一种双目立体视频编码方法，解决传统技术中编码不具灵活性、图像质量差、视频重建稳定性差的问题。本发明解决上述技术问题所采用的技术方案是一种双目立体视频编码方法，包括以下步骤a.逐帧读取左视点图像到缓冲区并进行场景检测分析，判断当前是否发生场景切换或当前帧为待编码的第一帧，如是，则设定当前帧的编码类型为I帧，否则进入步骤b ；b.对左视点图像当前待编码帧的编码类型进行判断，以确定是采用P帧还是B帧进行编码；c.依次对左视点待编码帧进行参考帧选择，同时根据左视点图像的编码结构以及左右视点间的相关性，确定右视点图像的各帧的编码类型，然后依据编码顺序分别对左视点图像和右视点图像进行编码；
d.统计左视点图像当前GOP长度，并与设定的I帧间隔最大值Imax进行比较，当 GOP长度等于Imax，且编码序列还没有结束时，则强制设定当前待编码帧的编码类型为I 帧，进入步骤c，否则进入步骤e ；e.判断左右视点序列编码是否结束，如果未结束，则进入步骤a，否则结束编码。进一步，步骤a中，判断当前是否发生场景切换的具体方法是设定图像场景切换的阈值为Ts，判断当前帧与其前后相邻帧的差异性代价是否大于Ts，如是，则当前发生了场景切换。进一步，步骤b中，对左视点图像当前待编码帧的编码类型进行判断，以确定是采用P帧还是B帧进行编码的具体方法是对左视点图像当前待编码帧分别进行P帧、B帧的预编码，并计算采用不同编码类型时图像残差经Hadmard变换后的预测残差绝对值总和代价值，如果采用P帧预编码的图像预测残差绝对值总和代价大于采用B帧预编码的图像预测残差绝对值总和代价，则确定当前待编码帧的编码类型为B帧，否则其编码类型为P帧。进一步，步骤c中，所述编码顺序为如果左视点图像的I帧与P帧或P帧与P帧之前存在B帧时，则首先对B帧后的第一个I帧或P帧进行编码，然后再对B帧进行编码。进一步，步骤c中，依次对左视点待编码帧进行参考帧选择并进行编码的具体方法是如果当前帧为I帧，则直接对其进行编码，编码的重建值放入左视点参考帧缓冲区供P帧或B帧进行参考；如果当前帧为P帧，则参考前一个I帧或P帧进行编码，编码的重建值放入左视点参考缓冲区供P帧或B帧进行参考；如果当前帧为B帧，则根据参考帧数目初步确定其在时域上的前后参考帧信息， 通过计算参考帧率失真优化代价得到最终的前后参考帧信息，然后再对该帧进行编码。进一步，步骤c中，对右视点图像的编码类型的确定需要考虑左视点图像的编码结构及左右视点图像的相关性，分别计算右视点图像参考左视点图像及右视点时域参考图像的率失真优化代价，以确定右视点图像的编码结构和类型。具体的，如果右视点图像参考左视点图像率失真优化代价大于参考右视点时域参考图像的率失真优化代价，则右视点图像中的当前待编码帧选择右视点时域参考图像作为参考帧进行编码；反之，则选择左视点图像作为参考帧进行编码。进一步，步骤d中，左视点图像每次编码I帧或P帧时，将B帧的最大缓冲区填满。进一步，步骤d中，左视点图像的每个I帧后允许紧跟B帧进行编码。进一步，在步骤a之前还包括步骤aO 对左右视点图像进行颜色校正，同时初始化左右视点图像信号的初始化量化参数，设定场景切换的阈值及最大允许插入B帧的数目， 设置参考帧个数及I帧间隔的最大值。本发明的有益效果是通过逐帧读取左视点序列图像，对场景切换进行检测，同时对左视点时间域上的相关性和复杂度进行分析，判断左视点待编码图像的编码类型，对图像编码顺序进行调整，确定其参考帧选择。在确定了左视点图像编码结构后，根据右视点时间域和左右视点间的相关性，确定右视点图像的编码类型。采用本发明的方法，由于更加考虑了双目视频序列的场景和复杂度特性，提高了双目视频编码方法的压缩效率，能够显著提升双目立体视频重建图像的主观质量，解决双目立体视频图像在场景切换或运动剧烈时主观质量下降的问题。
图1为本发明实施例的方法流程图。
具体实施例方式下面结合附图及实施例对本发明作进一步的描述。传统技术中的双目立体视频编码不具有灵活性，未充分考虑到左右视频序列的场景相关性和复杂度特性，在场景切换时也未对GOP进行重新划分，容易产生马赛克现象，引起图像质量下降，视频重建稳定性差；针对上述缺陷，本发明提出了一种双目立体视频编码方法，通过逐帧读取左视点序列图像，对场景切换进行检测，同时对左视点时间域上的相关性和复杂度进行分析，判断左视点待编码图像的编码类型，对图像编码顺序进行调整，确定其参考帧选择。在确定了左视点图像编码结构后，根据右视点时间域和左右视点间的相关性，确定右视点图像的编码类型。采用本发明的方法，由于更加考虑了双目视频序列的场景和复杂度特性，提高了双目视频编码方法的压缩效率，能够显著提升双目立体视频重建图像的主观质量，解决双目立体视频图像在场景切换或运动剧烈时主观质量下降的问题。实施例如图1所示，本例中的双目立体视频编码方法，采用以下步骤完成a0.对左右视点图像进行颜色校正，使得左右视点待编码图像亮度信息基本一致， 消除由于左右视点图像采集由于亮度不一致带来的误差；同时初始化视频信号的初始化量化参数，设定场景切换的阈值及最大允许插入B帧的数目，设置参考帧个数及I帧间隔的最大值。a.逐帧读取左视点视频图像到缓冲区并进行场景检测分析，如发生场景切换或当前帧为待编码的第一帧，设定当前帧的编码类型为I帧，并以此位置开始新的GOP编码，否则进入步骤b ；b.对左视点当前待编码图像的编码类型进行判断，以确定是采用P帧还是B帧进行编码，具体方法是对左视点当前帧分别进行P帧、B帧的预编码，分别计算采用P帧和B帧编码类型时图像残差经Hadmard变换(视频编码中，Hadmard变换多被用来计算SATD值， 即视频残差信号大小的衡量)后的预测残差绝对值总和代价值Ci_p和Ci_b。设8x8块图像残差矩阵为L8，8阶的Hadmard变换矩阵为H8
先用下面的方法进行8x8块的二维Hadmard变换[L' 8] = [H8] X [L8] X [H8]然后计算[L' 8]所有系数的绝对值之和并归一化，该值即为该8x8块的SATD值。 对整帧图像8x8的SATD进行统计，可以得到预测残差绝对值总和代价Ci_p和Ci_b。如果采用P帧编码的预测残差绝对值总和代价值Ci_p大于采用B帧的预测残差绝对值总和代价值Ci_b，则判断当前帧编码类型为B帧，否则编码类型为P帧，并计算已确定帧的编码顺序及确定参考帧选择。c.根据步骤a和步骤b确定的左视点图像编码类型，依次对左视点待编码帧进行参考帧选择，从而对左右视点图像进行编码，具体方法是如果左视点I帧与P帧及P帧与P帧之间存在B帧时，则先对B帧后的第一个I 帧或P帧进行编码，然后再对B帧依次进行编码，并计算该帧的编码顺序；确定I帧、P帧和B帧的先编码还是后编码的顺序是，由于图像编码的连续性，编码时每个GOP最前面的B帧可以参考前一个GOP的内容进行编码，也就是说每个I帧后可允许紧随B帧进行编码；为根据视频序列特点实现灵活的GOP编码结构，左视点在每次编码I帧或P帧时， 应将B帧的最大缓冲区填满，以便为后续的帧类型分析做好准备；根据前面确定的左视点当前图像编码类型和参考帧，在灵活GOP编码结构下，对其进行编码如果当前帧为I帧，直接将其进行编码，编码的重建值放入左视点参考帧缓冲区供P帧或B帧进行参考；如果当前帧为P帧，参考前一个I帧或P帧进行编码，编码的重建值放入左视点参考缓冲区供P帧或B帧进行参考；如果当前帧为B帧，则根据参考帧数目初步确定其在时域上的前后参考帧信息， 通过计算参考帧率失真优化代价得到最终的前后参考帧信息，然后再对该帧进行编码。右视点图像的编码类型确定需要考虑左视点图像的编码结构及左右视点图像的相关性，分别计算右视点待编码图像参考左视点对象图像及右视点时域参考图像的率失真优化代价，确定右视图像的编码结构和类型如果右视点图像参考左视点图像率失真优化代价大于参考右视点时域参考图像的率失真优化代价，则右视点图像中的当前待编码帧选择右视点时域参考图像作为参考帧进行编码；反之，则选择左视点图像作为参考帧进行编码。d.统计左视点当前GOP长度，并与设定的I帧最大间隔最大值Imax进行比较，当 GOP长度等于Imax，且编码序列还没有结束时，则强制设定待编码图像的编码类型为I帧， 进入步骤c，否则进入步骤e ；e.判断左右视点序列编码是否结束，如果未结束，则进入步骤a，否则结束编码。本发明所要求保护的方案包含但不仅限于上述实施例，本领域的技术人员容易根据上述实施例的描述对本发明的方案稍作改动而达到同样的技术效果，其皆属于本发明的保护范围。
权利要求
1.一种双目立体视频编码方法，其特征在于包括以下步骤a.逐帧读取左视点图像到缓冲区并进行场景检测分析，判断当前是否发生场景切换或当前帧为待编码的第一帧，如是，则设定当前帧的编码类型为I帧，否则进入步骤b ；b.对左视点图像当前待编码帧的编码类型进行判断，以确定是采用P帧还是B帧进行编码；c.依次对左视点待编码帧进行参考帧选择，同时根据左视点图像的编码结构以及左右视点间的相关性，确定右视点图像的各帧的编码类型，然后依据编码顺序分别对左视点图像和右视点图像进行编码；d.统计左视点图像当前GOP长度，并与设定的I帧间隔最大值Imax进行比较，当GOP 长度等于Imax，且编码序列还没有结束时，则强制设定当前待编码帧的编码类型为I帧，进入步骤c，否则进入步骤e ；e.判断左右视点序列编码是否结束，如果未结束，则进入步骤a，否则结束编码。
2.如权利要求1所述的一种双目立体视频编码方法，其特征在于步骤a中，判断当前是否发生场景切换的具体方法是设定图像场景切换的阈值为Ts，判断当前帧与其前后相邻帧的差异性代价是否大于Ts，如是，则当前发生了场景切换。
3.如权利要求2所述的一种双目立体视频编码方法，其特征在于步骤b中，对左视点图像当前待编码帧的编码类型进行判断，以确定是采用P帧还是B帧进行编码的具体方法是对左视点图像当前待编码帧分别进行P帧、B帧的预编码，并计算采用不同编码类型时图像残差经Hadmard变换后的预测残差绝对值总和代价值，如果采用P帧预编码的图像预测残差绝对值总和代价大于采用B帧预编码的图像预测残差绝对值总和代价，则确定当前待编码帧的编码类型为B帧，否则其编码类型为P帧。
4.如权利要求3所述的一种双目立体视频编码方法，其特征在于步骤c中，所述编码顺序为如果左视点图像的I帧与P帧或P帧与P帧之前存在B帧时，则首先对B帧后的第一个I帧或P帧进行编码，然后再对B帧进行编码。
5.如权利要求4所述的一种双目立体视频编码方法，其特征在于步骤c中，依次对左视点待编码帧进行参考帧选择并进行编码的具体方法是如果当前帧为I帧，则直接对其进行编码，编码的重建值放入左视点参考帧缓冲区供P 帧或B帧进行参考；如果当前帧为P帧，则参考前一个I帧或P帧进行编码，编码的重建值放入左视点参考缓冲区供P帧或B帧进行参考；如果当前帧为B帧，则根据参考帧数目初步确定其在时域上的前后参考帧信息，通过计算参考帧率失真优化代价得到最终的前后参考帧信息，然后再对该帧进行编码。
6.如权利要求5所述的一种双目立体视频编码方法，其特征在于步骤c中，对右视点图像的编码类型的确定需要考虑左视点图像的编码结构及左右视点图像的相关性，分别计算右视点图像参考左视点图像及右视点时域参考图像的率失真优化代价，以确定右视点图像的编码结构和类型。
7.如权利要求6所述的一种双目立体视频编码方法，其特征在于通过计算右视点图像参考左视点图像及右视点时域参考图像的率失真优化代价，以确定右视点图像的编码结构和类型的具体方法为如果右视点图像参考左视点图像率失真优化代价大于参考右视点时域参考图像的率失真优化代价，则右视点图像中的当前待编码帧选择右视点时域参考图像作为参考帧进行编码；反之，则选择左视点图像作为参考帧进行编码。
8.如权利要求7所述的一种双目立体视频编码方法，其特征在于步骤d中，左视点图像每次编码I帧或P帧时，将B帧的最大缓冲区填满。
9.如权利要求8所述的一种双目立体视频编码方法，其特征在于步骤d中，左视点图像的每个I帧后允许紧跟B帧进行编码。
10.如权利要求1至9任意一项所述的一种双目立体视频编码方法，其特征在于在步骤a之前还包括步骤aO 对左右视点图像进行颜色校正，同时初始化左右视点图像信号的初始化量化参数，设定场景切换的阈值及最大允许插入B帧的数目，设置参考帧个数及I帧间隔的最大值。
全文摘要
本发明涉及视频编码技术，其公开了一种双目立体视频编码方法，解决传统技术中编码不具灵活性、图像质量差、视频重建稳定性差的问题。其技术方案的要点可概括为通过逐帧读取左视点序列图像，对场景切换进行检测，同时对左视点时间域上的相关性和复杂度进行分析，判断左视点待编码图像的编码类型，对图像编码顺序进行调整，确定其参考帧选择。在确定了左视点图像编码结构后，根据右视点时间域和左右视点间的相关性，确定右视点图像的编码类型，对左右视点图像分别进行编码。本发明适用于双目立体视频编码。
文档编号H04N13/00GK102196291SQ20111013140
公开日2011年9月21日 申请日期2011年5月20日 优先权日2011年5月20日
发明者曾超 申请人:四川长虹电器股份有限公司