一种3d-hevc帧间编码合并模式快速决策方法
【技术领域】
[0001] 本发明涉及视频编码技术领域，尤其是涉及一种基于高效视频编码标准HEVC的 3D视频编码标准3D-HEVC中的帧间编码合并模式快速决策方法。
【背景技术】
[0002] 高效视频编码标准（HEVC)是由国际标准组织/国际电工委员会（ISO/IEC)移动 图像专家组（MPEG)和国际电信联盟远程通信标准化组织（ITU-T)视频编码专家组（VCEG) 共同建立的联合视频编码工作组（JCT-VC)制定的新一代视频编码标准，它在ISO/IEC中的 正式名称是MPEG-H标准的第二部分，在ITU-T中的正式名称是H. 265。随着HEVC的不断 完善和发展，MPEG和VCEG于2012年成立了 3D视频编码联合工作组（JCT-3V)，针对HEVC 的3D视频编码扩展展开研宄，旨在制定基于HEVC的3D视频编码标准（3D-HEVC)。目前， 3D-HEVC已经经过了 10次JCT-3V会议的讨论、研宄和改进，各项技术日趋成熟。3D-HEVC 包含了HEVC的关键技术，并针对3D视频的特点，在此基础上增加了新的编码工具，提高了 3D视频的编码效率。
[0003] 在3D-HEVC中，3D视频采用多视点纹理视频加深度的形式表示，其包含的全部纹 理图和深度图按照处理单元的顺序依次进行编码。每个处理单元由同一时刻、不同视点的 几组纹理图和深度图组成，如图1所示。在一个处理单元中，首先对独立视点的纹理图和深 度图编码。该视点采用独立编码的方式，通过ffiVC编码器进行编码，不依赖于其他视点的 信息。然后，对非独立视点的纹理图和深度图编码。该视点在编码时参考已编码的独立视 点的信息来预测当前视点的信息，减少了视点间冗余，保证了编码效率。完成上述过程后， 当前处理单元编码完成。对于非独立视点的纹理图，其内部的每个编码单元（CU)在编码时 需要依次进行帧间编码和帧内编码，然后基于率失真模型选择率失真代价最小的编码模式 作为当前⑶的最佳编码模式。其中，率失真代价通过J=D+X*R计算得到，D表示原始 图像块和重构图像块的差值平方和，A表示拉格朗日乘子，R表示当前编码模式下所需的 总编码比特数，包括编码模式、残差系数等信息。对于帧间编码来说，为了灵活地匹配图像 内容，得到最佳编码效果，其共包含8种基于CU的预测单元（PU)划分模式，划分大小分别 为：2NX2N，2NXN，NX2N，NXN，2NXnU，2NXnD，nLX2N和nRX2N，如图2所示。当进行帧 间编码时，首先需要在2NX2N划分模式下检查合并模式、合并-跳过模式和帧间预测模式， 然后在剩余的7种基于CU的PU划分模式（其中NxN模式仅对尺寸为8X8的CU有效）下 依次检查帧间预测模式和合并模式，至多需要检查17种编码模式。对于帧内编码来说，其 包含2NX2N和NXN两种基于⑶的PU划分模式。当进行帧内编码时，需要在这2种PU划 分模式下检查帧内预测模式。此外，如果满足PCM模式允许的CU尺寸，还需检查PCM模式。 因此，当对非独立视点的纹理图进行编码时，每个CU至多需要检查20种编码模式才能得到 最佳编码模式，编码复杂度极高。而在非独立视点的实际编码过程中，平均每帧纹理图中有 高达94. 0%的⑶选择合并模式作为最佳编码模式。因此，如何快速地判定合并模式对于降 低非独立视点纹理图的编码复杂度至关重要。
[0004]目前，3D-HEVC采用了一种基于视点方向参考块的合并模式快速判定方法。该方 法利用视点方向参考块的最佳编码模式预测当前CU的编码模式。当当前CU在视点方向的 对应块及其相邻块都选择合并模式作为最佳编码模式，且在2NX2N划分模式下当前CU采 用合并-跳过模式编码得到的率失真代价优于采用合并模式编码得到的率失真代价时，当 前CU在所有PU划分模式下只检查合并模式，跳过其他编码模式。该方法能够在一定程度 上降低B帧的编码复杂度，但由于没有充分利用视点间的冗余信息，只能覆盖每帧图像中 的小部分CU，导致大部分选择合并模式作为最佳编码模式的CU仍需检查全部编码模式后 才能得到最佳编码模式，编码效率仍然有待提高。对于P帧，由于其视点方向的参考帧为I 帧，采用帧内预测模式进行编码，因此纹理图中所有采用合并模式作为最佳编码模式的CU 都不满足合并模式快速判定条件，该方法失效，P帧的编码复杂度没有得到改善。
[0005] 本发明基于3D-HEVC，提出一种基于视点间编码模式相关性和⑶划分层次间编码 模式相关性的帧间编码合并模式快速决策方法，在保证编码质量的前提下提高选择合并模 式作为最佳编码模式的CU的预判率，有效地降低编码复杂度。
【发明内容】
[0006] 本发明所要解决的技术问题是针对3D视频非独立视点纹理图的图像帧编码复杂 度高的问题，提供一种由视点间编码模式的相关性和CU划分层次间编码模式的相关性来 快速判定合并模式的方法，在保证编码质量的情况下有效地降低编码复杂度。
[0007] 本发明解决上述技术问题采用的技术方案为：一种3D-HEVC帧间编码合并模式快 速决策方法，针对3D视频非独立视点纹理图设计快速算法。本发明的技术方案流程如图3 所示。定义Jskip (CU表示当前CU采用合并-跳过模式编码得到的率失真代价，JmOTge(CU 表示当前CU采用合并模式编码得到的率失真代价。本发明的方法包含如下步骤：
[0008] 1)从非独立视点的纹理图中提取需要编码的⑶。
[0009] 2)当前⑶在2NX2N划分模式下检查合并模式和合并-跳过模式。
[0010] 3)判断当前⑶所在帧是P帧还是B帧。
[0011] 4)通过上一步判断，如果得到的结果是P帧，判断当前⑶的划分层次是否为3 ;
[0012] 如果当前CU的划分层次为3,即当前CU的大小为8X8时，判断是否同时满足条件 a和条件b:
[0013] 条件a.上一划分层次的⑶采用合并模式作为最佳编码模式。
[0014]条件b?在2NX2N划分模式下，Jskip (CUcur)<Jmerge (CUcJ。
[0015]如果条件a和条件b同时成立，则当前CU在2NXN，NX2N，NXN，2NXnU，2NXnD， nLX2N和nRX2N划分模式下只检查合并模式，跳过其他编码模式；否则，当前CU检查所有 编码模式。
[0016] 如果当前⑶的划分层次为0?2,即当前⑶的大小为64X64、32X32或16X16 时，检查所有编码模式。
[0017] 5)通过步骤3的判断，如果得到的结果是B帧，通过由相邻块得到的视差矢量 (DoNBDV)确定当前CU在视点方向的5个参考块，包括当前CU在视点方向的对应块及其4 个相邻块。判断当前CU是否同时满足条件c和条件d:
[0018] 条件c.视点方向参考帧中的任意一个参考块采用合并模式作为最佳编码模式。
[0019] 条件d?在 2NX2N划分模式下，Jskip (CUcur) <Jmerge (CUcJ。
[0020] 如果条件c和条件d同时成立，则当前CU在2NXN，NX2N，NXN，2NXnU，2NXnD， nLX2N和nRX2N划分模式下只检查合并模式，跳过其他编码模式；否则，当前CU检查所有 编码模式。
[0021] 与现有技术相比，本发明的优点在于：传统的合并模式快速判定方法基于视点方 向参考块的最佳编码模式判定当前CU的编码模式，只有当5个参考块同时采用合并模式作 为最佳编码模式时，才能判定当前CU的最佳编码模式为合并模式，没有充分利用视点间的 冗余信息；对于P帧，不能通过视点方向参考块判定出最佳编码模式为合并模式的CU，方法 失效。本发明充分利用CU编码模式的视点间相关性和划分层次间相关性来预判采用合并 模式作为最佳编码模式的CU。对于B帧，采用当前CU在视点方向参考帧中的对应块及其相 邻块的最佳编码模式判定最佳编码模式为合并模式的CU;对于P帧，采用位于上一划分层 次的CU的最佳编码模式判定当前划分层次下最佳编码模式为合并模式的CU。该方法可以 在保持编码质量的同时，降低非独立视点纹理图的编码复杂度，提高编码速度。
[0022] 实验结果表明，本发明的方法与3D-HEVC中采用的合并模式快速判定方法相比， 能够在码流只有少许增加，编码质量基本不降低的情况下，节省平均20. 4%的非独立视点 纹理图编码时间。
【附图说明】
[0023] 图1是3D视频处理单元编码结构示意图；
[0024] 图2是基于⑶的PU划分模式示意图；
[0025] 图3是本发明方法的流程图；
[0026] 图4是⑶划分分层结构不意图；
[0027] 图5是当前CU在视点方向参考帧中的参考块示意图。
【具体实施方式】
[0028] 以下结合附图对本发明作进一步详细阐述。
[0029] 本发明针对3D视频非独立视点纹理图的CU设计帧间编码合并模式快速决策方 法。在实际的使用中，编码器将调用本发明中的方法来完成具体的编码工作。图3为本发 明方法的流程图。定义表示当前CU采用合并-跳过模式编码得到的率失真代 价，表示当前CU采用合并模式编码得到的率失真代价。本发明的方法步骤如 下：
[0030] 第一步：根据编码器的配置文件读入视频序列，通过配置文件中的参数信息配置 编码器。
[0031] 第二步：从非独立视点的纹理图中按顺序提取出需要编码的CU。
[0032] 第三步：当前CU在2NX2N划分模式下检查合并模式和合并-跳过模式。
[0033] 第四步：判断当前⑶所在帧是P帧还是B帧。
[0034] 第五步：通过上一步判断，如果得到的结果是P帧，判断当前CU的划分层次是否为 3