一种应用于3个视点视频编码的视点间比特分配方法
【专利摘要】一种应用于3个视点视频编码的视点间比特分配方法，首先确定基本视点的编码失真对非基本视点的编码失真的影响，确定基本视点和非基本视点的率失真模型；然后，将视点间的比特分配问题转换为在有限总比特开销条件下，最小化基本视点和非基本视点的整体编码失真的问题，并求出最优解，即最优的视点间比特分配方案。该方法提高了多视点视频的编码效率，使得在相同编码码率的条件下，解码端重建的多视点视频质量更高，具有高性能、通用性强等特点，可应用于多视点视频的编码标准中。
【专利说明】一种应用于3个视点视频编码的视点间比特分配方法
【技术领域】
[0001] 本发明涉及一种用于提高多视点视频编码效率的视点间比特分配方法，属于多视 点视频编码标【技术领域】。
【背景技术】
[0002] 三维（3D)视频作为未来主要的视频应用技术，是指用户通过三维视频显示设备 可以享受到真实的三维视频内容。三维视频的相关技术，比如，三维视频采集、三维视频编 码、三维视频的显示等技术已经得到广泛的关注。为了推动三维视频技术的标准化，2002 年，运动图像专家组（MotionPictureExpertsGroup,MPEG)和视频编码专家组（Video CodingExpertsGroup,VCEG)已经制定了基于H. 264的多视点视频编码（MultiView VideoCoding，MVC)标准（H. 264/MVC)。目前MPEG和VCEG正在基于最新的高性能视频编 码标准（HighEfficiencyVideoCoding,HEVC)制定新一代MVC标准，S卩MV-HEVC。在多视 点视频中，用户可以从不同的角度观看该角度的三维视频，使得用户有融入视频场景中的 真实感受。多视点视频可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。当需 要更多的视点时，可以采用多视点视频-深度表示3D场景，并采用3D-HEVC编码标准进行 编码；用户终端可以采用基于深度的视图合成技术OepthImageBasedRendering,DIBR) 合成需要的视点图像。因此，在现有的MV-HEVC编码标准框架中，仅定义了 2个视点和3个 视点的视频编码结构。
[0003] 现有的多视点视频间比特分配方法是固定比例的比特分配方法，固定比例比特分 配的编码流程如图1所示，采用预先设定的比例系数为不同的视点分配比特。对于2个视 点的视频，BV和NBV之间的比特比例可以是2:8、4:6、6:4等；对于3个视点的视频BV和左 侧非基本视点（NBVL)、右侧非基本视点（NBVR)的比特比例可以是4:3:3、6:2:2等。
[0004] 固定比例的比特分配方法没有考虑BV的编码失真对NBV的编码失真的影响，仅凭 经验设置一个固定的分配比例；因此不具备通用性，重建的多视点视频的整体质量也不高。 由理论分析可知，BV对NBV有较大影响，BV的编码失真可以直接传播到NBV中，因此在多视 点间的比特分配过程中，应该考虑BV对NBV的影响。
【发明内容】
[0005] 针对固定比例的比特分配方法不具备通用性，重建视频整体质量不高的缺点，本 发明依据基本视点（BaseView，BV)对非基本视点（Non-BaseView，NBV)的影响，提出一种 应用于3个视点视频编码的视点间比特分配方法。该方法关注多视点视频的视点间比特分 配，确定多视点视频中，基本视点的失真对非基本视点的影响，设计最优的基本视点和非基 本视点之间的比特分配方法，提高多视点视频的编码效率，使得在相同编码码率的条件下， 解码端重建的多视点视频质量更高。
[0006] 本发明的应用于3个视点视频编码的视点间比特分配方法，首先确定基本视点的 编码失真对非基本视点的编码失真的影响，确定基本视点和非基本视点的率失真模型；然 后，将视点间的比特分配问题转换为在有限总比特开销条件下，最小化基本视点和非基本 视点的整体编码失真的问题，并求出最优解（即最优的视点间比特分配方案）；包括以下步 骤：
[0007] (1)定义基本视点的编码失真和编码比特数之间的数学模型为：
【权利要求】
1. 一种应用于3个视点视频编码的视点间比特分配方法，其特征是，包括如下步骤： (1) 定义基本视点的编码失真和编码比特数之间的数学模型为： Dbv= (abv · Rbv+bbv) \ 其中Dbv表示基本视点的编码失真，R bv表示BV的编码比特数，a bv和b bv为模型参数，表 示RbM D bv的影响程度；左侧非基本视点的编码失真D nbv，i与左侧非基本视点的编码比特数 Rnbv，1和基本视点的编码比特数R bv之间的关系为： Dnbv-1 -叮 I (abv · Rbv+D + (anbv-lRnbv-l+bnbv-1)， 其中H1表示当前帧BV的编码失真对左侧非基本视点的编码失真的影响程度，anbva和 bnbVil为模型参数，表示R 对D 的影响程度；右侧非基本视点的编码失真D 与右侧 非基本视点的编码比特数RnbV和基本视点的编码比特数R bv之间的关系为： Dnbv-r Π. r (clbv Rbv+bbv) + (&η?ιν-rRnbv-r+bnbv-r)， 其中I表示当前帧基本视点的编码失真对右侧非基本视点的编码失真的影响程度， anb^和b nbVj为模型参数，表示R nbVj对D nbvJ勺影响程度； (2) 对多视点视频序列最开始的如W帧，米用码率控制算法确定每帧的基本视点、 左侧非基本视点和右侧非基本视点的总比特数，并用预先设定的比例为不同的视点分 配比特并编码，将编码后的基本视点的编码失真和编码比特数分别存储在数组向量 Dbv = ( Αν,ο ,···, Am}和Rbv = flo,…Am}中，左侧非基本视点的编码失真和编码比特 数分别存储在数组向量& -1 = { Α?ν-/，0，…，/，-1}和 RnbvJ = {况― …，及ι?ν」，-I }中，右 侧非基本视点的编码失真和编码比特数分别存储在数组向量^ = 和 Rnbv_r -r,0，，尺nin.-r,『-lj"中； ⑶依据当前帧之前的W帧中的基本视点的失真= 与比特数 [，以及步骤⑴中Dbv和Rbv之间的数学模型，通过线性回归求解方程 组：
计算出基本视点的模型参数abv和b bv; (4)依据当前帧之前的W帧中的左侧非基本视点的失真Dnbij = {Ah」,。，···， 与比特数Rnbvj = ，以及基本视点的比特数Rbv = ^/η.,ο，·?πι}，以 及步骤⑴中Dnbv」，Rnbv」，以及Rbv之间的数学模型，通过线性回归求解方程组：
其中η^·· n表示已编码的W帧中，每帧的3个视点中，基本视点的失真对左侧非 基本视点的失真的影响程度，计算出左侧非基本视点的模型参数anbv」和b nbv 1; (5) 依据当前帧之前的W帧中的右侧非基本视点的失真Dnbv_，。…,} 与比特数R1Ibg = ，…，]，以及基本视点的的比特数= ，…，]， 以及步骤⑴中Dnbv p Rnbv p以及Rbv之间的数学模型，通过线性回归求解方程组：
其中TUo…表示已编码的W帧中，每帧的3个视点中，基本视点的失真对右侧非 基本视点的失真的影响程度，计算出右侧非基本视点的模型参数anbu和b nbv ^ (6) 依据步骤（3)、步骤⑷和步骤（5)所得的abv，bbv，anbv」，b nbv」，anbvJ^，bnbvJ^，以及采 用码率控制算法计算得到的当前帧的总比特数R。，通过下式：
为当前帧的基本视点、左侧非基本视点和右侧非基本视点分配比特，即计算出当前帧 的 Rbv、Rnbv-1、Rnbv-r; (7) 按照"先进先出"的原则，将数组向量&、€、?；、 的第0个数据删除，并将当前帧的编码失真和编码比特数添加到数组向量的末尾，更新数 组向莖.Dbv、Rbv、Dnbvj、Rnbvj、D nln,_r、Rnbv-r ; (8) 返回步骤（3)，对下一帧进行编码。
2.根据权利要求1所述的应用于3个视点视频编码的视点间比特分配方法，其特征是， 所述步骤（1)中的n jp n 过下式计算：
其中，表示当前帧的左侧非基本视点中，采用视点间跳跃模式编码 的预测单元（Prediction Unit，PU)的数量，Numpiu表示当前帧的左侧非基本视点中，所有 预测单元的数量，Num PU_InteVie;wSKIPM()de^表示当前帧的右侧非基本视点中，采用视点间跳跃模 式（Inter View Skip Mode)编码的预测单元的数量，Numpuj?表示当前帧的NBVR中，所有预 测单元的数量。
3.根据权利要求1所述的应用于3个视点视频编码的视点间比特分配方法，其特征是， 所述步骤⑵中预先设定的比例为：Rbv: Rnbvj :Rnbv_,= 30:35:35。
【文档编号】H04N19/147GK104519365SQ201510018281
【公开日】2015年4月15日 申请日期:2015年1月14日 优先权日:2015年1月14日
【发明者】元辉, 郭志鑫, 刘琚 申请人:山东大学