一种基于虚拟视点质量模型的多视点视频比特分配方法与流程

本发明涉及多视点视频比特分配领域，具体涉及一种基于虚拟视点质量模型的多视点视频比特分配方法。

背景技术：

6dof(sixdegreeoffreedom)视频是交互式媒体的发展目标。在6dof视频中，用户可以在任意位置以任意角度体验场景，获得身临其境的感受。6dof是三个围绕x、y和z轴旋转的自由度和三个沿x、y和z轴平移的自由度的统称。目前，国际标准化组织正积极推进6dof视频应用相关的标准的制定。多视点彩色和深度被确定为6dof应用场景的一种表示方式。在基于多视点彩色和深度的6dof视频系统中，虚拟视点通过基于深度图的绘制(depth-image-basedrendering,dibr)技术得到。与自由视点视频(freeviewpointvideo，fvv)系统不同，6dof视频系统支持更多自由度的场景体验，需要通过更多视点的彩色和深度视频来实现。多视点彩色和深度视频巨大的数据量给传输带来了巨大的压力。因此，根据用户的观看位置，对相关视点进行比特分配，实现网络带宽受限情况下6dof视频的高质量应用。

单视点视频的比特分配采用分级策略为不同编码对象分配比特：首先，在gop(groupofpictures)级根据信道速率和缓冲区状态为每个gop分配目标比特数；然后，根据gop中各帧图像的权重进行帧级的比特分配；最后，根据当前图像的总目标比特数为图像内每个编码树单元ctu(codingtreeunit)确定目标比特数。对多视点视频，需要在单视点视频比特分配的基础上，进一步考虑视点间的比特分配。有研究人员从用户的体验质量出发，提出一种基于体验质量模型的视点级比特分配方法，该方法由于对质量模型的依赖性较强，因此适用性较差。在多视点视频系统中，用户并非一直在固定位置观看同一视点，会根据视频内容的变化，切换其所要观看的视点。针对此种情况，有研究人员提出了一种依赖于视点切换概率的比特分配方案，分配比率随切换概率发生变化，但该视点切换模型仅适合已有视点间的切换，不适合存在虚拟视点的系统，其比特分配方法应用场合较少。

6dof视频系统非常复杂，相关标准化工作仍在不断推进。当前，mpeg发布了由平面布置的相机阵列采集的多视点彩色视频和对应的深度视频序列用于标准化测试，但并没有针对该视频序列的比特分配方案。与一维分布的多视点彩色和深度视频相比，平面分布的多视点彩色与深度视频既包含水平视差又包含垂直视差。因此，传统多视点彩色和深度视频的虚拟视点失真模型、用户体验质量和视点切换概率等不再适合于平面分布的多视点彩色和深度视频。

本发明针对平面布置的相机阵列采集的多视点视频提出了一种基于虚拟视点质量模型的多视点视频比特分配方法。

技术实现要素：

针对现有技术中存在的上述不足，本发明针对平面布置的相机阵列采集的多视点视频提出了一种基于虚拟视点质量模型的多视点视频比特分配方法，能够有效地改善虚拟视点的主客观质量，提高用户的视觉体验。

为解决上述技术问题，本发明采用了如下的技术方案：

一种基于虚拟视点质量模型的多视点视频比特分配方法，包括如下步骤：

s1、基于当前的目标比特数r，按照预设比例进行纹理视频和深度视频的比特数分配，rt,t表示纹理视频分配到的比特数，rt,d表示深度视频分配到的比特数；

s2、基于三维空间中虚拟视点处相机的位置(xv,yv,zv)、以及虚拟视点四周的参考视点处相机的位置(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)和(x4,y4,z4)，计算虚拟视点与各参考视点之间的基线距离，虚拟视点与第i个参考视点之间的基线距离di的计算公式为：

s3、基于虚拟视点与各参考视点之间的基线距离计算虚拟视点与各参考视点之间的基线距离的权重，wi表示虚拟视点与第i个参考视点之间的基线距离的权重：

s4、基于虚拟视点与各参考视点之间的基线距离的权重计算各参考视点的纹理视频的视点级比特分配权重，wt,i表示第i个参考视点的纹理视频的视点级比特分配权重；

s5、基于虚拟视点与各参考视点之间的基线距离的权重计算各参考视点的深度视频的视点级比特分配权重，wd,i表示第i个参考视点的深度视频的视点级比特分配权重；

s6、基于纹理视频分配到的比特数rt,t及各参考视点的纹理视频的视点级比特分配权重计算各参考视点的纹理视频分配的比特数，rt,i表示第i个参考视点的纹理视频分配的比特数，

rt,i＝wt,i×rt,t；

s7、基于深度视频分配到的比特数rt,d及各参考视点的深度视频的视点级比特分配权重计算各参考视点的深度视频分配的比特数，rd,i表示第i个参考视点的深度视频分配的比特数，

rd,i＝wd,i×rt,d；

s8、按照各视点纹理视频和深度视频分配的比特数，使用hm平台对各视点的纹理和深度视频进行独立的编码。

优选地，步骤s1中的预设比例为5:1，

优选地，步骤s4中：

无深度失真时，虚拟视点的质量qt和纹理视频的编码量化参数之间满足以下公式：

式中，ξi是第i个参考视点对应的与纹理视频有关的虚拟视点质量模型中的线性系数，qpt.i是i个参考视点对应的虚拟视点的纹理视频的编码量化参数，ct是与参考视点压缩失真无关的变量；

ξi和wi的关系满足ξi＝mtwi+nt，mt与nt为线性拟合得到的系数，值依次为-0.684和0.020；

在h.265/hevc中，拉格朗日乘子λ和视频编码失真d之间的关系满足：

d＝αλ^β

式中，α和β是与视频内容特性有关的模型参数；

视频编码质量q和视频编码失真d之间满足：

q＝10×log10255²/d

编码量化参数qp和λ之间的关系满足：

qp＝4.2005lnλ+13.71122

则qp和q之间满足：

qp＝a×q+b

式中，a＝-0.996/β，b＝-9.9612lnα/β+47.9440/β+14.1221；

设第i个参考视点的彩色视频的编码质量为qt,i，对应的与视频内容特性有关的模型参数为αt,i和βt,i，则与纹理视频有关的虚拟视点质量预测模型表示为：

根据失真最小化时质量最好的原则，通过合理分配各参考视点间纹理视频的比特数，可实现与纹理视频质量有关的虚拟视点质量最大化，进而最小化与纹理视频有关的虚拟视点失真，即：

将该问题转化为约束优化问题，引入拉格朗日乘子λt，构造代价函数：

其最优解需满足：

也即：

因为：

q＝10log10255²/d

则：

在h.265/hevc中，满足以下公式：

d＝c×r^k

其中，c和k是与视频内容和编码特性有关的参数；

平面分布的多视点彩色和深度视频系统中，虚拟视点周围四个参考视点的视频内容和编码特性相似，则认为各参考视点对应的c、k和at,i分别近似相等，则：

等价于：

则第i个参考视点纹理视频对应的比特分配权重为：

优选地，步骤s5中：

无纹理失真时，虚拟视点的质量qd和深度视频的编码量化参数之间满足：

式中，ζi是第i个参考视点对应的与深度视频有关的虚拟视点质量模型中的线性系数，qpd.i是第i个参考视点对应的虚拟视点的深度视频的编码量化参数，cd是与参考视点压缩失真无关的变量；

ζi和wi的关系满足ζi＝mdwi+nd，md与nd为线性拟合得到的系数，值依次为-0.194和-0.105；

同理步骤s4，可理论推导得出以下公式：

则第i个参考视点深度视频对应的比特分配权重为：

与现有技术相比，本发明的优点在于：考虑在虚拟视点绘制过程中，各参考视点对虚拟视点质量的影响与相机之间的基线距离权重有关，在构建虚拟视点质量模型的基础上，分别理论推导出与相机基线距离权重相关的纹理视频、深度视频的视点级比特分配权重，根据权重最小化纹理失真和深度失真，从而达到最小化虚拟视点失真的目的。与视点级比特平均分配方法相比，本发明可有效提升虚拟视点绘制质量，质量提升的程度与虚拟视点偏离各参考视点的中心距离有关，偏离得越远则提升效果越明显。

附图说明

图1为本发明方法的总体实现框图；

图2为虚拟视点绘制示意图；

图3a为参考视点无深度失真时，序列‘orangekitchen’纹理视频qp对虚拟视点质量的影响；

图3b为参考视点无纹理失真时，序列‘orangekitchen’深度视频qp对虚拟视点质量的影响；

图4a为虚拟视点质量模型中纹理视频线性系数与基线距离权重之间的关系；

图4b为虚拟视点质量模型中深度视频线性系数与基线距离权重之间的关系；

图5a为对角线路径示意图；

图5b为自由观看路径示意图；

图6a为无失真参考视点绘制得到的序列‘technicolorpainter’第50帧效果图和局部放大图；

图6b为6a放大区域对应的四个参考视点局部放大图；

图6c为qp(40,45)时均分比特法参考视点绘制得到的序列‘technicolorpainter’第50帧效果图和局部放大图；

图6d为6c放大区域对应的四个已编码参考视点局部放大图；

图6e为qp(40,45)时本发明方法参考视点绘制得到的序列‘technicolorpainter’第50帧效果图和局部放大图；

图6f为6e放大区域的四个已编码参考视点局部放大图。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，本发明公开了一种基于虚拟视点质量模型的多视点视频比特分配方法，包括如下步骤：

s1、基于当前的目标比特数r，按照预设比例进行纹理视频和深度视频的比特数分配，rt,t表示纹理视频分配到的比特数，rt,d表示深度视频分配到的比特数；

在本实施例中，先对纹理视频和深度视频进行比特分配的原因为：在仅考虑编码失真引起的虚拟视点失真的情况下，将采用原始的参考视点绘制得到的虚拟视图记为sv，存在编码失真的参考视点绘制得到的虚拟视图记为由原始的纹理视频和其对应的存在编码失真的深度视频绘制得到的虚拟视图为则虚拟视点失真dv为：

由于的值具有随机性且互不相关，因此项可忽略不计。因为在平面分布的多视点彩色和深度视频系统中，如图2虚拟视点绘制示意图所示，虚拟视点像素值s(xv,yv)由四个参考视点的像素值s1(x1,y1)、s2(x2,y2)、s3(x3,y3)及s4(x4,y4)来确定：

其中，wi表示虚拟视点与第i个参考视点之间的基线距离的权重。则虚拟视点失真可进一步表示为：

当i≠j时，和和具有随机性且互不相关，则：

因此，可构建如下虚拟视点质量模型：

其中，dt和dd分别表示彩色和深度视频编码失真引起的虚拟视点失真。

可见，虚拟视点失真可分解为与纹理视频和深度视频相关的两部分，通过调整各视点纹理、深度视频的比特分配，最小化dt和dd，从而达到最小化虚拟视点失真的目的。因此，本发明采用先视频间(即纹理和深度视频)、后各参考视点间的比特分配方案来实现多视点视频的比特分配。

s2、基于三维空间中虚拟视点处相机的位置(xv,yv,zv)、以及虚拟视点四周的参考视点处相机的位置(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)和(x4,y4,z4)，计算虚拟视点与各参考视点之间的基线距离，虚拟视点与第i个参考视点之间的基线距离di的计算公式为：

s3、基于虚拟视点与各参考视点之间的基线距离计算虚拟视点与各参考视点之间的基线距离的权重，wi表示虚拟视点与第i个参考视点之间的基线距离的权重：

s4、基于虚拟视点与各参考视点之间的基线距离的权重计算各参考视点的纹理视频的视点级比特分配权重，wt,i表示第i个参考视点的纹理视频的视点级比特分配权重；

s5、基于虚拟视点与各参考视点之间的基线距离的权重计算各参考视点的深度视频的视点级比特分配权重，wd,i表示第i个参考视点的深度视频的视点级比特分配权重；

s6、基于纹理视频分配到的比特数rt,t及各参考视点的纹理视频的视点级比特分配权重计算各参考视点的纹理视频分配的比特数，rt,i表示第i个参考视点的纹理视频分配的比特数，

rt,i＝wt,i×rt,t；

s7、基于深度视频分配到的比特数rt,d及各参考视点的深度视频的视点级比特分配权重计算各参考视点的深度视频分配的比特数，rd,i表示第i个参考视点的深度视频分配的比特数，

rd,i＝wd,i×rt,d；

s8、按照各视点纹理视频和深度视频分配的比特数，使用hm平台对各视点的纹理和深度视频进行独立的编码。

具体实施时，步骤s1中的预设比例为5:1，

具体实施时，步骤s4中：

为了研究纹理视频失真和虚拟视点失真之间的关系，在无深度失真的情况下，通过改变一个视点纹理视频的编码量化参数(quantizationparameter，qp)、固定其它三个视点的qp，研究不同重建质量组合的重建彩色视频绘制得到的虚拟视点质量。通过实验发现。无深度失真时，虚拟视点的质量qt和纹理视频的编码量化参数之间满足以下公式：

式中，ξi是第i个参考视点对应的与纹理视频有关的虚拟视点质量模型中的线性系数，qpt.i是第i个参考视点对应的虚拟视点的纹理视频的编码量化参数，ct是与参考视点压缩失真无关的变量，图3a为参考视点无深度失真时，序列‘orangekitchen’的彩色视频qp对虚拟视点质量的影响；

根据虚拟视点失真模型可知，与纹理视频相关的线性系数ξi与基线距离权重wi有关。通过对不同序列中不同虚拟视点处相应的ξi和wi进行统计后发现，ξi和wi的关系满足ξi＝mtwi+nt，mt与nt为线性拟合得到的系数，值依次为-0.684和0.020，虚拟视点质量模型中纹理视频线性系数与基线距离权重之间的关系如图4a所示；

在h.265/hevc中，拉格朗日乘子λ和视频编码失真d之间的关系满足：

d＝αλ^β

式中，α和β是与视频内容特性有关的模型参数；

视频编码质量q和视频编码失真d之间满足：

q＝10×log10255²/d

编码量化参数qp和λ之间的关系满足：

qp＝4.2005lnλ+13.71122

则qp和q之间满足：

qp＝a×q+b

式中，a＝-0.996/β，b＝-9.9612lnα/β+47.9440/β+14.1221；

设第i个参考视点的彩色视频的编码质量为qt,i，对应的与视频内容特性有关的模型参数为αt,i和βt,i，则与纹理视频有关的虚拟视点质量预测模型表示为：

根据失真最小化时质量最好的原则，通过合理分配各参考视点间纹理视频的比特数，可实现与纹理视频质量有关的虚拟视点质量最大化，进而最小化与纹理视频有关的虚拟视点失真，即：

将该问题转化为约束优化问题，引入拉格朗日乘子λt，构造代价函数：

其最优解需满足：

也即：

因为：

q＝10log10255²/d

则：

在h.265/hevc中，满足以下公式：

d＝c×r^k

其中，c和k是与视频内容和编码特性有关的参数；

因为在平面分布的多视点彩色和深度视频系统中，虚拟视点周围四个视点的视频内容和编码特性相似，则可认为各视点对应的c、k和at,i分别近似相等，则：

等价于：

则第i个参考视点纹理视频对应的比特分配权重为：

具体实施时，步骤s5中：

为了研究深度视频失真和虚拟视点失真之间的关系，在无纹理失真的情况下，通过改变一个视点深度视频的编码量化参数(quantizationparameter，qp)、固定其它三个视点的qp，研究不同重建质量组合的重建深度视频绘制得到的虚拟视点质量。通过实验发现，无纹理失真时，虚拟视点的质量qd和深度视频的编码量化参数之间满足：

式中，ζi是第i个参考视点对应的与深度视频有关的虚拟视点质量模型中的线性系数，qpd.i是第i个参考视点对应的虚拟视点的深度视频的编码量化参数，cd是与参考视点压缩失真无关的变量；图3b为参考视点无纹理失真时，序列‘orangekitchen’的深度视频qp对虚拟视点质量的影响。

根据虚拟视点的失真模型可知，与深度视频相关的线性系数与基线距离的权重有关。通过对不同序列中不同虚拟视点处对应的ζi和wi进行统计后发现，两者之间满足ζi＝mdwi+nd，md与nd为线性拟合得到的系数，值依次为-0.194和-0.105；虚拟视点质量模型中深度视频线性系数与基线距离权重之间的关系如图4b所示。

同理步骤s4，可理论推导得出以下公式：

则第i个参考视点深度视频对应的比特分配权重为：

综上所述，与现有技术相比，本发明的优点在于：考虑在虚拟视点绘制过程中，各参考视点对虚拟视点质量的影响与相机之间的基线距离权重有关，在构建虚拟视点质量模型的基础上，分别理论推导出与相机基线距离权重相关的纹理视频、深度视频的视点级比特分配权重，根据权重最小化纹理失真和深度失真，从而达到最小化虚拟视点失真的目的。与视点级比特平均分配方法相比，本发明可有效提升虚拟视点绘制质量，质量提升的程度与虚拟视点偏离各参考视点的中心距离有关，偏离得越远则提升效果越明显。

为了进一步说明本发明方法的可行性和有效性，进行下列实验。

在本实施例中，采用hevc的参考软件hm16.20对各视点的彩色视频和深度视频进行独立编码，使用mpeg-i提供的绘制平台vsrs4.3进行虚拟视点绘制。测试序列如表1所列，xiyj表示对应序列中第i列第j行的视点。虚拟视点分布如图5a和5b所示，vi表示第i个参考视点，vi表示第i个虚拟视点。为了衡量编码失真对虚拟视点质量的影响，将由无编码失真的彩色和深度视频绘制得到的虚拟视点作为参照得到峰值信噪比(peaksignal-to-noiseratio，psnr)。

表1实验序列的相关参数

在本实施例中，对图5a中对角线路径中的虚拟视点，选用了4种码率进行测试，对应的彩色视频qp为{25,30,35,40}，深度视频qp为{34,39,42,45}，测试结果如表2所示，并与视点级比特平均分配的方法(即均分比特法)进行性能对比。表中qpro、qave分别表示本发明方法和均分比特法对应的虚拟视点质量，用psnr衡量，质量的提高量用δq表示：

δq＝qpro-qave

从表2可知，与均分比特法相比，本发明提出的基于虚拟视点质量模型的比特分配方法可以获得质量更高的虚拟视点，质量改善的程度与虚拟视点位置偏离四个参考视点的中心距离有关。本发明方法中比特分配的权重与绘制虚拟视点时的融合权重有关，距离虚拟视点较近的参考视点，融合时权重较大，从而对虚拟视点质量的影响较大，因此分配给该视点的比特数就较多，反之，分配给该视点的比特数较少。在图5a中，如果用户在v1处体验场景，采用本发明方法传送参考视点时，会分配给绘制时融合比例最大的参考视点v1更多的比特，从而提升虚拟视点v1的质量。实验结果表明，虚拟视点偏离参考视点中心位置越远，本发明方法和均分比特法的比特分配权重差别就越大，虚拟视点的质量提升效果也就越显著。如表2所示，虚拟视点v1和v5的质量提升明显高于v2、v3和v4，由于v1和v5中心对称，两者的质量提升效果相当。当虚拟视点位于参考视点的中心时，本发明方法和均分比特法对应的分配权重相等，因此v3处质量不变，δq等于0。

在本实施例中，对图5b中的自由观看路径中的虚拟视点，在同一码率下进行测试，结果如表3所示，虚拟视点v1-v7的质量都得到了改善，与表2对角线路径时的测试结果类似，虚拟视点偏离参考视点中心位置越远，质量提升效果也越明显。

为了进一步说明本发明方法的有效性，以下给出主观实验结果。图6为序列‘technicolorpainter’在对角线路径中虚拟视点v1处的第50帧图像，其中，图6a、6c和6e分别为无失真、均分比特法和本发明方法绘制得到的效果图和局部放大图；图6b为原始参考视点的局部放大图；图6d和6f分别为均分比特法和本发明方法在qp为(40,45)时四个已编码参考视点的局部放大图，图6b、图6d及图6f中，从左到右依次对应x2y2、x3y2、x2y3和x3y3。实验结果表明，图6e和6c相比，使用本发明方法进行比特分配后，虚拟视点质量更高，视图中纹理细节保留得更好，这是因为本发明方法根据基线距离权重来确定视点级纹理、深度视频的比特分配。在本实验中，为距离虚拟视点最近的视点x2y2分配了最多的比特，根据分配比特编码各视点后，视点x2y2、x3y2、x2y3和x3y3的质量(psnr)依次为37.24db、31.71db、31.46db和30.17db，从主观效果来看，视点x2y2中较好地保留了图像纹理细节，如图6f所示，因而在绘制虚拟视点时，本发明方法能够提供更丰富的纹理信息，使得最终的虚拟视点质量相对较高。

表2沿对角线路径对应的客观质量比较结果(db)

表3自由观看路径对应的客观质量比较结果(db)

以上仅是本发明优选的实施方式，需指出是，对于本领域技术人员在不脱离本技术方案的前提下，还可以做出若干变形和改进，上述变形和改进的技术方案应同样视为落入本申请要求保护的范围。