基于视觉感知特性的超高清视频图像质量客观评价方法

基于视觉感知特性的超高清视频图像质量客观评价方法
【专利摘要】本发明涉及基于视觉感知特性的超高清视频图像质量客观评价方法。所述方法包括：对输入的原始超高清视频序列和受损超高清视频序列的每一帧进行16×16的分块(即宏块)，分别求得每个块的结构相似值SSIMij；计算超高清视频图像中每一宏块的权重wij；对当前帧每一宏块的SSIMij值用wij进行加权，得到单帧的超高清图像质量；对整个视频序列的每一帧图像质量值进行加权，得到整个视频序列的图像质量客观评价结果。本发明在现有SSIM算法的基础上，不但考虑亮度掩盖因子、纹理复杂度、运动信息，而且考虑超高清视频高分辨率及人眼视觉特性，对空间位置信息进行加权。实验表明，本发明所述方法相比传统的SSIM算法，在与主观评价结果的一致性方面有很大提高。
【专利说明】基于视觉感知特性的超高清视频图像质量客观评价方法

【技术领域】
[0001]本发明属于计算机数字视频图像处理领域，涉及一种基于视觉感知特性的超高清视频图像质量客观评价方法。

【背景技术】
[0002]人们对高质量图像和声音的追求是永无止境的。近年来，随着视频编码和网络技术的快速发展，人们已不满足于HDTV的图像质量，转而追求更具临场感及更高清晰度的下一代电视格式。因而产生了比HDTV具有更大视角更高分辨率的电视标准——超高清晰度电视(UHDTV)。超高清晰度电视即为具有极高的图像清晰度和极强的环绕立体声效果的系统。其目标是为观众提供较高的真实感和临场感。ITU-R BT.2020建议书《Parameter valuesfor UHDTV systems for product1n and internat1nal programme exchange (适用于节目制作和国际节目交换的、超高清电视系统的一些参数值)》，规定了两个层级的超高清电视UHDTVl (3840X2160)与UHDTV2 (7680X4320)。如此高的分辨率能够给观众呈现出令人难以置信的细腻显示效果，让观众全面体验超高清画质的震撼魅力。
[0003]超高清图像技术的发展必定伴随着图像的获取、处理、编码、存储、传输、显示等过程。因此超高清图像技术与图像处理、视频编解码、信息传输显示等技术是相辅相成、相互制约、相互发展的。而一项成熟发展的科学技术，必定伴随着科学的测量方法以鉴定其优劣。通过视频图像的质量评价，能对不同的视频技术进行性能比较。只有好的质量评价方法才能提供准确的指导方向，使视频技术得以快速发展。因而图像质量评价方法的好坏显得尤为重要。值得一提的是，超高清图像其惊人的清晰度是以其巨大的码率为代价的，这意味着为了存储和传输的方便与有效性，就必须得通过压缩编码尽可能降低码率，而为了达到所要求的比特率，就不得不舍弃一些图像信息，从而产生了图像失真，对图像的质量产生影响。因此，如何评定压缩后的超高清图像质量是超高清关键技术发展过程中人们所密切关心的一大问题。
[0004]综上所述，如何评价超高清视频质量,从而能通过其质量来重新对视频图像编解码、视频图像传输、视频图像处理、视频图像显示等技术进行设计、选择、优化、性能评价等具有重大意义。
[0005]视频质量评价方法分为主观评价和客观评价。主观评价根据观测人员对被测数据的主观感觉进行质量评价，是基于人眼的直接观察来评价图像质量，因此是国际上公认最可靠的视频和图像质量评价方法。主观评价的优点是质量等级标准建立容易、实施方便，且符合人眼视觉特性。不足之处在于受环境条件限制大，稳定性差，复杂度高，因此结果稳定性和可移植性也较差。此外，在实际应用中，受外在因素的影响，主观质量评价也不适合某些应用场合，如实时视频传输等领域。
[0006]针对主观评价应用的局限性，视频图像质量客观评价方法逐渐成为研究热点。客观评价是指对图像和视频数据建立数学模型，经过一系列计算，得到一个反映其视频质量损伤程度的参数，作为评价结果。
[0007]全参考视频质量客观评价方法就是在全部原始视频和失真视频信息已知的条件下，通过计算二者之间的差异以获得相对评估的指标值，并根据这些指标值评估图像质量，准确性高。该方法通常分为两步，首先计算原始与失真图像之间的误差，然后综合这些失真得到全图的质量分数。
[0008]目前视频质量的客观评价方法已有很多种，最常用的是峰值信噪比(PSNR)和均方误差(MSE)，这种方法原理简单，易于实现，但这两种方法没有考虑人眼的视觉特性而将每个像素同等对待，致使主客观质量评价结果不一致。Zhou Wang等人在“ Image QualityAssessment:from Error Visibility to Structural Similarity，，一文中从图像的结构信息入手，提出了一种基于结构相似度(SSIM，Structural SIMilarity)的图像质量测度。这种方法基于“人类视觉系统主要用于且非常适用于从视场中提取结构信息”的理念，从而把图像质量评价的标准从对误差的度量变成了对于结构失真的度量，并将图像的退化看作图像结构信息的丢失。这种方法没有考虑图像的边缘信息，对高度模糊的图像评价效果很差° 基于 SSIM 方法,Chen Guanhao 等人在“Gradient-based Structural Similarity forImage Quality Assessment” 一文中提出了基于结构边缘信息(ESSIM)的图像质量评价方法，对模糊失真的图像有一定的改善。但是上述几种方法没有考虑到视频中帧与帧之间的时间相关性，只能用于图像的质量评价。视频质量的评价必须同时考虑到视频的时间信息或者运动信息。卢国庆等人在“基于运动信息和结构信息的视频质量评价方法”一文中提出了基于运动信息和结构信息(MESSIM)的视频质量评价方法，但是该方法在单帧图像质量评价时没有考虑到局部失真时的边缘结构信息。


【发明内容】

[0009]针对目前的图像质量客观评价方法并不完全适用于超高清视频的问题，本发明在SSIM模型基础上，提出了一种基于视觉感知特性的超高清视频图像质量客观评价方法。该方法不仅考虑了视频图像的结构信息和运动信息等因素对人眼视觉的影响，还考虑了人眼对超高清视频的注意区域以及亮度的影响，能够较好地模拟人眼的视觉机制。
[0010]为实现上述目的，本发明采用以下技术方案:
[0011 ] 步骤I，对输入的原始超闻清视频序列和受:损超闻清视频序列的每一巾贞进行16X16的分块(即宏块)，分别提取每一宏块原始图像和失真图像的亮度变化信息，然后提取图像的对比度变化信息，在此基础上再提取图像的结构变化信息，并对以上提取的三种变化进行相似性比较，最后对其比较结果进行综合，从而得到一种相似性度量指标，并以此指标作为该宏块图像质量好坏的评价尺度，即SSIMu值。
[0012]步骤2，计算超高清视频图像中每一宏块的权重Wij。
[0013](I)根据原始超高清图像中当前宏块所处空间位置，得到其空间位置权重Pij ；
[0014](2)根据原始超高清图像中当前宏块的亮度均值，得到其亮度掩盖因子Iu ；
[0015](3)计算原始超高清图像中当前宏块的纹理复杂度，得到其纹理复杂度权重Sij ；
[0016](4)计算原始超高清图像当前宏块相对于前一帧的运动矢量，得到其运动信息权重;
[0017](5)综合以上四种权重得到每个宏块最终的加权系数=Wij = PijXlijXsijXviP
[0018]步骤3，对当前帧每一宏块的SSIMij值用Wij进行加权，得到单帧的超高清图像质量。
[0019]步骤4，对整个视频序列的每一帧图像质量值进行加权,得到整个视频序列的图像质量客观评价结果。
[0020]本发明的有益效果是:对比现有文献和专利提出的方法，本发明所述的视频质量客观评价方法在现有SSIM算法的基础上，不但考虑了亮度掩盖因子、纹理复杂度、运动信息，而且考虑了超高清视频高分辨率及人眼视觉特性，对空间位置信息进行了加权。对DucksTakeOff和ParkJoy两个序列各8个码率的视频序列,采用本发明所述方法和SSIM算法分别计算图像的客观评价质量，采用本发明所述方法得到的客观评价结果与主观评价结果的皮尔森相关系数为93.03 %，而采用SSIM算法得到的皮尔森相关系数仅为16.15 %。实验表明，对于超高清视频序列，本发明所述方法相比传统的SSIM算法，在与主观评价结果的一致性方面有很大提高。

【专利附图】

【附图说明】
[0021]图1为结构相似度SSM计算方法示意图；
[0022]图2为空间位置区域划分示意图；
[0023]图3为亮度归一化敏感曲线；
[0024]图4为本发明所述方法的结构框图；
[0025]图5为应用本发明所述方法得到的客观评价结果与主观评价结果拟合图；
[0026]图6为应用SSM方法得到的客观评价结果与主观评价结果拟合图。

【具体实施方式】
[0027]—种基于视觉感知特性的超高清视频图像质量客观评价方法，考虑了超高清视频的空域及时域特性，其特征在于包括以下步骤:
[0028]步骤1，对超高清视频中每一帧图像进行16X16的分块，分别求得每个块的结构相似值，即SSM。
[0029]求SSM的方法如图1所示。首先对超高清视频序列中每一帧图像进行16X 16的分块(即宏块)，分别提取每一宏块原始图像和失真图像的亮度变化信息，然后提取图像的对比度变化信息，在此基础上再提取图像的结构变化信息，并对以上提取的三种变化进行相似性比较，最后对其比较结果进行综合，从而得到一种相似性度量指标，并以此指标作为该宏块图像质量好坏的评价尺度。
[0030]每个宏块的结构相似值为:
[0031]SSIMij (X, Y) = [Iij (X, Y)]a[cij(X,Y) ] y
[0032]其中，X为原始超高清视频序列，Y为受损超高清视频序列。a > O、β > O和Y> O是用于调整式中三个分量的相对重要性。lu(X，Y)、cu(X，Y)分别为亮度比较函数、对比度比较函数和结构比较函数。
[0033]亮度比较函数为:

【权利要求】
1.基于视觉感知特性的超高清视频图像质量客观评价方法，其特征在于包括以下步骤: 步骤1，对超高清视频中每一帧图像进行16X16的分块，分别求得每个块的结构相似值，即 SSMij ； 步骤2，计算原始超高清视频序列中第i帧第j个宏块的权重，公式如下:
wij = PijX IijX SijX Vij 其中，PijUiPSij^ij分别表示空间位置信息权重、亮度掩盖因子、纹理复杂度权重和运动信息权重； 步骤3，计算视频序列中单帧图像质量； 对于超高清视频序列中单帧图像质量，采用对每个16X16宏块局部失真加权形式获得，计算公式如下: 式中，Qi表示视频序列中第i帧图像的质量，Wij表示第i帧第j块的加权系数，Rs表示一帧中宏块的个数； 步骤4，计算整个视频序列的客观评价质量； 对于视频中每一帧图像质量进行加权处理，得到整个视频序列的客观评价结果，加权公式如下:
式中，F表示序列中帧的数量，Wi表示第i帧的权重值，Qi为步骤3计算得到的第i帧图像的质量，WeightSSIM为最终的视频序列客观评价结果； 由于人在观看视频时很容易注意到受损图像，且其对整个视频的图像质量会造成比较大的影响，所以对图像质量较差的帧赋予较高的权值，对图像质量好的帧赋予较小的权值；Wi的选取采用以下原则:
2.根据权利要求1所述的基于视觉感知特性的超高清视频图像质量客观评价方法，其特征在于，步骤I所述每个宏块的结构相似值为:
其中，X为原始超闻清视频序列，Y为受:损超闻清视频序列；α >0、β >0和Y >0是用于调整式中三个分量的相对重要性；lu(X，Y)、cu(X，Y)和Su (X，Y)分别为亮度比较函数、对比度比较函数和结构比较函数； 亮度比较函数为:
其中，
式中，Xn为原始超高清视频序列第i帧第j个宏块内各像素点亮度值；yn为受损超高清视频序列第i帧第j个宏块内各像素点亮度值#为宏块亮度像素点总数，取值为256 ;Ci是为避免当+/4.十分接近零时，Iij(X, Y)产生奇异性和不稳定性而引入的常数； 对比度比较函数为:
其中，
式中，C2为作用与C1相同的常数； 结构比较函数为:
其中，
式中，C3为作用与Cp C2相同的常数。
3.根据权利要求1所述的基于视觉感知特性的超高清视频图像质量客观评价方法，其特征在于，步骤2所述空间位置信息权重、亮度掩盖因子、纹理复杂度权重和运动信息权重的计算方法如下: (I)计算空间位置信息权重Pij 空间位置信息权重的设定依据人眼视觉特性，将超高清图像按空间位置分区；通常眼珠不转动，凝视物体时，能清晰地看出物体内容的视场区域对应的双眼视角大约是35° X20°，故将此区域换算为像素点为1920X1080 ;依此将整幅图像划分为9个不同的区域，共取三个不同的权重； ①区为中心区域，②区为中心四周区域，③区为边缘区域；由于人眼对图像中心区域的关注程度往往要比中心四周及边缘要高，所以对三个区域按信息重要性进行排列:①区〉②区〉③区，依此给三个区域图像按其重要程度分配权重值P1, P2, P3,



Pi e {P 1≤P≤1}，且满足
;根据人眼视觉特性，在这里取P1 = 0.6，P2 =0.3，p3 = 0.1；根据第i帧第j个宏块在整帧图像中所处位置分别赋予相应的权重，即如果该宏块在①区，则其空间位置信息权重取P 1；即Pij = 0.6 ;如果该宏块在②区，则其空间位置信息权重取P 2，即Pij = 0.3 ;如果该宏块在③区，则其空间位置信息权重取P 3，即Pij = 0.1 ； (2)计算亮度掩盖因子Iij 根据人眼视觉特性，人眼对于发生在不同亮度区域噪声的敏感特性是不同的，中等灰度在人眼中表现为最敏感，而高灰度与低灰度两个方向的敏感度都呈现出非线性下降趋势；如果亮度掩盖因子为Iij,图像宏块亮度均值为m，Iij的数学表达式为:
式中，T1、T2为亮度均值阈值；超高清视频采用1bit量化，其亮度的取值范围为O~1023，依此对1\、T2设定不同的值； (3)计算纹理复杂度权重Sij 统计原始超高清视频序列中第i帧第j个宏块内梯度方向种类和边缘像素数，以此来估计该宏块的纹理复杂度； 首先用Prewitt算子对整帧图像进行卷积，提取边缘像素点，分别计算每个像素点的水平和垂直梯度(GhOT，Gvot),以及每个像素点的梯度方向Θ (m, η):
式中,I (m, η)为原始超高清图像,Shor、Sver为Prewitt方向模板；
将[0，360° )划分为4个不同的方向，据此将梯度方向Θ (rn, η)分为以下4类:
然后，统计原始超高清视频序列中第i帧第j个宏块内边缘像素总数nedge和梯度方向的种类ke ;则该宏块的纹理复杂度su计算公式如下:
其中，
式中，Teidgei为宏块内边缘像素点个数阈值，Sij的取值范围为(O, I)，当Sij趋向O时,代表该区域纹理丰富，属于随机纹理区域，其失真效应不容易被人眼察觉；当Sij趋向I时，代表该区域纹理简单，属于结构纹理区域，人眼对其失真效应比较敏感； (4)计算运动信息权重Vij 根据人眼视觉特性，运动速率不同时，人眼会对视频失真产生不同程度的掩盖效应；同等失真情况下，人眼感知到的失真随运动速率的不同而不同；所以需要对不同的运动信息加以不同的权值；在实际场景中，出现运动场面主要有以下两种情况: 1)整个场景变化不大，只有部分对象在运动或变化；根据人眼视觉特性，当观看这样的场景时，人眼关注的是场景运动和变化的对象，此部分信息就是人眼比较敏感的信息，应给这部分信息一个比较大的权重；权重公式为:
式中，Hlij表示原始超高清视频序列中第i帧图像的第j个宏块的运动矢量值； 2)整个场景运动剧烈，人眼很难分辨出视频中内容的细节部分；按照运动剧烈宏块所占比例分为两种情况: ①运动剧烈宏块比重超过80%，说明该帧运动矢量均较大，根据人眼视觉特性，人眼更关注相对变化较小的对象，故此部分信息应赋予比较大的权重；权重公式为:
②如果运动剧烈宏块比重小于80%，说明该帧大部分物体变化不是非常剧烈，人眼会对高速运动的部分比较敏感，故对此部分赋予较大的权值；权重公式为:
4.根据权利要求3所述的基于视觉感知特性的超高清视频图像质量客观评价方法，其特征在于，判断步骤(4)所述两种不同运动情况的方法如下:采用基于宏块的运动估计算法依据前一帧对当前宏块进行运动估计，得到每个宏块的运动矢量，并采用运动矢量平均值作为评价整个场景运动情况的标准，如果帧平均运动矢
量值
小于16判断为第一种情况，否则判断为第二种情况。
【文档编号】H04N17/00GK104079925SQ201410315850
【公开日】2014年10月1日 申请日期:2014年7月3日 优先权日:2014年7月3日
【发明者】许江波, 姜秀华 申请人:中国传媒大学