专利名称：一种基于梯度结构张量的立体图像质量客观评价方法
技术领域：
本发明涉及ー种图像质量评价方法，尤其是涉及ー种基于梯度结构张量的立体图像质量客观评价方法。
背景技术：
随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的ー个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于受采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，因此对立体图像进行质量评价具有非常重要的意义。然而，目前缺乏有效的客观评价方法对立体图像质量进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。 梯度结构张量是ー种描述图像中某个局部点的结构信息的分析方法，而结构分析方法已广泛应用于平面图像质量评价，如经典的结构相似性准则(Structural SimilarityIndex, SSIM)，然而现有的梯度结构张量主要应用于视频质量评价，对于基于梯度结构张量的立体图像质量评价，需要解决以下几个关键问题1)立体感知评价通过视差或深度信息来反映，如何将视差或深度信息嵌入到梯度结构张量中以真实地表征立体感知特性，仍然是立体图像质量客观评价中的难点问题之一；2)并不是所有的像素点都具有強烈的结构信息，如何选择稳定的结构信息应用于质量评价，而又不影响立体感知性能，也是立体图像质量客观评价中需要解决的难点问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于梯度结构张量的立体图像质量客观评价方法。本发明解决上述技术问题所采用的技术方案为ー种基于梯度结构张量的立体图像质量客观评价方法，其特征在于包括以下步骤①令Sots为原始的无失真的立体图像，令Sdis为待评价的失真的立体图像，将Sots的左视点图像记为{LOTg(x, y)}，将SOTg的右视点图像记为{ROTg(x, y)}，将Sdis的左视点图像记为ILdis(X，y)},将Sdis的右视点图像记为{Rdis(X，y)}，其中，(x, y)表示左视点图像和右视点图像中的像素点的坐标位直，l^x^W, l^y^H, W表不左视点图像和右视点图像的宽度，H表不左视点图像和右视点图像的闻度，LOTg(x，y)表不{Lorg (x, y)}中坐标位置为(x，y)的像素点的像素值，Rorg(x, y)表示{ROTg(x，y)}中坐标位置为(x, y)的像素点的像素值，Ldis(x，y)表示{Ldis (x, y)}中坐标位置为(x, y)的像素点的像素值，Rdis (x，y)表示{Rdis(x, y)}中坐标位置为(x，y)的像素点的像素值；②计算{LOTg(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的水平方向梯度记为ァ)，将{Lorg(x, y)}中坐标位置为(x，y)的像素点的垂直方向梯度记为，将{Lorg(x, y)}中坐标位置为(x，y)的像素点的视点方向梯度记为
计算{Ldis(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{Ldis (x，y)}中坐标位置为(x，y)的像素点的水平方向梯度记为gxf (AjO，将ILdis(x，y)}中坐标位置为(x，y)的像素点的垂直方向梯度记为ひ，>，)，将{Ldis(x, y)}中坐标位置为(x，y)的像素点的视点方向梯度记为0，_>，)；③利用区域检测算法分别获取{Ldis(x，y)}中的每个像素点的区域类型，记为P，其中，P e {I, 2}, p=l表示敏感区域，p=2表示非敏感区域；④根据{LOTg(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{LOTg(x，y)}中的每个像素点的梯度结构张量，将{LOTg(x，y)}中坐标位置为(X，y)的像素点的梯度结构张量记为ZOTg(x，y)，
权利要求
1.ー种基于梯度结构张量的立体图像质量客观评价方法，其特征在于包括以下步骤 ①令Sots为原始的无失真的立体图像，令Sdis为待评价的失真的立体图像，将Sots的左视点图像记为{LOTg(x, y)}，将SOTg的右视点图像记为{ROTg(x, y)}，将Sdis的左视点图像记为{し—(X，y)丨，将Sdis的右视点图像记为{RdiS (X，y)}，其中，(X，y)表不左视点图像和右视点图像中的像素点的坐标位直，l^x^ff, l^y^H, W表不左视点图像和右视点图像的宽度，H表不左视点图像和右视点图像的闻度，LOTg(x，y)表不{Lorg (x, y)}中坐标位置为(x，y)的像素点的像素值，Rorg(x, y)表示{ROTg(x，y)}中坐标位置为(x，y)的像素点的像素值，Ldis(x, y)表示ILdis(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis(x, y)表示{Rdis(x, y)}中坐标位置为(x，y)的像素点的像素值； ②计算{LOTg(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的水平方向梯度记为g^r(.U)，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的垂直方向梯度记为SFf8(U)，将{LOTg(x，y)}中坐标位置为(X，y)的像素点的视点方向梯度记为gzr(ろ》，)； 计算{Ldis(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{Ldis(x, y)}中坐标位置为(x，y)的像素点的水平方向梯度记为gxfs(x,タ)，将{Ldis (x, y)}中坐标位置为(x，y)的像素点的垂直方向梯度记为SFfh，J)，将ILdis(x，y)}中坐标位置为(X，y)的像素点的视点方向梯度记为grf(x，ァ); ③利用区域检测算法分别获取ILdis(x，y)}中的每个像素点的区域类型，记为P，其中，P G {I, 2}, p=l表示敏感区域，p=2表示非敏感区域； ④根据ILwgU，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算ILots (X，y)}中的每个像素点的梯度结构张量，将{Lorg(x, y)}中坐标位置为(X，y)的像素点的梯度结构张量记为ZOTg(x，y)，gxT8 O，y)x gxTs (ズ，y) 8)irg (ズ,y) x(x, >’)gz7 (^% >’)x &T (x, >0^org <X y) = SX0Is (x, v) X g}>r (x, y) g)-!tg (X, y) X gy°Lrg (X, y) gz°[g (x, y) x g\^g (x, y)，_gx°i8(ズ，y)Xg=r0，y) gyTg(ズ，>0xg=Tg0，y) gzTg(ズ，y)xg=ry)_根据ILdis (X，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算ILdis (X，y)}中的每个像素点的梯度结构张量，将ILdis (X，y)}中坐标位置为U，y)的像素点的梯度结构张量记为Zdis (X，y)，gxf (丨 y) X §xt (a >0 gyfs (x, y)x sxf (x, >0 g4,s (ズ，y)x gxT (ズ，y)Ztfe (x，y) = gxf 0，y) X S;f 0，v) gyf (X, v) X g)；f (X, v) gzf (x, y) X gyf (x, y)，其中，符_ SxT (ズ,>')X g4is O，y) g}f (A >') X g-f (x, y) g-f (x, y) X gzf (x, y)_号“ □”表示矩阵表示符号； ⑤根据{LOTg(X，y)}和Hdis (x，y)}中的每个像素点的梯度结构张量，计算Hdis (x，y)}中的每个像素点的客观评价度量值，将{Ldis(x，y)}中坐标位置为(x，y)的像素点的客观评价度量值记为Qjx，y)； ⑥根据Hdis(x，y)}中的每个像素点的区域类型，计算Sdis的图像质量客观评价预测 倌’记为Q,ひ—('、.’)却_，其中，表示ILdis (x，y)}中的区域类型为P=I的像素点的个数，nf表示ILdis (x，y)}中的所有区域类型为P=I的像素点构成的区域； ⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DM0S=100-M0S，其中，MOS 表示主观评分均值，DMOS G
，n 彡 I ; ⑧按照步骤①至步骤⑥计算Sdis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
2.根据权利要求I所述的ー种基于梯度结构张量的立体图像质量客观评价方法，其特征在于所述的步骤②中{LOTg(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度的获取过程为 ②_al、采用块匹配法计算{LOTg(x，y)}与{ROTg(x，y)}之间的视差图像，记为{くれアか其中’くレひう表示^ぶひう丨中坐标位置为U，y)的像素点的像素值； ②_a2、采用水平梯度算子M1对{LOTg(x，y)}进行卷积，得到{LOTg(x，y)}中的每个像素点的水平方向梯度，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的水平方向梯度记为 'org, ) SxT8 (x^= ZZ LorS (x-3 + i,y-3 + j) X M1 (i, j)，其 '0 10-1 0_ 0 3 0-30中，M1 = 0 8 0 -8 0 , Lorg(x-3+i,y-3+j)表示{LOTg(x，y)}中坐标位置为 0 3 0-30 0 10-1 0(x-3+i, y-3+j)的像素点的像素值，M1Q, j)表示M1中坐标位置为(i, j)处的值； ②_a3、采用垂直梯度算子M2对{LOTg(x，y)}进行卷积，得到{LOTg(x，y)}中的每个像素点的垂直方向梯度，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的垂直方向梯度记为ダ)g>,0Lg (x^ >0 = Z Z LorS (-T - 3 + h V - 3 + j) X M2 (i, j)，其中， _0 0 0 0 0" 1 3 8 3 1/ - 0 0 0 0 0，M2(i，j)表示M2中坐标位置为(i，j)处的值； —I —3 -8 —3 -I 00 0 0 0 ②_a4、采用对角梯度算子M3和M4分别对{LOTg(x，y)}进行卷积，得到{LOTg(x，y)}中的每个像素点的视点方向梯度，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的视点方向梯度记为ぎこ7(1，タ) >g^7g(x,y) = maxigz^ylgz^x.y)) ， (x, V) =ZZIlorg(x + dtrg(ズ，タ)-3 + h V-3 + ブ)XJkf3(i, j)，
3.根据权利要求I或2所述的ー种基于梯度结构张量的立体图像质量客观评价方法，其特征在于所述的步骤③的具体过程为 ③-I、根据{LOTg(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{LOTg(x，y)}中的每个像素点的梯度幅度，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的梯度幅度记为
4.根据权利要求3所述的ー种基于梯度结构张量的立体图像质量客观评价方法，其特征在于所述的步骤⑤的具体过程为 ⑤-I、对ILots(X，y)}中的每个像素点的梯度结构张量进行矩阵分解，对于ILots U，y)}中坐标位置为U，y)的像素点的梯度结构张量ZOTg (X，y)， '，其中 和 表示ZOTg(x，y)的特征值， 為和表示ZOTg(X，y)的特征向量， 表示 的转置矩阵，( 表示 的转置矩阵， 表示 的转置矩阵； ⑤-2、对ILdis(X，y)}中的每个像素点的梯度结构张量进行矩阵分解，对于Hdis (X，y)}中坐标位置为(X，y)的像素点的梯度结构张量Zdis (x，y)， 其中， 和 表示Zdis(x，y)的特征值，ギ、穹和5/表示Zdis(X，y)的特征向量,(ぞf表示ぞ的转置矩阵表示<的转置矩阵，(ぎダ表示<的转置矩阵； ⑤-3、计算ILdis (x，y)}中的每个像素点的客观评价度量值，将ILdis (x，y)}中坐标位置为(x，y)的像素点的客观评价度量值记为
全文摘要
本发明公开了一种基于梯度结构张量的立体图像质量客观评价方法，其首先通过计算立体图像的左视点图像中的每个像素点的水平梯度、垂直梯度和视点梯度，计算每个像素点的梯度结构张量，并通过矩阵分解得到每个像素点的梯度结构张量的特征值和特征向量，然后通过区域检测法将左视点图像划分成敏感区域和非敏感区域，最后根据每个像素的区域类型，得到最终的图像质量客观评价预测值，优点在于所得到的梯度结构张量的特征值和特性向量具有较强的稳定性且能够较好地反映立体图像的质量变化情况，并且只对敏感区域的像素点进行评价，能有效地提高客观评价结果与主观感知的相关性。
文档编号G06T7/00GK102737380SQ20121018781
公开日2012年10月17日 申请日期2012年6月5日 优先权日2012年6月5日
发明者李福翠, 段芬芳, 蒋刚毅, 邵枫, 郁梅 申请人:宁波大学