一种多失真立体图像质量客观评价方法
【专利摘要】本发明公开了一种多失真立体图像质量客观评价方法，其在训练阶段，获取无失真立体图像的不同失真强度的JPEG失真立体图像、高斯模糊失真立体图像和高斯白噪声失真立体图像，分别构造三组训练图像集，并通过联合字典训练分别得到在不同失真类型下的图像特征字典表和图像质量字典表；在测试阶段，根据在训练阶段构造得到的不同失真类型下的图像特征字典表，通过优化得到测试立体图像中的每个子块的稀疏系数矩阵，并通过稀疏系数矩阵和在训练阶段构造得到的不同失真类型下的图像质量字典表，来计算测试立体图像的图像质量客观评价预测值，测试立体图像的图像质量客观评价预测值与主观评价值保持了较好的一致性。
【专利说明】
一种多失真立体图像质量客观评价方法
技术领域
[0001] 本发明涉及一种图像质量评价方法，尤其是涉及一种多失真立体图像质量客观评 价方法。
【背景技术】
[0002] 随着图像编码和显示等技术的迅速发展，图像质量评价研究已经成为其中非常重 要的环节。图像质量客观评价方法研究的目标是与主观评价结果尽可能保持一致，从而摆 脱耗时而枯燥的图像质量主观评价方法，其能够利用计算机自动地评价图像质量。根据对 原始图像的参考和依赖程度，图像质量客观评价方法可以分为三大类：全参考（Full Reference，FR)图像质量评价方法、部分参考(Reduced Reference，RR)图像质量评价方法 和无参考(No Reference，NR)图像质量评价方法。
[0003] 无参考图像质量评价方法由于无需任何参考图像信息，具有较高的灵活性，因此 受到了越来越广泛的关注。目前，已有方法是通过机器学习来预测评价模型，但其计算复杂 度较高，并且训练模型需要预知各评价图像的主观评价值，并不适用于实际的应用场合，存 在一定的局限性。特别是对于多失真图像质量评价问题，现有的针对单失真的图像质量评 价方法并不能直接应用，因此，如何构造能反映多失真图像特征的字典，如何构造能反映多 失真图像质量的字典，如何在反映多失真图像特征的字典和反映多失真图像质量的字典之 间、以及在不同失真类型之间建立联系，都是在无参考多失真图像质量评价研究中需要重 点解决的技术问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种多失真立体图像质量客观评价方法，其能 够有效地提高客观评价结果与主观感知之间的相关性，且计算复杂度低，无需预知各评价 图像的主观评价值。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种多失真立体图像质量客观评 价方法，其特征在于包括训练阶段和测试阶段两个过程，
[0006] 所述的训练阶段过程的具体步骤如下：
[0007] ①-1、选取N幅宽度为W且高度为H的原始的无失真立体图像;然后将选取的N幅原 始的无失真立体图像分别进行L个不同失真强度的JPEG失真、高斯模糊失真和高斯白噪声 失真，将所有原始的无失真立体图像及各自对应的L个失真强度的JPEG失真立体图像构成 第一组训练图像集，记为IBM爲并将所有原始的无失真立体图像及 各自对应的L个失真强度的高斯模糊失真立体图像构成第二组训练图像集，记为 11 S v_S ;将所有原始的无失真立体图像及各自对应的L个失真强度的 高斯白噪声失真立体图像构成第三组训练图像集，记为
[0008] 其中，N> 1，L> 1，0 表示,欠，I B < iV，1 < v {5：' 尤.11 < w iV, 1 < v i} 和| S d, 1 ￡； q中的第U幅原始的无失真立体图像，屹表示 11 AG iV,l 5； v S 中的第u幅原始的无失真立体图像对应的第v个失真强度的失 真立体图像，表示[5：'S^ 11 ^ h S iV,：U v S ^中的第u幅原始的无失真立体图像对应的 第v个失真强度的失真立体图像，表示I】_< ?< v5： 1}中的第u幅原始的无 失真立体图像对应的第￥个失真强度的失真立体图像；
[0009] ①-2、将11S d M 中的每幅失真立体图像划分成
个互不 重叠的尺寸大小为8X8的子块;然后将中的每幅失真立体图像 中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量，将 {5T，（. 11S M AU < v U}中的所有失真立体图像中的子块中的第k个子块中的所有像素 点的像素值按序组成的图像特征矢量记为屺，再将1< AU < v < 0中的所有失 真立体图像中的所有子块各自的图像特征矢量构成的集合记为| IS A
[0010] 并将[^,51.|1^^况,1^^4中的每幅失真立体图像划分成
.个互不重 叠的尺寸大小为8X8的子块;然后将| IS" S A/,1S vS L丨中的每幅失真立体图像中 的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量，将 11 v_ s y中的所有失真立体图像中的子块中的第k个子块中的所有像素 点的像素值按序组成的图像特征矢量记为再将11 < ? < iV,lS 中的所有失 真立体图像中的所有子块各自的图像特征矢量构成的集合记为(< | ^;
[0011] 将11 Ad, i vd}中的每幅失真立体图像划分成
个互不重叠的尺 寸大小为8 X 8的子块;然后将{5：'11 S W AU < v < 0中的每幅失真立体图像中的每个子 块中的所有像素点的像素值按序组成该子块的图像特征矢量，将^；：'文,.11 :_VJ Z.j 中的所有失真立体图像中的子块中的第k个子块中的所有像素点的像素值按序组成的图像 特征矢量记为4 ,再将11 S w< v< 中的所有失真立体图像中的所有子块各 自的图像特征矢量构成的集合记为^_ |ISKM:};
[0012] 其中
l<k<M，X〖、X〗和X〗的维数均为64X1;
[0013] ①-3、采用6种不同的全参考图像质量评价方法分别获取 {s：rs,sl，11 < ? < iV,l < V < 11 < ? < iV,l < v < 1}fp{57,5：r 11 < ? < iY,l < V < 自中的每幅失真立体图像中的每个子块的客观评价预测值；
[0014] 然后将prM ik w mb k ^中的每幅失真立体图像中的每个子块对应的6 个客观评价预测值按序组成该子块的图像质量矢量，将1 $ w ^中的所 有失真立体图像中的子块中的第k个子块对应的6个客观评价预测值按序组成的图像质量 矢量记为yl，再将I IS ? SV < ^中的所有失真立体图像中的所有子块各自的 图像质量矢量构成的集合记为丨犬11 s A < ;
[0015] 并将ilfi^爲IS vS 中的每幅失真立体图像中的每个子块对应的6个 客观评价预测值按序组成该子块的图像质量矢量，将1^ v S ^中的所有 失真立体图像中的子块中的第k个子块对应的6个客观评价预测值按序组成的图像质量矢 量记为y〗,再将pr，圮I ] K v <1：丨中的所有失真立体图像中的所有子块各自的图 像质量矢量构成的集合记为丨>'丨I丨^卜
[0016] 将11 S " f^V,l _<； v，S 4中的每幅失真立体图像中的每个子块对应的6个客 观评价预测值按序组成该子块的图像质量矢量，将St 1< AU < v 5； 中的所有失 真立体图像中的子块中的第k个子块对应的6个客观评价预测值按序组成的图像质量矢量 记为六，再将11 K v < L}中的所有失真立体图像中的所有子块各自的图像 质量矢量构成的集合记为{y丨Af};
[0017] 其中，l<k<M，y丨、yf和y!的维数均为6X1;
[0018] ①-4、采用 K-SVD 方法对由{xillShM}和 {y:-|KHM}、{yhKBM}、{WlBHM}构成的集合进行联合字典训练操作，分别 构造得到(X'd.丨 1V 5； [} 、 {x'5^ 丨 1S < #,1 S v 5； [}和 11 K 各自的图像特征字典表和图像质量字典表，将 11 < W AU < K 0的图像特征字典表和图像质量字典表对应记为D1和W1，将 11 m又1 m 的图像特征字典表和图像质量字典表对应记为D2和W2，将 i 1 0 Hi 的图像特征字典表和图像质量字典表对应记为D3和W3,其中， D\D2和D3的维数均为sexidj2和W3的维数均为6XK，K表示设定的字典的个数，K彡1;
[0019] 所述的测试阶段过程的具体步骤如下：
[0020] ②-1、对于任意一幅宽度为W'且高度为H'的测试立体图像Stest，将Stest的左视点图 像记为Ltest，将Stest的右视点图像记为Rtest;然后将Ltest和Stest分别划分成?
?个互不重 叠的尺寸大小为8 X 8的子块；
[0021] ②-2、将Ltest中的每个子块中的所有像素点的像素值按序组成该子块的图像特征 矢量，将Ltest中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为 Xt,L， 再将Ltest中的所有子块各自的图像特征矢量构成的集合记为
[0022] 并将Rt(5St中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢 量，将Rtest中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为 Xt,R，再 将Rtest中的所有子块各自的图像特征矢量构成的集合记为
r
[0023] 其中 ..山丄和10的维数均为64\1;
[0024] ②-3、根据在训练阶段过程构造得到的D1，优化重构
中的每个 图像特征矢量的第一稀疏系数矩阵，将
中的第t个图像特征矢量的第 一稀疏系数矩阵记为<，<是采用K-SVD方法求解min{|xa -++^1得到的； 根据在训练阶段过程构造得到的D2,优化重构
，中的每个图像特征矢量 的第二稀疏系数矩阵，将
中的第t个图像特征矢量的第二稀疏系数矩 阵记为是采用K-SVD方法求解】
得到的；根据在训练阶 段过程构造得到的D3,优化重构
?中的每个图像特征矢量的第三稀疏系 数矩阵，将
中的第t个图像特征矢量的第三稀疏系数矩阵记为 |||xa -^||a'f ；
[0025] 同样，根据在训练阶段过程构造得到的D1，优化重构'
< 中的每个 图像特征矢量的第一稀疏系数矩阵，将
中的第t个图像特征矢量的第 一稀疏系数矩阵记为，a!』是米用K-SVD方法求解min| x^.-DWjj. f +/i a丨,$ J得到的； 根据在训练阶段过程构造得到的D2,优化重构j
'中的每个图像特征矢量 的第二稀疏系数矩阵，将
中的第t个图像特征矢量的第二稀疏系数矩 阵记为b.，a;』是米用K-SVD方法求解minj X,』-D-a;』p+./l a;』j得到的；根据在训练阶 段过程构造得到的D3,优化重构
中的每个图像特征矢量的第三稀疏系 数矩阵，耗
> 中的第t个图像特征矢量的第三稀疏系数矩阵记为 心，<是采用K-SVD方法求解min||x0 -D3a^|[；, +l|a:yij得到的；
[0026] 其中，七、a^、a;7、七、4和的维数均为KXl，min()为取最小值函数， 符号"II I If"为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号"II IU"为求取矩阵的1-范 数符号，X为拉格朗日参数；
[0027] ②-4、根据在训练阶段过程构造得到的W1，估计Ltest中的每个子块的第一图像质量 矢量，将Ltest中的第t个子块的第一图像质量矢量记为y)』，:yb = ;根据在训练阶段 过程构造得到的W2,估计Ltest中的每个子块的第二图像质量矢量，将Lt(5St中的第t个子块的 第二图像质量矢量记为;根据在训练阶段过程构造得到的W3,估计Ltest中 的每个子块的第三图像质量矢量，将L test中的第t个子块的第三图像质量矢量记为y^, jIl = w3<￡ :
[0028] 同样，根据在训练阶段过程构造得到的W1，估计Rtest中的每个子块的第一图像质量 矢量，将Rtd中的第t个子块的第一图像质量矢量记为，yi? = ;根据在训练阶段 过程构造得到的W2,估计Rtest中的每个子块的第二图像质量矢量，将Rtest中的第t个子块的 第二图像质量矢量记为=W2a^;根据在训练阶段过程构造得到的W3,估计Rtest中 的每个子块的第三图像质量矢量，将Rtest中的第t个子块的第三图像质量矢量记为y^， yr% = WW
[0029] 其中，yL、yL、心、y"和的维数均为6X1;
[0030] ②-5、计算Stest的图像质量客观评价预测值，记为t
，:其
eXp()表示以自然基数e为底的指数函数，y为控制参数，符号"I I I |2"为求取矩阵的2-范 数符号。
[0031] 所述的步骤①-4中01、02、03、1 1、12和13是采用1(-3￥0方法求解 3' 2 2 3 min [ Xs -YS-WSAS +1芝]Ar得到的，其中，min()为取最小值函 d.s，:w5,as~. p F 1 J.=丄 5=1 数，符号"I I I k"为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号"II I U"为求取矩阵的 1-范数符号，X1 =[x丨，X2 =[x卜.乂…又】,],X3 =[x卜.乂…心]'X^X2和 维数均为64XM，x丨为中的第1个图像特征矢量，4为丨中的第k 个图像特征矢量，4为丨中的第M个图像特征矢量，4为卜丨中的第1 个图像特征矢量，x〖为中的第k个图像特征矢量，*〗/为&丨|1<6<714中的第 M个图像特征矢量，<为中的第1个图像特征矢量， X|为中的第 k个图像特征矢量，祛为M 11 M 中的第M个图像特征矢量， Y1 = [yl …太…]，Y2 = [y卜? ? yf_ …☆ ]，Y3 = [yf ' ? ? W …，Y1、Y2和Y3 的维数均为6 X 皿，乂为{7;_|1：^4似丨中的第1个图像质量矢量，犬为鉍|1：^^}中的第1^个图像质量矢 量，yL为{yll1 < ? M}中的第m个图像质量矢量，y?为{y〗11 < d财}中的第1个图像质量矢 量，y:〗为{y〗M k M中的第k个图像质量矢量，☆为试11 < k 中的第m个图像质量 矢量，y〖为中的第1个图像质量矢量，g为中的第k个图像质量 矢量，:yi为{yt I K K1中的第M个图像质量矢量，A1、A2和A3均表不稀疏矩阵， A 1 =[a卜'…a'L] , A2 =[3卜.<…a】f] ' A3 =[af~.a【…a:L] 'A^A2和A3的维数均为KX M，a丨为A1中的第1个列向量，a丨为A 1中的第k个列向量，a。为六1中的第M个列向量，a:丨为A2中的第 1个列向量，af为A 2中的第k个列向量，为六2中的第M个列向量，a〖为A3中的第1个列向量，<为 A 3中的第k个列向量，al为A3中的第M个列向量，a!、<、a1,,、af、a,f、a〈 f、af、a丨、纽3"的 维数均为K X1，符号"[]"为矢量表示符号，a为加权参数，A为拉格朗日参数。
[0032] 与现有技术相比，本发明的优点在于：
[0033] 1)本发明方法在训练阶段，获取无失真立体图像的不同失真强度的JPEG失真立体 图像、高斯模糊失真立体图像和高斯白噪声失真立体图像，分别构造三组训练图像集，并通 过联合字典训练分别得到在不同失真类型下的图像特征字典表和图像质量字典表;在测试 阶段不需要再计算图像特征字典表和图像质量字典表，这样避免了复杂的机器学习训练过 程，并且无需预知各测试立体图像的主观评价值，使得本发明方法适用于实际的应用场合。
[0034] 2)本发明方法在测试阶段，根据在训练阶段构造得到的不同失真类型下的图像特 征字典表，通过优化得到测试立体图像中的每个子块的稀疏系数矩阵，并通过稀疏系数矩 阵和在训练阶段构造得到的不同失真类型下的图像质量字典表，来计算测试立体图像的图 像质量客观评价预测值，使得最终计算得到的图像质量客观评价预测值与主观评价值保持 了较好的一致性。
【附图说明】
[0035] 图1为本发明方法的总体实现框图；
[0036]图2a为Imagel(尺寸为1920X1080)立体图像的左视点图像；
[0037]图2b为Imagel(尺寸为1920X1080)立体图像的右视点图像；
[0038]图3a为Image2(尺寸为1920X1080)立体图像的左视点图像；
[0039]图3b为Image 2(尺寸为1920X1080)立体图像的右视点图像；
[0040]图4a为Image3 (尺寸为1920 X 1080)立体图像的左视点图像；
[00411图4b为Image3(尺寸为1920X1080)立体图像的右视点图像；
[0042]图5a为Image4(尺寸为1920X1080)立体图像的左视点图像；
[0043]图5b为Image4(尺寸为1920X1080)立体图像的右视点图像；
[0044]图6a为Image5(尺寸为1920X1080)立体图像的左视点图像；
[0045]图6b为Image5(尺寸为1920X1080)立体图像的右视点图像；
[0046]图7a为Image6(尺寸为1920X1080)立体图像的左视点图像；
[0047]图7b为Image6(尺寸为1920X1080)立体图像的右视点图像；
[0048]图8a为Image7(尺寸为1920X1080)立体图像的左视点图像；
[0049]图8b为Image7(尺寸为1920X1080)立体图像的右视点图像；
[0050]图9a为Image8(尺寸为1920X1080)立体图像的左视点图像；
[0051 ]图9b为Image8(尺寸为1920X1080)立体图像的右视点图像；
[0052]图10a为Image9(尺寸为1920X1080)立体图像的左视点图像；
[0053]图10b为Image9(尺寸为1920X1080)立体图像的右视点图像；
[0054]图11a为Imagel0(尺寸为1920X1080)立体图像的左视点图像；
[0055]图lib为Imagel0(尺寸为1920X1080)立体图像的右视点图像；
[0056] 图12为失真立体图像集合中的各幅失真立体图像的图像质量客观评价预测值与 平均主观评分差值的散点图。
【具体实施方式】
[0057] 以下结合附图实施例对本发明作进一步详细描述。
[0058]本发明提出的一种多失真立体图像质量客观评价方法，其总体实现框图如图1所 示，其包括训练阶段和测试阶段两个过程，
[0059] 所述的训练阶段过程的具体步骤如下：
[0060] ①-1、选取N幅宽度为W且高度为H的原始的无失真立体图像;然后将选取的N幅原 始的无失真立体图像分别进行L个不同失真强度的JPEG失真、高斯模糊失真和高斯白噪声 失真，将所有原始的无失真立体图像及各自对应的L个失真强度的JPEG失真立体图像构成 第一组训练图像集，记为[^,尤,.|1^^#,1^^4;并将所有原始的无失真立体图像及 各自对应的L个失真强度的高斯模糊失真立体图像构成第二组训练图像集，记为 0'尤.| 1 "玄况,1 ^ vdh将所有原始的无失真立体图像及各自对应的L个失真强度的 高斯白噪声失真立体图像构成第三组训练图像集，记为1w < v S
[0061 ] 其中，N> 1，在本实施例中取N= 10，L> 1，在本实施例中取L = 3，表示 {s:r'?，11 八' 1 々以}、{c% C11 ^ < 紙1 心以}和沐戌，C11 " 玄 w 的第u幅原始的无失真立体图像，表示[sr'niAdiyq}中的第u幅原始的无 失真立体图像对应的第V个失真强度的失真立体图像，<v表示{5：'忠;v 11 S 0 中的第U幅原始的无失真立体图像对应的第V个失真强度的失真立体图像，5^表示 中的第u幅原始的无失真立体图像对应的第￥个失真强度的失 真立体图像，符号"{}"为集合表示符号。
[0062] 在具体实施时，取10幅原始的无失真立体图像，每幅无失真立体图像分别加3个失 真强度的JPEG失真、3个失真强度的高斯模糊失真和3个失真强度的高斯白噪声失真，这样 得到由10幅原始的无失真立体图像及30幅JPEG失真立体图像构成第一组训练图像集、由10 幅原始的无失真立体图像及30幅高斯模糊失真立体图像构成第二组训练图像集、由10幅原 始的无失真立体图像及30幅高斯白噪声失真立体图像构成第三组训练图像集。
[0063] ①_2、将pm, |1 < M AM U}中的每幅失真立体图像划分成
个互不 重叠的尺寸大小为8 X 8的子块;然后将{5：'欠11 < w < iVjS v < 中的每幅失真立体图像 中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量，将 {5TM 14 U ^ 中的所有失真立体图像中的子块中的第k个子块中的所有像素 点的像素值按序组成的图像特征矢量记为4，再将| ISM < AU< v< 0中的所有失 真立体图像中的所有子块各自的图像特征矢量构成的集合记为[< |:1S A ￡； 。
[0064] 并将IS M #，1 < v < 0中的每幅失真立体图像划分成
个互不重 叠的尺寸大小为8 X8的子块;然后将|1 iV,lS v ^ 0中的每幅失真立体图像中 的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量，将 中的所有失真立体图像中的子块中的第k个子块中的所有像素 点的像素值按序组成的图像特征矢量记为，再将11S M iW V ^ 4中的所有失 真立体图像中的所有子块各自的图像特征矢量构成的集合记为{< I l^i: s财};
[0065] 将($'(|1^5；况,1^^4中的每幅失真立体图像划分成
个互不重叠 的尺寸大小为8X8的子块;然后将[S：'<v |]5；M风ltd}中的每幅失真立体图像中的 每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量，将 11 W Zj中的所有失真立体图像中的子块中的第k个子块中的所有像素 点的像素值按序组成的图像特征矢量记为X〖，再将史.v 11 S ￡ iV,lS v￡ 中的所有失 真立体图像中的所有子块各自的图像特征矢量构成的集合记为?(< | ^ A < 。
[0066] 其中
X〖和：4:的维数均为64X1。
[0067] ①-3、采用现有的6种不同的全参考图像质量评价方法分别获取 {('文,.11 < ? fV，l < v S i}、| K ? 5； AU < v 5； L}和11S ? Hi S v < i} 各自中的每幅失真立体图像中的每个子块的客观评价预测值。
[0068] 然后将11 S K AU< v < 4中的每幅失真立体图像中的每个子块对应的6 个客观评价预测值按序组成该子块的图像质量矢量，将11 _<S〃S/VJ S /_j中的所 有失真立体图像中的子块中的第k个子块对应的6个客观评价预测值按序组成的图像质量 矢量记为yl，再将1< #，1 < v< q中的所有失真立体图像中的所有子块各自的 图像质量矢量构成的集合记为丨y〖I K 。
[0069] 并将11 ^ < KB W 4中的每幅失真立体图像中的每个子块对应的6个 客观评价预测值按序组成该子块的图像质量矢量，将M K A/J /_.}中的所有 失真立体图像中的子块中的第k个子块对应的6个客观评价预测值按序组成的图像质量矢 量记为W，再将11 AG AU < v < 0中的所有失真立体图像中的所有子块各自的图 像质量矢量构成的集合记为{y〗11 < Afj。
[0070] 将11iV,l S 中的每幅失真立体图像中的每个子块对应的6个客 观评价预测值按序组成该子块的图像质量矢量，将pr'圮J < V < 中的所有失 真立体图像中的子块中的第k个子块对应的6个客观评价预测值按序组成的图像质量矢量 记为y〗，再将[K't 11 KB 中的所有失真立体图像中的所有子块各自的图像 质量矢量构成的集合记为{y〖11 < ^ 1}。
[0071] 其中，Kk<M，y[、y丨和y丨的维数均为6X1。
[0072] 在本实施例中，采用的6种不同的全参考图像质量评价方法分别为公知的PSNR、 SS頂MS-SS頂、GMSD、VSI和GM全参考图像质量评价方法。
[0073] ①-4、采用现有的K-SVD方法对由卜卜丨- 和W 11 < B W 11 U 、^丨11 构成的集合进行联合字典训练操作，分 另ij构造得到{cmIbkw4KKBM4和 11 S W iV, B v < 0各自的图像特征字典表和图像质量字典表，将 {f,S,丨11 < 7V，K v < 的图像特征字典表和图像质量字典表对应记为D1和W1，将 ,5:).,. 11 S M /VJ € W Zj的图像特征字典表和图像质量字典表对应记为D2和W2,将 的图像特征字典表和图像质量字典表对应记为D3和W3,其中， D\D2和D3的维数均为56乂1(，11、12和1 3的维数均为6\1(，1(表示设定的字典的个数，1(多1，在 本实施例中取K = 256。
[0074] 在此具体实施例中，步骤①-4中口^^^^味炉是采用现有的冗^乂口方法求解 3 2 ^ 3 min y" X、-DSA5 +a YS-WSAS +】y As得到的，其中，min〇为取最小值函数， D'S,WS，AS- 尺 . .F 1 S=i 5=1 符号"I I I If"为求取矩阵的弗罗贝尼乌斯(Frobeniu)范数-范数符号，符号"|| | U"为求取 矩阵的 1-范数符号，x1 =[x丨…x!，.：4] , X2 =[xf...x卜<]，x3 =[x卜'?X^..x^]，x1、x2 和X3的维数均为64\1，沁为^_|1以5^}中的第1个图像特征矢量/4为拉|1^^从}中 的第k个图像特征矢量，xi,为g |14 中的第M个图像特征矢量，< 为>〗11S h 中 的第1个图像特征矢量，X〗:为fx〗:I中的第k个图像特征矢量，1〗7为>〗11 < & < 中 的第M个图像特征矢量，X丨为中的第1个图像特征矢量，x丨为{x丨中 的第k个图像特征矢量，x3#为| IS K 中的第M个图像特征矢量，Y1 = [yl…g-yL]， Y2 = [y卜.? yA2…yl]，Y3 = [y卜? y《.? ? y3'小Y1、Y2和Y3的维数均为6XM，:y|为(y'i 11Usm} 中的第1个图像质量矢量，g为W |KKMj中的第k个图像质量矢量，y1,,为{yi 11 us 中的第M个图像质量矢量，yi为| _1 < B A/}中的第1个图像质量矢量，y〗为g丨1 < h jW} 中的第k个图像质量矢量，yi为中的第M个图像质量矢量，yi为{y丨 中的第1个图像质量矢量，y〖为1中的第k个图像质量矢量，yt为{y丨11 s m} 中的第M个图像质量矢量，A1、A2和A3均表示稀疏矩阵， A1 =: [a| …a卜? ? ]，A2 二[a卜? ? aA2 …a2w ]，A3 := [a卜? 乂 …4 ] .A1、A2和A3的维数均为K X M， a丨为A1中的第1个列向量，a[为A1中的第k个列向量，a1#为A 1中的第M个列向量，a丨为A2中的第1 个列向量，a〗为A2中的第k个列向量，a2M*A2中的第M个列向量，a丨为A 3中的第1个列向量，为 A3中的第k个列向量，a3w为A3中的第M个列向量，a!、a[、a 1,,、a〖、a〗、a〖7、a丨、a〗、a3v/ 的维数均为KX1，符号"[]"为矢量表示符号，a为加权参数，在本实施例中取a = 0.5，A为拉 格朗日参数，在本实施例中取X = 〇. 15。
[0075] 所述的测试阶段过程的具体步骤如下：
[0076] ②-1、对于任意一幅宽度为W'且高度为H'的测试立体图像Stest，将Stest的左视点图 像记为Ltest，将Stest的右视点图像记为Rtest;然后将Ltest和Stest分别划分成
.个互不重 叠的尺寸大小为8X8的子块，其中，W'与W、H'与H可以相同，也可以不同。
[0077] ②-2、将Ltest中的每个子块中的所有像素点的像素值按序组成该子块的图像特征 矢量，将Ltest中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为 Xt,L， 再将Ltest中的所有子块各自的图像特征矢量构成的集合记为-
[0078] 并将Rt(5St中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢 量，将Rtest中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为 Xt,R，再 将Rtest中的所有子块各自的图像特征矢量构成的集合记为<
[0079] 其中
xt,L和xt,R的维数均为64X1。
[0080] ②-3、根据在训练阶段过程构造得到的D1，优化重构
> 中的每个 图像特征矢量的第一稀疏系数矩阵，将、
?中的第t个图像特征矢量的第 一稀疏系数矩阵记为<￡，是米用现有的K-SVD方法求解min| X#$_+2 j 得到的;根据在训练阶段过程构造得到的D2,优化重构
中的每个图像特 征矢量的第二稀疏系数矩阵，将
中的第t个图像特征矢量的第二稀疏 系数矩阵记为< ,a乙是采用现有的K-SVD方法求解minjlh -丨.+^1^^得到的； 根据在训练阶段过程构造得到的D3,优化重构》
中的每个图像特征矢量 的第三稀疏系数矩阵，将
> 中的第t个图像特征矢量的第三稀疏系数矩 阵记为<，心是采用现有的K-SVD方法求解minilk -1>乂￡|[, 得到的。
[0081] 同样，根据在训练阶段过程构造得到的D1，优化重构<
、中的每个 图像特征矢量的第一稀疏系数矩阵，将
中的第t个图像特征矢量的第 一稀疏系数矩阵记为是采用现有的K-SVD方法求解minjlx# -+2|a;1』|ij 得到的;根据在训练阶段过程构造得到的D2,优化重构
中的每个图像特 征矢量的第二稀疏系数矩阵，将
，中的第t个图像特征矢量的第二稀疏 系数矩阵记为a。，a〗』是现有的采用K-SVD方法求解-D2ait 得到的； 根据在训练阶段过程构造得到的D3,优化重构
中的每个图像特征矢量 的第三稀疏系数矩阵，将
中的第t个图像特征矢量的第三稀疏系数矩 阵记为是采用现有的K-SVD方法求解-D3a;%t +^|a;%|il得到的。
[0082] 其中，心' 和的维数均为KXl，min〇为取最小值函数，符 号"II I If"为求取矩阵的弗罗贝尼乌斯(Frobeniu)范数-范数符号，符号"|| |U"为求取矩 阵的1-范数符号，A为拉格朗日参数，在本实施例中取A = 〇. 15。
[0083]②_4、根据在训练阶段过程构造得到的W1，估计Ltest*的每个子块的第一图像质量 矢量，将Ltes冲的第t个子块的第一图像质量矢量记为，yU = wY』;根据在训练阶段 过程构造得到的W2,估计Ltest中的每个子块的第二图像质量矢量，将Ltd中的第t个子块的 第二图像质量矢量记为y^：，y。= W2a^ ;根据在训练阶段过程构造得到的W3,估计Ltest中 的每个子块的第三图像质量矢量，将Ltest中的第t个子块的第三图像质量矢量记为 y?，i = wV，i。
[0084] 同样，根据在训练阶段过程构造得到的W1，估计Rtest中的每个子块的第一图像质量 矢量，将Rtd中的第t个子块的第一图像质量矢量记为，y^ =评;根据在训练阶段 过程构造得到的W2,估计Rtest中的每个子块的第二图像质量矢量，将R test中的第t个子块的 第二图像质量矢量记为5^，》^=评&。;根据在训练阶段过程构造得到的1 3，估计1^冲 的每个子块的第三图像质量矢量，将Rtest中的第t个子块的第三图像质量矢量记为y^， y.L? =评 3.a?j。
[0085] 其中，滅i、过￡、yk、<?、yfi?和5^的维数均为6X1。
[0086]②-5、计算St(5St的图像质量客观评价预测值，记为Q
，其
expo表示以自然基数e为底的指数函数，y为控制参数，在本实施例中取y =1000,符号"| I |2"为求取矩阵的2-范数符号。
[0087]在本实施例中，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、 图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图 7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图 10a和图10b构成的立体图像、图11a和图lib构成的立体图像共10幅无失真立体图像建立了 其在多失真类型(JPEG失真、高斯模糊失真和高斯白噪声失真)不同失真程度下的多失真立 体图像集合，该多失真立体图像集合中的每幅无失真立体图像同时加入JPEG失真、高斯模 糊失真和高斯白噪声失真，每种失真的强度均为3,这样可以得到270幅多失真立体图像，并 且利用主观质量评价方法分别获取该多失真立体图像集合中的每幅失真立体图像的平均 主观评分差值。
[0088]利用图2a至图lib所示的10幅无失真立体图像构造的270幅失真立体图像来分析 本实施例得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相 关性。在本实施例中，利用评估图像质量评价方法的3个常用客观参量作为评价指标，SP非 线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC)、 Spearman相关系数（Spearman rank order correlation coefficient，SR0CC)、均方误差 (root mean squared error，RMSE)，PLCC和RMSE反映失真立体图像评价客观模型的准确 性，SR0CC反映其单调性。将分别采用本发明方法与公知的PSNR和FS頂全参考质量评价方法 得到失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系 数、Spearman相关系数和均方误差进行比较，比较结果如表1所示，从表1中可以看出，采用 本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的 相关性是很高的，充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一 致，足以说明本发明方法的有效性。
[0089]图12给出了失真立体图像集合中的各幅失真立体图像的图像质量客观评价预测 值与平均主观评分差值的散点图，散点越集中，说明客观评介结果与主观感知的一致性越 好。从图12中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻 合度较高。
[0090]表1利用本发明方法与公知的全参考质量评价方法得到失真立体图像的图像质量 客观评价预测值与平均主观评分差值之间的Pearson相关系数比较、Spearman相关系数和 均方误差比较
【主权项】
1. 一种多失真立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个 过程， 所述的训练阶段过程的具体步骤如下： ①-1、选取N幅宽度为W且高度为H的原始的无失真立体图像;然后将选取的N幅原始的无失 真立体图像分别进行L个不同失真强度的JPEG失真、高斯模糊失真和高斯白噪声失真，将所有 原始的无失真立体图像及各自对应的L个失真强度的JPEG失真立体图像构成第一组训练图像 集，记为】AG AU ^ V以};并将所有原始的无失真立体图像及各自对应的L个失 真强度的高斯模糊失真立体图像构成第二组训练图像集，记为PrAL i丨^ w S ;V,1 ; 将所有原始的无失真立体图像及各自对应的L个失真强度的高斯白噪声失真立体图像构成 第三组训练图像集，记为R'C. IB K M 4 ; 其中，N>I，L>I，Cs表示pr，欠，11 <M AUS VSI} 、(5T，C 丨 M M1 < 以上}和 11Q S風I u S Z.}中的第u幅原始的无失真立体图像，（表示M 中的第u幅原始的无失真立体图像对应的第V个失真强度的失真立体图像，表示 [S：'史.11 < ? ?Ξ V ?Ξ 中的第u幅原始的无失真立体图像对应的第V个失真强度的失 真立体图像，足％表示丨5^,史,,.11 ^ V < Zj中的第u幅原始的无失真立体图像对应的 第V个失真强度的失真立体图像； r W X / / ①-2、将11 W 4中的每幅失真立体图像划分成个互不重叠的 尺寸大小为8X8的子块;然后将Id,!.,. 11 AG AU < GZj中的每幅失真立体图像中的每个 子块中的所有像素点的像素值按序组成该子块的图像特征矢量，将{5：'心.丨I 4 < AU < V 中的所有失真立体图像中的子块中的第k个子块中的所有像素点的像素值按序组成的图像 特征矢量记为4，再将,欠 .,I K 〃:i：;V，IS V S y中的所有失真立体图像中的所有子块各 自的图像特征矢量构成的集合记为{xl 11 ^义Λφ 并将ρ,?, I B h U < d丨中的每幅失真立体图像划分成个互不重叠的尺寸 大小为8 X 8的子块;然后将·；5：'<ν 11 < M AU < 中的每幅失真立体图像中的每个子块 中的所有像素点的像素值按序组成该子块的图像特征矢量，将1V < 中 的所有失真立体图像中的子块中的第k个子块中的所有像素点的像素值按序组成的图像特 征矢量记为4，再将I IS M < AVIS V < I}中的所有失真立体图像中的所有子块各自 的图像特征矢量构成的集合记为1Μ}; 将P^1S,I,. 11 AG iV,B ν?}中的每幅失真立体图像划分成个互不重叠的尺寸
【文档编号】G06T7/00GK105894522SQ201610272072
【公开日】2016年8月24日
【申请日】2016年4月28日
【发明人】邵枫, 田维军, 李福翠
【申请人】宁波大学