一种非对称多失真立体图像质量客观评价方法与流程

文档序号:15274411发布日期:2018-08-28 22:49阅读:119来源:国知局
本发明涉及一种图像质量评价方法,尤其是涉及一种非对称多失真立体图像质量客观评价方法。
背景技术
:随着图像编码和显示等技术的迅速发展,图像质量评价研究已经成为其中非常重要的环节。图像质量客观评价方法研究的目标是与主观评价结果尽可能保持一致,从而摆脱耗时而枯燥的图像质量主观评价方法,其能够利用计算机自动地评价图像质量。根据对原始图像的参考和依赖程度,图像质量客观评价方法可以分为三大类:全参考(fullreference,fr)图像质量评价方法、部分参考(reducedreference,rr)图像质量评价方法和无参考(noreference,nr)图像质量评价方法。无参考图像质量评价方法由于无需任何参考图像信息,具有较高的灵活性,因此受到了越来越广泛的关注。目前,已有的无参考图像质量评价方法是通过机器学习来预测评价模型,但其计算复杂度较高,并且训练模型需要预知各评价图像的主观评价值,并不适用于实际的应用场合,存在一定的局限性。特别是对于非对称多失真立体图像质量客观评价问题,现有的针对单视点多失真图像质量客观评价方法或单失真立体图像质量客观评价方法并不能直接应用,因此,如何构造能反映多失真立体图像特征的字典,如何构造能反映多失真立体图像质量的字典,如何在反映多失真立体图像特征的字典和反映多失真立体图像质量的字典之间、在不同失真类型之间以及左视点与右视点之间建立联系,都是在非对称多失真立体图像质量客观评价研究中需要重点解决的技术问题。技术实现要素:本发明所要解决的技术问题是提供一种非对称多失真立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性,且计算复杂度低,无需预知各测试立体图像的主观评价值。本发明解决上述技术问题所采用的技术方案为:一种非对称多失真立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程;所述的训练阶段过程的具体步骤如下:①_1、选取n幅宽度为w且高度为h的原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行l个不同失真强度的jpeg失真、高斯模糊失真和高斯白噪声失真,得到每幅原始的无失真立体图像对应的l个失真强度的jpeg失真立体图像、l个失真强度的高斯模糊失真立体图像、l个失真强度的高斯白噪声失真立体图像;接着将所有原始的无失真立体图像及各自对应的l个失真强度的jpeg失真立体图像构成第一训练图像集,记为并将所有原始的无失真立体图像及各自对应的l个失真强度的高斯模糊失真立体图像构成第二训练图像集,记为将所有原始的无失真立体图像及各自对应的l个失真强度的高斯白噪声失真立体图像构成第三训练图像集,记为其中,n>1,l>1,表示和中的第u幅原始的无失真立体图像,表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像,表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像,表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像;①_2、采用6种不同的全参考图像质量评价方法分别获取和各自中的每幅失真立体图像的客观评价预测值;然后将中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量,将中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量,将中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量;①_3、将中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第一训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第一训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项接着利用和构造第一质量预测模型,记为g1(y1),其中,g1()为函数表示形式,y1用于表示图像质量矢量,且作为第一质量预测模型的输入矢量,为的转置,为y1的线性函数;同样,将中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第二训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第二训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项接着利用和构造第二质量预测模型,记为g2(y2),其中,g2()为函数表示形式,y2用于表示图像质量矢量,且作为第二质量预测模型的输入矢量,为的转置,为y2的线性函数;同样,将中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第三训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第三训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项接着利用和构造第三质量预测模型,记为g3(y3),其中,g3()为函数表示形式,y3用于表示图像质量矢量,且作为第三质量预测模型的输入矢量,为的转置,为y3的线性函数;①_4、计算中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到中的每幅失真立体图像的局部相位图像和局部振幅图像,将的局部相位图像和局部振幅图像对应记为和然后将中的所有失真立体图像的局部相位图像构成的集合记为并将中的所有失真立体图像的局部振幅图像构成的集合记为同样,计算中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到中的每幅失真立体图像的局部相位图像和局部振幅图像,将的局部相位图像和局部振幅图像对应记为和然后将中的所有失真立体图像的局部相位图像构成的集合记为并将中的所有失真立体图像的局部振幅图像构成的集合记为同样,计算中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到中的每幅失真立体图像的局部相位图像和局部振幅图像,将的局部相位图像和局部振幅图像对应记为和然后将中的所有失真立体图像的局部相位图像构成的集合记为并将中的所有失真立体图像的局部振幅图像构成的集合记为①_5、将中的每幅局部相位图像和中的每幅局部振幅图像分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为并将中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为其中,符号为向下取整运算符号,1≤k≤m,和的维数均为64×1;同样,将中的每幅局部相位图像和中的每幅局部振幅图像分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为并将中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为其中,和的维数均为64×1;同样,将中的每幅局部相位图像和中的每幅局部振幅图像分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为并将中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为其中,和的维数均为64×1;①_6、将中的每幅失真立体图像划分成个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y1,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y1,k|1≤k≤m};其中,y1,k的维数为6×1;同样,将中的每幅失真立体图像划分成个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y2,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y2,k|1≤k≤m};其中,y2,k的维数为6×1;同样,将中的每幅失真立体图像划分成个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y3k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y3,k|1≤k≤m};其中,y3,k的维数为6×1;①_7、采用k-svd方法对由和构成的集合进行联合字典训练操作,构造得到各自的图像特征字典表和图像质量字典表,对应记为和其中,和的维数均为64×k,和的维数均为6×k,k表示设定的字典的个数,k≥1;同样,采用k-svd方法对由和构成的集合进行联合字典训练操作,构造得到和各自的图像特征字典表和图像质量字典表,对应记为和其中,和的维数均为64×k,和的维数均为6×k;所述的测试阶段过程的具体步骤如下:②_1、对于任意一幅宽度为w'且高度为h'的测试立体图像stest,将stest的左视点图像记为ltest,将stest的右视点图像记为rtest;其中,w'与w相同或不相同,h'与h相同或不相同;②_2、采用与步骤①_4相同的操作,获取stest、ltest和rtest各自的局部相位图像和局部振幅图像,将ltest的局部相位图像和局部振幅图像对应记为和将rtest的局部相位图像和局部振幅图像对应记为和②_3、将和分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有子块的图像特征矢量构成的集合记为并将中的所有子块的图像特征矢量构成的集合记为将中的所有子块的图像特征矢量构成的集合记为将中的所有子块的图像特征矢量构成的集合记为其中,和的维数均为64×1;②_4、根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第一稀疏系数矩阵,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的;同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第二稀疏系数矩阵,将的第二稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第二稀疏系数矩阵记为是采用k-svd方法求解得到的;同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第三稀疏系数矩阵,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的;同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第一稀疏系数矩阵,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的;同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第二稀疏系数矩阵,将的稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第二稀疏系数矩阵记为是采用k-svd方法求解得到的;同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第三稀疏系数矩阵,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的;其中,和的维数均为k×1,min()为取最小值函数,符号“||||f”为求取矩阵的弗罗贝尼乌斯范数-范数符号,符号“||||1”为求取矩阵的1-范数符号,λ为拉格朗日参数;②_5、根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第一图像质量矢量,将中的第t个子块的第一图像质量矢量记为将中的第t个子块的第一图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第二图像质量矢量,将中的第t个子块的第二图像质量矢量记为将中的第t个子块的第二图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第三图像质量矢量,将中的第t个子块的第三图像质量矢量记为将中的第t个子块的第三图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第一图像质量矢量,将中的第t个子块的第一图像质量矢量记为将中的第t个子块的第一图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第二图像质量矢量,将中的第t个子块的第二图像质量矢量记为将中的第t个子块的第二图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第三图像质量矢量,将中的第t个子块的第三图像质量矢量记为将中的第t个子块的第三图像质量矢量记为其中,和的维数均为6×1;②_6、计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,exp()表示以自然基数e为底的指数函数,符号“||||2”为求取矩阵的2-范数符号,η为控制参数,为的输入矢量;同样,计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,为的输入矢量;同样,计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,为的输入矢量;同样,计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,为的输入矢量;②_7、计算的全局稀疏系数矩阵和全局图像质量,对应记为和ql,p,同样,计算的全局稀疏系数矩阵和全局图像质量,对应记为和qr,p,同样,计算的全局稀疏系数矩阵和全局图像质量,对应记为和ql,a,同样,计算的全局稀疏系数矩阵和全局图像质量,对应记为和qr,a,②_8、根据和及ql,p和qr,p,计算stest的局部相位图像的质量客观评价预测值,记为qp,qp=ωl,p×ql,p+ωr,p×qr,p;其中,ωl,p为ql,p的权值,ωr,p为qr,p的权值,符号“<>”为求内积符号,c为控制参数;同样,根据和及ql,a和qr,a,计算stest的局部振幅图像的质量客观评价预测值,记为qa,qa=ωl,a×ql,a+ωr,a×qr,a;其中,ωl,a为ql,a的权值,ωr,a为qr,a的权值,②_9、根据qp和qa,计算stest的图像质量客观评价预测值,记为q,q=(ωp×(qp)n+(1-ωp)×(qa)n)1/n;其中,ωp和n均为加权参数。所述的步骤①_4中,和的获取过程为:①_4a、采用log-gabor滤波器对中的每个像素点进行滤波处理,得到中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为eα,θ(x,y),将中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为oα,θ(x,y);其中,1≤x≤w,1≤y≤h,α表示log-gabor滤波器的尺度因子,θ表示log-gabor滤波器的方向因子,①_4b、计算中的每个像素点在不同方向的相位一致性特征,将中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为pcθ(x,y),其中,①_4c、根据中的每个像素点的最大相位一致性特征对应的方向,计算中的每个像素点的局部相位特征和局部振幅特征;对于中坐标位置为(x,y)的像素点,首先找出该像素点在不同方向的相位一致性特征中的最大相位一致性特征,其次找出该最大相位一致性特征对应的方向,记为θm,再次根据θm计算该像素点的局部相位特征和局部振幅特征,对应记为和其中,arctan()为取反余弦函数,表示中坐标位置为(x,y)的像素点在不同尺度和其最大相位一致性特征对应的方向θm的奇对称频率响应,表示中坐标位置为(x,y)的像素点在不同尺度和其最大相位一致性特征对应的方向θm的偶对称频率响应,①_4d、根据中的所有像素点的局部相位特征,得到的局部相位图像同样,根据中的所有像素点的局部振幅特征,得到的局部振幅图像按照步骤①_4a至步骤①_4d获取和的过程,以相同的方式获取和和所述的步骤①_7中,和是采用k-svd方法求解得到的,其中,min()为取最小值函数,符号“||||f”为求取矩阵的弗罗贝尼乌斯范数-范数符号,符号“||||1”为求取矩阵的1-范数符号,1≤s≤3,和的维数均为64×m,为中的第1个第一图像特征矢量,为中的第k个第一图像特征矢量,为中的第m个第一图像特征矢量,为中的第1个第一图像特征矢量,为中的第k个第一图像特征矢量,为中的第m个第一图像特征矢量,为中的第1个第一图像特征矢量,为中的第k个第一图像特征矢量,为中的第m个第一图像特征矢量,y1=[y1,1…y1,k…y1,m],y2=[y2,1…y2,k…y2,m],y3=[y3,1…y3,k…y3,m],y1、y2和y3的维数均为6×m,y1,1为{y1,k|1≤k≤m}中的第1个图像质量矢量,y1,k为{y1,k|1≤k≤m}中的第k个图像质量矢量,y1,m为{y1,k|1≤k≤m}中的第m个图像质量矢量,y2,1为{y2,k|1≤k≤m}中的第1个图像质量矢量,y2,k为{y2,k|1≤k≤m}中的第k个图像质量矢量,y2,m为{y2,k|1≤k≤m}中的第m个图像质量矢量,y3,1为{y3,k|1≤k≤m}中的第1个图像质量矢量,y3,k为{y3,k|1≤k≤m}中的第k个图像质量矢量,y3,m为{y3,k|1≤k≤m}中的第m个图像质量矢量,和均表示稀疏矩阵,和的维数均为k×m,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,的维数均为k×1,符号“[]”为矢量表示符号,γ为加权参数,λ为拉格朗日参数;所述的步骤①_7中,和是采用k-svd方法求解得到的,其中,和的维数均为64×m,为中的第1个第二图像特征矢量,为中的第k个第二图像特征矢量,为中的第m个第二图像特征矢量,为中的第1个第二图像特征矢量,为中的第k个第二图像特征矢量,为中的第m个第二图像特征矢量,为中的第1个第二图像特征矢量,为中的第k个第二图像特征矢量,为中的第m个第二图像特征矢量,和均表示稀疏矩阵,和的维数均为k×m,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,的维数均为k×1。与现有技术相比,本发明的优点在于:1)本发明方法在训练阶段,获取无失真立体图像的不同失真强度的jpeg失真立体图像、高斯模糊失真立体图像和高斯白噪声失真立体图像,分别构造三个训练图像集,并通过联合字典训练分别得到在不同失真类型下的所有局部相位图像和局部振幅图像各自的图像特征字典表和图像质量字典表;在测试阶段不需要再计算图像特征字典表和图像质量字典表,这样避免了复杂的机器学习训练过程,并且无需预知各测试立体图像的主观评价值,计算复杂度低,使得本发明方法适用于实际的应用场合。2)本发明方法在测试阶段,根据在训练阶段构造得到的不同失真类型下的局部相位图像和局部振幅图像的图像特征字典表,通过优化得到测试立体图像的局部相位图像和局部振幅图像中的每个子块的稀疏系数矩阵,并通过稀疏系数矩阵和在训练阶段构造得到的不同失真类型下的局部相位图像和局部振幅图像中的每个子块的图像质量矢量,最后通过对稀疏系数矩阵和图像质量矢量进行多失真融合、局部全局融合、左右视点融合和相位振幅融合,预测得到测试立体图像的图像质量客观评价预测值,与主观评价值保持了较好的一致性。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种非对称多失真立体图像质量客观评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程。所述的训练阶段过程的具体步骤如下:①_1、选取n幅宽度为w且高度为h的原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行l个不同失真强度的jpeg失真、高斯模糊失真和高斯白噪声失真,得到每幅原始的无失真立体图像对应的l个失真强度的jpeg失真立体图像、l个失真强度的高斯模糊失真立体图像、l个失真强度的高斯白噪声失真立体图像;接着将所有原始的无失真立体图像及各自对应的l个失真强度的jpeg失真立体图像构成第一训练图像集,记为并将所有原始的无失真立体图像及各自对应的l个失真强度的高斯模糊失真立体图像构成第二训练图像集,记为将所有原始的无失真立体图像及各自对应的l个失真强度的高斯白噪声失真立体图像构成第三训练图像集,记为其中,n>1,在本实施例中取n=10,l>1,在本实施例中取l=3,表示和中的第u幅原始的无失真立体图像,表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像,表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像,表示中的第u幅原始的无失真立体图像对应的第v个失真强度的失真立体图像,符号“{}”为集合表示符号。在具体实施时,取10幅原始的无失真立体图像,每幅原始的无失真立体图像分别加3个失真强度的jpeg失真、3个失真强度的高斯模糊失真和3个失真强度的高斯白噪声失真,这样得到由10幅原始的无失真立体图像及30幅jpeg失真立体图像构成的第一训练图像集、由10幅原始的无失真立体图像及30幅高斯模糊失真立体图像构成的第二训练图像集、由10幅原始的无失真立体图像及30幅高斯白噪声失真立体图像构成的第三训练图像集。①_2、采用6种不同的全参考图像质量评价方法分别获取和各自中的每幅失真立体图像的客观评价预测值;然后将中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量,将中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量,将中的每幅失真立体图像的6个客观评价预测值按序组成该失真立体图像的图像质量矢量。在本实施例中,采用的6种不同的全参考图像质量评价方法分别为公知的psnr、ms-ssim、fsim、vif、iw-ssim和uqi全参考图像质量评价方法。①_3、将中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第一训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第一训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项接着利用和构造第一质量预测模型,记为g1(y1),其中,g1()为函数表示形式,y1用于表示图像质量矢量,且作为第一质量预测模型的输入矢量,为的转置,为y1的线性函数。同样,将中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第二训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第二训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项接着利用和构造第二质量预测模型,记为g2(y2),其中,g2()为函数表示形式,y2用于表示图像质量矢量,且作为第二质量预测模型的输入矢量,为的转置,为y2的线性函数。同样,将中的所有失真立体图像的图像质量矢量和平均主观评分差值构成第三训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对第三训练样本数据集合中的所有图像质量矢量进行训练,使得经过训练得到的回归函数值与主观质量推荐值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项接着利用和构造第三质量预测模型,记为g3(y3),其中,g3()为函数表示形式,y3用于表示图像质量矢量,且作为第三质量预测模型的输入矢量,为的转置,为y3的线性函数。①_4、计算中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到中的每幅失真立体图像的局部相位图像和局部振幅图像,将的局部相位图像和局部振幅图像对应记为和然后将中的所有失真立体图像的局部相位图像构成的集合记为并将中的所有失真立体图像的局部振幅图像构成的集合记为同样,计算中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到中的每幅失真立体图像的局部相位图像和局部振幅图像,将的局部相位图像和局部振幅图像对应记为和然后将中的所有失真立体图像的局部相位图像构成的集合记为并将中的所有失真立体图像的局部振幅图像构成的集合记为同样,计算中的每幅失真立体图像中的每个像素点的局部相位特征和局部振幅特征,得到中的每幅失真立体图像的局部相位图像和局部振幅图像,将的局部相位图像和局部振幅图像对应记为和然后将中的所有失真立体图像的局部相位图像构成的集合记为并将中的所有失真立体图像的局部振幅图像构成的集合记为在此具体实施例中,所述的步骤①_4中,和的获取过程为:①_4a、采用log-gabor滤波器对中的每个像素点进行滤波处理,得到中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为eα,θ(x,y),将中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为oα,θ(x,y);其中,1≤x≤w,1≤y≤h,α表示log-gabor滤波器的尺度因子,θ表示log-gabor滤波器的方向因子,①_4b、计算中的每个像素点在不同方向的相位一致性特征,将中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为pcθ(x,y),其中,①_4c、根据中的每个像素点的最大相位一致性特征对应的方向,计算中的每个像素点的局部相位特征和局部振幅特征;对于中坐标位置为(x,y)的像素点,首先找出该像素点在不同方向的相位一致性特征中的最大相位一致性特征,其次找出该最大相位一致性特征对应的方向,记为θm,再次根据θm计算该像素点的局部相位特征和局部振幅特征,对应记为和其中,arctan()为取反余弦函数,表示中坐标位置为(x,y)的像素点在不同尺度和其最大相位一致性特征对应的方向θm的奇对称频率响应,表示中坐标位置为(x,y)的像素点在不同尺度和其最大相位一致性特征对应的方向θm的偶对称频率响应,①_4d、根据中的所有像素点的局部相位特征,得到的局部相位图像同样,根据中的所有像素点的局部振幅特征,得到的局部振幅图像按照步骤①_4a至步骤①_4d获取和的过程,以相同的方式获取和和①_5、将中的每幅局部相位图像和中的每幅局部振幅图像分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为并将中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为其中,符号为向下取整运算符号,1≤k≤m,和的维数均为64×1。同样,将中的每幅局部相位图像和中的每幅局部振幅图像分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为并将中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为其中,和的维数均为64×1。同样,将中的每幅局部相位图像和中的每幅局部振幅图像分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每幅局部相位图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部相位图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每幅局部振幅图像中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的所有局部振幅图像中的第k个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有局部相位图像中的子块的图像特征矢量构成的集合记为并将中的所有局部振幅图像中的子块的图像特征矢量构成的集合记为其中,和的维数均为64×1。①_6、将中的每幅失真立体图像划分成个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y1,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y1,k|1≤k≤m};其中,y1,k的维数为6×1。同样,将中的每幅失真立体图像划分成个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y2,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y2,k|1≤k≤m};其中,y2,k的维数为6×1。同样,将中的每幅失真立体图像划分成个互不重叠的尺寸大小为8×8的子块;然后采用6种不同的全参考图像质量评价方法分别获取中的每幅失真立体图像中的每个子块的客观评价预测值;接着将中的每幅失真立体图像中的每个子块的6个客观评价预测值按序组成该子块的图像质量矢量,将中的所有失真立体图像中的第k个子块的6个客观评价预测值按序组成的图像质量矢量记为y3,k;再将中的所有失真立体图像中的所有子块的图像质量矢量构成的集合记为{y3,k|1≤k≤m};其中,y3,k的维数为6×1。在本实施例中,采用的6种不同的全参考图像质量评价方法分别为公知的psnr、ms-ssim、fsim、vif、iw-ssim和uqi全参考图像质量评价方法。①_7、采用k-svd方法对由{y1,k|1≤k≤m}、{y2,k|1≤k≤m}和{y3,k|1≤k≤m}构成的集合进行联合字典训练操作,构造得到各自的图像特征字典表和图像质量字典表,对应记为和其中,和的维数均为64×k,和的维数均为6×k,k表示设定的字典的个数,k≥1,在本实施例中取k=256。同样,采用k-svd方法对由{y1,k|1≤k≤m}、{y2,k|1≤k≤m}和{y3,k|1≤k≤m}构成的集合进行联合字典训练操作,构造得到和各自的图像特征字典表和图像质量字典表,对应记为和其中,和的维数均为64×k,和的维数均为6×k。在此具体实施例中,步骤①_7中,和是采用现有的k-svd方法求解得到的,其中,min()为取最小值函数,符号“||||f”为求取矩阵的弗罗贝尼乌斯(frobeniu)范数-范数符号,符号“||||1”为求取矩阵的1-范数符号,1≤s≤3,和的维数均为64×m,为中的第1个第一图像特征矢量,为中的第k个第一图像特征矢量,为中的第m个第一图像特征矢量,为中的第1个第一图像特征矢量,为中的第k个第一图像特征矢量,为中的第m个第一图像特征矢量,为中的第1个第一图像特征矢量,为中的第k个第一图像特征矢量,为中的第m个第一图像特征矢量,y1=[y1,1…y1,k…y1,m],y2=[y2,1…y2,k…y2,m],y3=[y3,1…y3,k…y3,m],y1、y2和y3的维数均为6×m,y1,1为{y1,k|1≤k≤m}中的第1个图像质量矢量,y1,k为{y1,k|1≤k≤m}中的第k个图像质量矢量,y1,m为{y1,k|1≤k≤m}中的第m个图像质量矢量,y2,1为{y2,k|1≤k≤m}中的第1个图像质量矢量,y2,k为{y2,k|1≤k≤m}中的第k个图像质量矢量,y2,m为{y2,k|1≤k≤m}中的第m个图像质量矢量,y3,1为{y3,k|1≤k≤m}中的第1个图像质量矢量,y3,k为{y3,k|1≤k≤m}中的第k个图像质量矢量,y3,m为{y3,k|1≤k≤m}中的第m个图像质量矢量,和均表示稀疏矩阵,和的维数均为k×m,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,的维数均为k×1,符号“[]”为矢量表示符号,γ为加权参数,在本实施例中取γ=0.5,λ为拉格朗日参数,在本实施例中取λ=0.15。步骤①_7中,和是采用现有的k-svd方法求解得到的,其中,和的维数均为64×m,为中的第1个第二图像特征矢量,为中的第k个第二图像特征矢量,为中的第m个第二图像特征矢量,为中的第1个第二图像特征矢量,为中的第k个第二图像特征矢量,为中的第m个第二图像特征矢量,为中的第1个第二图像特征矢量,为中的第k个第二图像特征矢量,为中的第m个第二图像特征矢量,和均表示稀疏矩阵,和的维数均为k×m,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,为中的第1个列向量,为中的第k个列向量,为中的第m个列向量,的维数均为k×1。所述的测试阶段过程的具体步骤如下:②_1、对于任意一幅宽度为w'且高度为h'的测试立体图像stest,将stest的左视点图像记为ltest,将stest的右视点图像记为rtest;其中,w'与w相同或不相同,h'与h相同或不相同。②_2、采用与步骤①_4相同的操作,获取stest、ltest和rtest各自的局部相位图像和局部振幅图像,将ltest的局部相位图像和局部振幅图像对应记为和将rtest的局部相位图像和局部振幅图像对应记为和②_3、将和分别划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为并将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为将中的每个子块中的所有像素点的像素值按序组成该子块的图像特征矢量,将中的第t个子块中的所有像素点的像素值按序组成的图像特征矢量记为接着将中的所有子块的图像特征矢量构成的集合记为并将中的所有子块的图像特征矢量构成的集合记为将中的所有子块的图像特征矢量构成的集合记为将中的所有子块的图像特征矢量构成的集合记为其中,和的维数均为64×1。②_4、根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第一稀疏系数矩阵,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的。同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第二稀疏系数矩阵,将的第二稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第二稀疏系数矩阵记为是采用k-svd方法求解得到的。同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第三稀疏系数矩阵,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的。同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第一稀疏系数矩阵,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第一稀疏系数矩阵记为是采用k-svd方法求解得到的。同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第二稀疏系数矩阵,将的稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第二稀疏系数矩阵记为是采用k-svd方法求解得到的。同样,根据在训练阶段过程构造得到的分别优化重构和各自中的每个图像特征矢量的第三稀疏系数矩阵,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的,将的第三稀疏系数矩阵记为是采用k-svd方法求解得到的。其中,和的维数均为k×1,min()为取最小值函数,符号“||||f”为求取矩阵的弗罗贝尼乌斯范数-范数符号,符号“||||1”为求取矩阵的1-范数符号,λ为拉格朗日参数。②_5、根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第一图像质量矢量,将中的第t个子块的第一图像质量矢量记为将中的第t个子块的第一图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第二图像质量矢量,将中的第t个子块的第二图像质量矢量记为将中的第t个子块的第二图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第三图像质量矢量,将中的第t个子块的第三图像质量矢量记为将中的第t个子块的第三图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第一图像质量矢量,将中的第t个子块的第一图像质量矢量记为将中的第t个子块的第一图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第二图像质量矢量,将中的第t个子块的第二图像质量矢量记为将中的第t个子块的第二图像质量矢量记为同样,根据在训练阶段过程构造得到的分别估计和各自中的每个子块的第三图像质量矢量,将中的第t个子块的第三图像质量矢量记为将中的第t个子块的第三图像质量矢量记为其中,和的维数均为6×1。②_6、计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,exp()表示以自然基数e为底的指数函数,符号“||||2”为求取矩阵的2-范数符号,η为控制参数,在本实施例中取η=1000,为的输入矢量。同样,计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,为的输入矢量。同样,计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,为的输入矢量。同样,计算中的每个子块的多失真融合稀疏系数矩阵和多失真融合图像质量,将中的第t个子块的多失真融合稀疏系数矩阵和多失真融合图像质量对应记为和其中,为的输入矢量。②_7、计算的全局稀疏系数矩阵和全局图像质量,对应记为和ql,p,同样,计算的全局稀疏系数矩阵和全局图像质量,对应记为和qr,p,同样,计算的全局稀疏系数矩阵和全局图像质量,对应记为和ql,a,同样,计算的全局稀疏系数矩阵和全局图像质量,对应记为和qr,a,②_8、根据和及ql,p和qr,p,计算stest的局部相位图像的质量客观评价预测值,记为qp,qp=ωl,p×ql,p+ωr,p×qr,p;其中,ωl,p为ql,p的权值,ωr,p为qr,p的权值,符号“<>”为求内积符号,c为控制参数,在本实施例中取c=0.02。同样,根据和及ql,a和qr,a,计算stest的局部振幅图像的质量客观评价预测值,记为qa,qa=ωl,a×ql,a+ωr,a×qr,a;其中,ωl,a为ql,a的权值,ωr,a为qr,a的权值,②_9、根据qp和qa,计算stest的图像质量客观评价预测值,记为q,q=(ωp×(qp)n+(1-ωp)×(qa)n)1/n;其中,ωp和n均为加权参数,在本实施例中取ωp=0.35、n=1。在本实施例中,采用宁波大学建立的非对称多失真立体图像数据库来分析本实施例得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性,宁波大学建立的非对称多失真立体图像数据库包括3000幅非对称多失真立体图像,并且利用主观质量评价方法分别获取该非对称多失真立体图像数据库中的每幅失真立体图像的平均主观评分差值。在本实施例中,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的pearson相关系数(pearsonlinearcorrelationcoefficient,plcc)、spearman相关系数(spearmanrankordercorrelationcoefficient,srocc)、均方误差(rootmeansquarederror,rmse),plcc和rmse反映失真立体图像客观评价模型的准确性,srocc反映其单调性。将分别采用本发明方法与公知的psnr和ssim全参考质量评价方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的pearson相关系数、spearman相关系数和均方误差进行比较,比较结果如表1所示,从表1中可以看出,采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。表1利用本发明方法与公知的全参考质量评价方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的pearson相关系数比较、spearman相关系数和均方误差比较pearson相关系数spearman相关系数均方误差psnr方法0.70030.71398.4165ssim方法0.71440.73398.1642本发明方法0.78530.76527.4416当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1