一种无参考全面感知全景图像质量的评价方法

1.本发明涉及图像质量评价的技术领域，具体的，涉及一种无参考全面感知全景图像质量的评价方法。


背景技术：

2.虚拟现实vr技术作为一种捕捉全景图像的方法，通过模拟人眼机制将人们感知世界的过程具体化，可以为观看者同时提供各个方向的视图，进而越来越受到观众和研究者的关注。与普通图像不同，全景图像以球形的形式捕获和显示信息，具有更广阔的视野和更高的分辨率，因此在处理、编码和压缩过程中不可避免地会引入畸变，影响观看者的体验。
3.图像质量评价方法大致可以分为全参考、半参考和无参考方法。全参考度量需要所有的参考信息，与半参考只需要部分参考信息，而无参考方法不需要任何参考信息的情况下预测图像的质量。
4.在现有的研究中，建立了许多广泛应用于二维图像的指标，如结构相似度ssim、峰值信噪比psnr、视觉信息保真度vif等。但将传统图像质量评价模型直接用于评估全景图像的质量时并不能取得良好的性能。因此，后来有人提出了全参考全景图像质量评价方法。但在实际情况下，参考图像通常难以获得。所以，不需要任何参考信息的全景图像质量评价模型越来越受到研究者的关注。
5.然而，目前的研究方法并没有全方面的考虑全景图像的特性也没有达到很好的性能，导致无法形成一个可靠准确的无参考感知全景图像质量的评价方法。


技术实现要素：

6.为了弥补现有技术的不足，本发明提出了一种无参考全面感知全景图像质量的评价方法，从多个方面考虑了全景图像的特性，获得了更优异的性能和更可靠的准确性。
7.本发明的目的是通过下述技术方案实现的：一种无参考全面感知全景图像质量的评价方法，其步骤为：
8.s1：分析全景图像的全局和局部结构，得到结构信息：对输入的全景图像，分别计算其全局梯度图和局部纹理二值模式tlbp图，利用遵循双参数威布尔weibull分布的概率密度反映其全局结构特征；对于tlbp图，从四个方向计算其灰度共生矩阵glcm，对glcm计算三个统计量提取图像的局部结构特征；
9.s2：计算色彩残差图，获得全景图像的颜色信息：将图像进行颜色空间的转化，转化为表示不同图像信息的多个颜色通道；
10.对能表达颜色信息的通道图像基于空间富模型srm进行卷积运算，计算其色彩残差图，对色彩残差图利用glcm提取其颜色特征；
11.s3：在空间域和频率域中统计像素的依赖性，得到图像的统计信息：在空间域中利用自然场景统计nss方法捕获全景图像的基本统计特征；在频率域中利用图像熵统计像素间的依赖关系；
12.s4：将上述所有的信息作为特征输入到svr回归模型中进行训练及预测，选择rbf作为核函数，最终得到全景图像的质量分数。
13.所述的s1中，四个方向分别为：水平、垂直、主对角、副对角；利用三个统计量(ie，ic，im)概括局部结构特征，其公式如下：
[0014][0015][0016][0017]
其中，i和j分别是像素的横纵坐标，n表示的是glcm的阶数；d和θ分别为glcm的距离参数和方向参数，pd,θ(i,j)按如下公式计算：
[0018][0019]
其中，g(i,j)是灰度共生矩阵在(i,j)处的像素值。
[0020]
所述的s2中，颜色空间的转化按如下公式计算：
[0021][0022]
其中，o1，o2，o3是转化后的颜色空间，r’,g’,b’按如下公式计算：
[0023][0024]
其中，r，g，b是不同颜色通道，《》表示均值运算。
[0025]
本发明创造的有益效果是：
[0026]
发明提供的无参考全面感知全景图像质量的评价方法，其提取的结构特征，通过利用梯度图和tlbp图之间的互补关系来有效地描述全局和局部的结构特征，并且glcm被用于揭示局部的结构特征，能很好地反映出图像中隐藏在相邻像素中的丰富的质量感知信息。
[0027]
本发明提供的无参考全面感知全景图像质量的评价方法，提出了一种新颖的基于色彩残差图像和glcm的颜色描述子，有效地反映与颜色信息相关的一些畸变的图像质量。
[0028]
本发明提供的无参考全面感知全景图像质量的评价方法，从空间域nss特征和图像熵中提取统计信息，准确地描述了全景图像在多尺度表示中的不自然程度。
[0029]
本发明提供的无参考全面感知全景图像质量的评价方法，通过计算出全景图像结构特征、颜色特征和统计特征全面地感知全景图像的质量，模型的性能包括皮尔逊线性相关系数、斯皮尔曼等级相关系数、肯德尔等级相关系数和根均方误差，均优于现有的其它技术。
附图说明
[0030]
图1是本发明一实施例的无参考面感知全景图像质量的评价方法的流程图；
[0031]
图2是本发明模型测试图像的mos与预测分数的关系；
[0032]
图3是实现本发明一实施例的无参考面感知全景图像质量的评价方法的框架图。
具体实施方式
[0033]
下面结合附图和具体的实施例对本发明系统与方法进行详细描述，以对本发明方法进一步了解其目的、方案及效果。
[0034]
一种无参考全面感知全景图像质量的评价方法，其步骤为：
[0035]
s1：分析全景图像的全局和局部结构，得到结构信息：对输入的全景图像，分别计算其全局梯度图和局部纹理二值模式tlbp图，利用遵循双参数威布尔weibull分布的概率密度反映其全局结构特征；对于tlbp图，从四个方向计算其灰度共生矩阵glcm，对glcm计算三个统计量提取图像的局部结构特征；
[0036]
所述的s1中，四个方向分别为：水平、垂直、主对角、副对角；利用三个统计量(ie，ic，im)概括局部结构特征，其公式如下：
[0037][0038][0039][0040]
其中，i和j分别是像素的横纵坐标，n表示的是glcm的阶数；d和θ分别为glcm的距离参数和方向参数，pd,θ(i,j)按如下公式计算：
[0041][0042]
其中，g(i,j)是灰度共生矩阵在(i,j)处的像素值。
[0043]
s2：计算色彩残差图，获得全景图像的颜色信息：将图像进行颜色空间的转化，转化为表示不同图像信息的多个颜色通道；
[0044]
颜色空间的转化按如下公式计算：
[0045][0046]
其中，o1，o2，o3是转化后的颜色空间，r’,g’,b’按如下公式计算：
[0047][0048]
其中，r，g，b是不同颜色通道，《》表示均值运算。
[0049]
对能表达颜色信息的通道图像基于空间富模型srm进行卷积运算，计算其色彩残差图，对色彩残差图利用glcm提取其颜色特征；
[0050]
s3：在空间域和频率域中统计像素的依赖性，得到图像的统计信息：在空间域中利用自然场景统计nss方法捕获全景图像的基本统计特征；在频率域中利用图像熵统计像素间的依赖关系；
[0051]
s4：将上述所有的信息作为特征输入到svr回归模型中进行训练及预测，选择rbf作为核函数，最终得到全景图像的质量分数。
[0052]
实施例1：
[0053]
如图1所示为本发明一实施例的无参考面感知全景图像质量的评价方法的流程图。
[0054]
参见图1，本实施例的无参考全面感知全景图像质量评价方法包括：
[0055]
s1：分析全景图像的全局和局部结构，得到结构信息；
[0056]
优先实施例中，s1分析全景图像的全局结构进一步包括：输入图像通过卷积运算，计算得到其梯度图；
[0057]
进一步地，计算梯度图的威布尔分布，威布尔分布的概率密度函数按如下公式进行：
[0058][0059]
其中x是图像梯度响应，α和β表示为其形状参数和尺度参数。
[0060]
优先实施例中，在所述威布尔分布的两个参数来反映全景图像的全局结构特征。
[0061]
优先实施例中，s1分析全景图像的局部结构进一步包括：对输入全景图像计算其tlbp图；
[0062]
进一步地，在所述tlbp图中利用glcm来概括局部结构特征。
[0063]
优先实施例中，从四个方向计算glcm，分别为：水平、垂直、主对角、副对角；利用三个统计量(ie，ic，im)概括局部结构特征，其公式如下：
[0064][0065][0066][0067]
其中，i和j分别是像素的横纵坐标，n表示的是glcm的阶数。d和θ分别为glcm的距离参数和方向参数，pd,θ(i,j)按如下公式计算：
[0068][0069]
其中，g(i,j)是灰度共生矩阵在(i,j)处的像素值。
[0070]
s2：计算色彩残差图，获得全景图像的颜色信息；
[0071]
优先实施例中，s2进一步包括：将图像进行颜色空间转化，转化为表示不同图像信息的多个颜色通道，对能表达颜色信息的通道图像基于空间富模型(srm)进行卷积运算，计算其色彩残差图；
[0072]
进一步地，在所述色彩残差图利用glcm来概括其颜色特征。
[0073]
优先实施例中，颜色空间的转化按如下公式计算：
[0074][0075]
其中，o1，o2，o3是转化后的颜色空间。r’,g’,b’按如下公式计算：
[0076][0077]
其中，r，g，b是不同颜色通道，表示均值运算。
[0078]
s3：在空间域和频率域中统计像素的依赖性，得到图像的统计信息；
[0079]
优先实施例中，s3所述地在空间域和频率域中统计像素的依赖性，得到图像的统计信息进一步包括：在空间域中利用自然场景统计(nss)方法捕获全景图像的基本统计特征；在频率域中利用图像熵统计像素间的依赖关系。
[0080]
优先实施例中，利用mscn的系数对全景图像的基本统计信息有效表述，并通过以下公式建模：
[0081][0082]
其中，x表示mscn的系数，α和σ2是ggd的参数。μ通过如下公式计算：
[0083][0084]
其中，γ()为gamma函数，按如下公式进行：
[0085][0086][0087][0088]
其中，α，τ，β，δ是aggd的参数。
[0089]
优先实施例中，利用上述ggd和aggd的参数表达基本统计特征；利用图像熵直方图特征表达统计像素间的依赖关系。
[0090]
s4：将上述所有的信息作为特征输入到回归模型中进行训练及预测，最终得到全景图像的质量分数。
[0091]
优先实施例中，s4中的回归模型进一步为svr，并选择rbf作为核函数。
[0092]
所有公式中的参数，添加含义。
[0093]
为了验证本实施例方法的可行性，本发明使用公开可靠的全景图像数据集oiqa来评估本发明所提出的模型。其中，oiqa数据集包含了16张参考全景图像和320张扭曲全景图像，其中扭曲图像由16张原始图像通过jpeg、jpeg2000、高斯噪声gn和高斯模糊gb压缩类型并结合五种压缩水平获得的。本实验的实验环境为win10系统、matlab2018a实验平台。
[0094]
本发明使用的评价指标为plcc、srcc、krcc和rmse，并且以plcc、srcc、krcc和rmse的中位数作为最终评价指标。plcc、srcc、krcc值越高、rmse值越小，表示模型性能越好。
[0095]
在本实验中，我们将每个数据库都分为两个不重叠的部分:80％作为训练集，20％作为测试集。然后利用提取的特征和相应的主观评分训练回归模型。为了避免计算过程中的偶然性，测试和训练过程迭代了1000次。
[0096]
下表1是本发明算法与其他全参考/参考质量评价算法在oiqa数据库上的整体性能对比表。
[0097]
表1质量评价算法在oiqa数据集上的整体性能比较
[0098][0099]
如图2所示为本发明模型测试图像的mos与预测分数的关系，图2是模型在oiqa数据库上的测试图像的mos与预测分数的关系，图2中，横轴表示模型预测的客观得分，纵轴表示数据集提供的主观值，可见本发明模型预测的客观得分与所提供的主观得分拟合度良好。
[0100]
从上面所述表1以及图2可以看出，相比于其它质量评价算法，本发明提出的模型能够更好地感知人类对图像的主观评价，因此，图像质量评价更加准确、可靠。
[0101]
如图3所示为实现本发明一实施例的无参考面感知全景图像质量的评价方法的框架图。
[0102]
请参考图3，本实施例首先获取失真的全景图像1，然后提取图像的感知特征2，也就是s1所述分析全景图像的全局和局部结构，得到结构信息；s2所述计算色彩残差图，获得全景图像的颜色信息；以及s3所述在空间域和频率域中统计像素的依赖性，得到图像的统计信息。得到多方面的感知特征3后，将上述所有的信息作为特征输入到回归模型中进行训练及预测，最终得到全景图像的质量分数4。
[0103]
以上公开的仅为本发明的优先实施例，本说明书选取并具体描述这些实施例是为
了更好地解释本发明的原理，并不是对本发明的限定，对于本领域的普通技术人员而言，可以理解为在不脱离本发明的原理和范围内所做的替换、变化、修改和变型，均应落在本发明所保护的范围内。