基于频率差异的高动态范围图像质量评价算法的制作方法

本发明涉及图像质量评价，特别是涉及一种基于频率差异的高动态范围图像质量评价算法。

背景技术：

1、目前使用最广泛的高动态范围(high dynamic range，hdr)图像质量评价(imagequality assessment，iqa)算法是mantiuk等人在“hdr-vdp-2：用于所有亮度条件下可见性和质量预测的校准视觉指标”(hdr-vdp-2：a calibrated visual metric for visibilityand quality predictions in all luminance conditions，acm transactions ongraphics(tog)，vol.30，no.4，pp.1-14，2011.)中提出的hdr-vdp，其最新版本是hdr-vdp-3。这一算法通过考虑人眼中的光学和视网膜通路来对人眼视觉系统进行建模，用于评估图像之间的可见差异。目前，有一个专门针对hdr视频内容设计的质量评价指标，即narwaria等人在“hdr-vqm：高动态范围视频的客观质量度量”(hdr-vqm：an objective qualitymeasure for high dynamic range video，signal processing：image communication，vol.35，pp.46-60，2015.)中提出的hdr-vqm，其中输入的hdr视频序列首先被投影到感知域，然后应用gabor滤波器提取图像频率特征以计算最终的质量分数。

2、由于目前专门针对hdr图像设计的iqa算法较少，因此常用的多个低动态范围(lowdynamic range，ldr)iqa算法也常被用来评估hdr图像的质量。然而由于hdr图像的数据分布与ldr图像的数据分布差异较大，直接使用现有的ldr iqa算法评价hdr图像质量的效果并不好。因此，aydin等人在“将质量指标扩展到全亮度范围图像”(extending qualitymetrics to full luminance range images，in human vision and electronic imagingxiii，vol.6806.spie，2008，pp.109-118.)中提出了感知一致(perceptual uniform，pu)空间，将广泛的亮度范围映射到与人眼视觉系统一致的感知范围。通过pu编码后的hdr图像的质量可以用ldr模型来评估，例如psnr，ssim，gmsd，vif，fsim。与pu函数类似，在“高动态范围编码参考显示器的电光转移函数”(high dynamic range electro-optical transferfunction of mastering reference displays，smpte st，vol.2084，no.2014，p.11，2014.)中提出的感知量化器(perceptual quantizer，pq)同样可以用于hdr图像范围的重新映射。除了使用现有的ldr iqa算法评价hdr图像质量，choudhury在“使用质量指标组合的鲁棒hdr图像质量评估”(robust hdr image quality assessment using combinationof quality metrics，multimedia tools and applications，vol.79，no.31，pp.22843-22867，2020.)中提出的hdr-cqm算法通过综合利用多种hdr iqa和ldr iqa指标来提高hdriqa的性能。最近，mikhailiuk等人在“高动态范围图像质量的整合数据集和度量标准”(consolidated dataset and metrics for high-dynamic-range image quality，ieeetransactions on multimedia，vol.24，pp.2125-2138，2021.)中通过对齐和合并两个hdr和两个ldr图像数据集的主管质量分数，构建了一个统一光度图像质量数据集(upiq)，并基于该数据集，重新训练了pu-pieapp模型用于评价hdr图像质量。

3、但是现有的专门设计用于评价hdr图像质量的算法需要多种信息作为输入，例如显示器尺寸参数、观看距离及环境亮度等，对于一组hdr图像，不同的输入参数稍有变动，最终的质量分数就会发生较大变动，难以保证对同一图片质量评价的一致性。此外，目前针对hdr图像设计的iqa算法还存在以下问题：现有专门设计的用于评价hdr图像质量的算法过少，且效果并不突出；现有大多数iqa算法是针对ldr图像设计的，因此并未考虑到hdr图像特有的动态范围广及高亮度区域细节丰富的特征；现有iqa算法常用频域算子提取图像局部频域特征，忽视了全局频域特征对于图像质量评价的贡献。

技术实现思路

1、为了解决现有的针对hdr图像设计的iqa算法需要的输入参数过多，使得评价一致性难以保证以及算法效果不突出、并未考虑到hdr图像特有的动态范围广及高亮度区域细节丰富的特征、忽视了全局频域特征对于图像质量评价的贡献等问题，本发明提供一种基于频率差异的高动态范围图像质量评价算法。

2、为解决上述问题，本发明采取如下的技术方案：

3、一种基于频率差异的高动态范围图像质量评价算法，其特征在于，包括以下步骤：

4、步骤1：获取参考hdr图像ir和失真hdr图像id；

5、步骤2：在预处理阶段对参考hdr图像ir和失真hdr图像id分别进行pu编码，得到对应的亮度图lr(x，y)和ld(x，y)；

6、步骤3：使用gabor滤波器分别提取亮度图lr(x，y)和ld(x，y)的局部频率特征图gr(x，y)和gd(x，y)，使用巴特沃斯滤波器分别提取亮度图lr(x，y)和ld(x，y)的全局频率特征图br(x，y)和bd(x，y)，且全局频率特征图br(x，y)和bd(x，y)各自由相应的频率图和相位图组成；

7、步骤4：根据局部频率特征图gr(x，y)和gd(x，y)计算局部相似度图sl(x，y)，计算公式如下：

8、

9、其中，t0为正常数；

10、根据全局频率特征图br(x，y)和bd(x，y)计算全局相似度图sg(x，y)，计算公式如下：

11、

12、其中，为频率图的相似度，计算公式为和分别为全局频率特征图br(x，y)和bd(x，y)的频率图；为相位图的相似度，计算公式为和分别为全局频率特征图br(x，y)和bd(x，y)的相位图；α是范围在(0，1)的正常数，用于和的加权计算，t1、t2为正常数；

13、步骤5：基于局部相似度图sl(x，y)和全局相似度图sg(x，y)，利用特征池化策略生成预测图像质量分数，所述特征池化策略包括以下步骤：

14、分别计算局部频率特征图和全局频率特征图的加权图，计算公式如下：

15、

16、分别计算局部相似度图sl(x，y)和全局相似度图sg(x，y)上所有像素位置(x，y)的加权平均值，得到局部频率相似度得分ql(x，y)和全局频率相似度得分qg(x，y)，计算公式如下：

17、

18、根据局部频率相似度得分ql(x，y)和全局频率相似度得分qg(x，y)计算预测图像质量分数qlgfm＝qg(x，y)·ql(x，y)。

19、与现有技术相比，本发明的有益效果是：

20、本发明利用人眼视觉系统对部分频率区段敏感的特性，在通过巴特沃斯滤波器提取的全局频率特征图中提取有效区段的整体信息，并通过log-gabor滤波器提取图像的局部频率特征，通过联合全局及局部频率特征，实现对hdr图像质量的评价，相比现有的hdr图像质量评价算法，本发明的算法所需输入参数较少，对于同一组图片生成的质量评价分数更加统一，且能够产生与人眼视觉系统更为一致的图像质量分数。