基于自适应特征加权融合的无参考图像质量评价方法

本发明涉及图像质量评价，具体涉及基于自适应特征加权融合的无参考图像质量评价方法。

背景技术：

1、视觉信息占人接收到的所有感官信息的70％，故视觉信息对于人的重要性不言而喻。随着移动智能设备和移动互联网的发展，制作和观看图像的方式越来越大众化，所以人们对于图像质量的要求也越来越高。因此，依据人类视觉系统的特性，建立图像质量评价模型，对人们生活质量的提升具有重大的现实意义和研究价值。

2、图像质量评价方法大致可以分为全参考、半参考和无参考方法。全参考度量方法需要所有的参考图像的信息，半参考只需要部分参考图像的信息，而无参考方法可在没有任何参考图像信息的情况下预测图像的质量。在现有的研究中，建立了许多基于人工设计的评价指标，如结构相似度(ssim)、峰值信噪比(psnr)、视觉信息保真度(vif)等。人眼在观测图像时，既能感知到图像类别、前景和背景等全局信息，也能感知到图像中感兴趣的物体细节。因此图像质量评价任务既需要蕴含全局信息的高级特征，又需要包含局部细节的低级特征，充分利用图像多尺度信息成为提高真实失真评估模型性能的关键。现有的利用多尺度特征的质量评价方法，通过构造特征金字塔获取不同尺度的特征，将高层特征图进行上采样，与下层特征图进行权重固定的简单加和，存在因上下层特征图间语义跨度较大导致的融合后特征图对多尺度特征表征效果差的问题。

3、申请公布号为cn115359000a，名称为“一种无参考图像质量评价方法、装置及存储介质”的专利申请，公开了一种基于传统手工提取特征的无参考图像质量评价方法，该方法步骤包括：获取失真图像，并对失真图像进行尺寸调整；提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集；对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像；根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图；提取差异图的梯度图、相位谱图、振幅谱图、频谱图，得到差异图的特征图集；将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果，

4、该方法的不足之处在于，仅仅使用梯度图、相位谱图、振幅谱图、频谱图等人工设计的失真特征，忽略了待检测失真图像中的高级内容信息，未将高级视觉特征融入进失真特征中，导致其质量预测准确性和泛化能力较低。

5、传统的无参考质量评价方法往往基于固定的质量映射网络预测图像质量，与人眼视觉中既能感知到图像类别、前景和背景等全局信息，也能感知到图像中感兴趣的物体细节的特性不符。未将不同尺度特征融入进失真特征中，导致其质量预测准确性和泛化能力较低。

6、现有的基于多尺度特征融合的无参考图像质量评价方法，其在融合过程中仅仅使用固定的融合权重和融合结构，例如简单的加和。未体现出不同尺度的失真特征对于融合后失真特征的贡献程度。

技术实现思路

1、为了克服以上现有技术存在的缺陷，本发明的目的在于提供基于自适应特征加权融合的无参考图像质量评价方法，利用特征逐层融合方法将相邻尺度的特征图逐层融合，设置有自适应性的相邻特征图融合权重，增强融合后特征图对于多尺度特征的表征能力。用于解决现有的基于卷积神经网络网络的无参考图像质量评价方法中，因不同尺度特征图之间语义跨度较大导致的评价准确性低、模型泛化能力差的问题。

2、为了实现上述目的，本发明采用的技术方案是：

3、基于自适应特征加权融合的无参考图像质量评价方法，包括以下步骤；

4、步骤1：利用图像质量评价领域常用的数据集，将参考图像随机划分为两部分，其中一部分用于训练，剩余部分用于测试，将参考图像对应的失真图像划入对应的训练集和测试集；图像质量评价领域的常用数据集是由参考图像和其对应的失真图像组成的，参考图像指无失真的(即高质量的)图像，失真图像即经过算法处理，质量劣化的图像；如现有一幅参考图像a，经过劣化后得到失真图像a'，则失真图像a'即为参考图像a对应的失真图像；

5、步骤2：构建基础特征提取模块，将训练集中的失真图像输入该模块；

6、步骤3：在步骤2的基础特征提取模块后顺次连接逐层多尺度特征融合模块，将基础特征提取模块的输出作为逐层多尺度特征融合模块的输入；

7、所述逐层多尺度特征融合模块用于将步骤2的基础特征提取模块的输出进行逐层融合；

8、步骤4：在步骤3的逐层多尺度特征融合模块后顺次连接多粒度特征拼接模块，将基础特征提取模块的和逐层多尺度特征融合模块的输出，作为多粒度特征拼接模块的输入；

9、所述多粒度特征拼接模块用于将步骤2、步骤3的输出进行拼接、压缩，得到质量分数输出；

10、步骤5：对所述基础特征提取模块、逐层多尺度特征融合模块、多粒度特征拼接模块共同构成的基于自适应特征加权融合的图像质量评价网络s进行迭代训练。

11、所述步骤2中：

12、基础特征提取模块由5个卷积模块顺次连接而成，其具体结构为：第一卷积模块→第一残差模块→第二残差模块→第三残差模块→第四残差模块；

13、第一卷积模块由卷积层、relu层、池化层顺次连接而成，其具体结构为：卷积层→relu层→最大池化层；

14、第一残差模块由3个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层→relu层→第二卷积层→relu层→第三卷积层→relu层；第二分支的具体结构为：卷积层；

15、第二残差模块由4个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层→relu层→第二卷积层→relu层→第三卷积层→relu层；第二分支的具体结构为：卷积层；

16、第三残差模块由6个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层→relu层→第二卷积层→relu层→第三卷积层→relu层；第二分支的具体结构为：卷积层；

17、第四残差模块由3个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层→relu层→第二卷积层→relu层→第三卷积层→relu层；第二分支的具体结构为：卷积层。

18、所述步骤2具体为：

19、将训练集中的失真图像输入该模块，将第一残差模块、第二残差模块、第三残差模块、第四残差模块中，各自的最终输出的特征图作为基础特征提取模块的输出，分别将其命名为stage1、stage2、stage3、stage4。

20、所述步骤3具体步骤为：

21、逐层多尺度特征融合模块的公式如下式所示：

22、

23、其中x1为低层特征图、x2为高层特征图，resize表示使得两个特征图的通道数和分辨率一致，+表示带自适应权重的矩阵相加，aff表示进行自适应特征加权融合，x'2为输出；

24、将步骤2所述的stage1与stage2输入，得到stage2a,将stage3与stage2a输入，得到stage3a，将stage3a与stage4输入，得到stage4a。

25、低层特征指靠近特征提取网络输入端的特征，高层特征指远离特征提取网络输入端的特征，从特征的尺度来说，低层特征尺度较大，高层特征尺度较小。

26、所述步骤3中，特征融合过程具体为：

27、3.1特征预处理；

28、对stage1采用卷积核进行下采样，对stage2采用卷积核进行通道降维；

29、3.2自适应特征加权融合；

30、自适应特征加权融合分为空间自适应特征加权融合和通道自适应特征加权融合两步；

31、3.2.1空间自适应特征加权融合公式如下所示，对aff所代表的自适应特征加权融合的详细解释：

32、x'2＝x1+λ*x2

33、其中，x1与x2为相邻层特征图，λ为可学习参数；

34、3.2.2通道自适应加权融合；

35、将3.2.1得到的特征首先经过全局池化层，将特征图的尺度压缩，得到通道级的全局特征，经过第一全连接层，通过relu激活函数层，然后经过第二全连接层，经过sigmod激活函数层，与原始的特征图相乘。

36、所述步骤4具体为：

37、4.1：将特征图stage1、stage2a、stage3a、stage4a分别进行通道数压缩；

38、将stage1、stage2a、stage3a、stage4a的通道数分别通过卷积层，再分别通过3.2.2所述的通道自适应加权融合，再分别通过卷积层，得到通道数压缩后的特征图stage1b、stage2b、stage3b、stage4b；

39、4.2：对特征图分别进行全局平均池化和局部平均池化；

40、具体地，stage1b、stage2b、stage3b分别通过两个支路：第一个支路为全局平均池化层；第二个支路为顺次相连的平均池化层和全连接层，分别得到stage1b1、stage1b2、stage2b1、stage2b2、stage3b1、stage3b2；

41、将stage4b通过顺次相连的全局平均池化层和全连接层，分别得到stage4b1；

42、4.3：将stage1b1、stage1b2、stage2b1、stage2b2、stage3b1、stage3b2、stage4b1进行拼接，得到待回归特征向量stagec；

43、4.4：将stagec经过顺次连接的全连接层fc1、fc2、fc3，将其尺度分别压缩后，得到质量分数输出。

44、所述步骤5具体为：

45、5.1初始化迭代次数为t，最大迭代次数为t，当前基于多粒度网络的无参考图像质量评价网络模型为st，并令t＝1，st＝s；

46、5.2训练阶段，所有训练过程均采用adam优化算法，模型中所有参数进行随机初始化，将模型的所有参数调整为可学习，根据以下公式进行学习率的调整以保证模型能够有效地收敛：

47、

48、

49、其中，t表示当前迭代次数；s表示学习率更新迭代步长，即每隔s代更新一次学习率；

50、在预训练阶段；在全局优化阶段，d表示学习速率衰减系数，在损失函数中加入正则化项，并在训练过程中加入权重衰减，采用均方误差作为网络的损失，根据以下公式对网络各层参数进行更新：

51、

52、其中，xi表示该第i个训练样本对应的质量分数标签，yi表示第个i训练样本在训练后输出的质量预测分数。本发明的有益效果：

53、本发明通过模拟人眼视觉感知机制，将蕴含全局失真信息的高级特征，和包含局部细节的低级特征进行融合，并设计一种具有自适应性的融合权重。

54、本发明利用特征逐层融合方法将相邻尺度的特征图逐层融合，设置有自适应性的相邻特征图融合权重，增强融合后特征图对于多尺度特征的表征能力。

55、本发明中，逐层多尺度特征融合模块含有自适应性的融合权重，使不同尺度特征图对于融合后特征图提供新信息的贡献程度得以体现，为高层特征补充小尺度局部信息，充分利用多尺度信息来实现多粒度的图像质量表征，获得高性能的图像质量评价。