基于孪生网络的增强图像质量评价方法与流程
本发明属于图像处理技术领域，更进一步涉及一种增强图像质量评价方法，可用于图像的采集、管理、传输和处理。
背景技术：
随着图像增强技术的完善和对图像进行质量评价的需求增加，因此对增强后的图像进行符合人类视觉感知的客观无参考评价成为了研究热点。
目前关于增强图像质量评价方面的论文和专利非常多，从采取的技术路线来看，这些方法在图像预处理，特征提取，分类器设计方面各不同。有的是基于ssim来提取图像特征的质量评价算法，有的是通过找寻多种传统色度指标，将这些指标结合来拟合图像降质的过程，以此回归出符合人类视觉的感知分数。这些方法均属于传统方法范畴，主要依赖于人工设计算法进行特征提取和分数回归，导致图像质量评价的结果不符合人类视觉感知。
近年来，深度学习在各个领域发展的如火如荼。已经在目标检测、图像质量评价、图像复原等方面取得了很好的效果。
南京航空航天大学在其申请的专利“一种彩色图像质量综合评价方法”(专利申请号：201710733673.1，申请公开号：107705286a)中提出了一种彩色图像质量综合评价方法，首先输入待评价的彩色图像和对应的参考图像；将参考图像和待评价图像分别进行色彩空间变换，得到参考图像和待评价图像的亮度通道图和色度通道图，提取参考图像和待评价图像的色度通道图，计算色度相似性特征；提取参考图像和待评价图像的亮度通道图，使用log-gabor小波获得相位一致性相似特征；获取参考图像和待评价图像的位置显著性特征；通过位置显著性特征加权的标准差池化相位一致性相似性特征和色度相似性特征，获得待评价图像的质量。该方法存在的不足之处是，图像尺度单一，没有提取到更深层次的特征，导致评价准确率不高。
kegu；dachengtao,在其发表的论文“learningano-referencequalityassessmentmodelofenhancedimageswithbigdata”(ieeetransactionsonneuralnetworksandlearningsystems(volume:29,issue:4,april2018))中提出了一种用大数据学习增强图像的无参考质量评估模型方法，该方法首先通过对比、锐度、亮度等分析提取17个特征，然后使用回归模块得到视觉质量的度量，回归模块已经提前在比相关图像数据集大得多的训练库上预训练得来的。该方法存在的不足之处是，当训练样本数目较多、图像尺寸大时，计算复杂度明显增大，导致计算时间长，实时性差。
技术实现要素：
本发明的目的是针对上述现有技术存在的不足，提出了一种基于孪生网络的增强图像质量评价方法，以提高质量评价的准确率，减小计算复杂度，优化模型时效性。
为实现上述目的，本发明的技术方案如下：
(1)从ccid数据集中任意获取已知分数标签的图像作为训练样本集，从ccid数据集中任意获取不同于训练样本的已知分数标签的图像作为测试样本集；
(2)对训练样本集和测试样本集中每个标准图像xs和其对应的失真图像xd一一配对，组成图像对(xs，xd)，得到配对后的训练样本集和测试样本集；
(3)对每个图像对(xs，xd)中的两张图进行中心裁剪，剪裁为大小300×300的局部图像，再对局部图进行对比度归一化处理，得到预处理后训练样本集和测试样本集；
(4)构建由特征提取器和回归器构成孪生网络，该特征提取器是由两条结构相同的通路构成，其中每一条通路都是一组vgg16的卷积层，且这两条通路参数共享；该回归器为两层全连接层；
(5)训练孪生网络：
(5a)将预处理后训练样本集中所有图像对(xs，xd)中的两张图，分别输入到孪生网络的特征提取器两条通道中，并用最后一层卷积层的权重分别作为这两张图各自的特征向量fs和fd；
(5b)将两个特征向量fs和fd相减，作为特征差向量fd，将差向量fd输入到回归器中，训练回归器中的权重；
(5c)用随机梯度下降法和反向传播法微调网络中的所有权重，得到训练好的孪生网络；
(6)将配对后测试样本集中所有图像对(xs，xd)的两张图像分别输入到训练好的孪生网络中进行识别，得到图像对中失真图像的预测分数标签yd。
本发明与现有技术相比具有以下优点：
第一、由于本发明采用现有最先进的vgg16结构，并且vgg16中卷积层的权重均在imagenet上预训练过，克服了现有基于深度网络方法中对小数据库训练，数据样本不充足而导致模型准确率低的缺点，不仅减少了网络训练时间，而且可防止训练过程中，由于训练数据较少，会出现的梯度消失和梯度弥散而导致收敛困难的问题，能更快更有效的得到图像质量分数。
第二、由于本发明使用双通道结构，将得到的标准图像和失真图像的特征相减后，不仅使得标准图像和失真图像之间的差值信息能被充分利用，而且冗余特征被消除，使得计算量呈几何倍下降。克服了现有技术中利用网络设计算法，导致速度慢，实时性差的问题，使得本发明能以较快的速度完成图像质量评价过程。
附图说明
图1是本发明的实现流程图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，本发明的实现步骤如下：
步骤1，测试集和训练集的构成。
(1a)从ccid数据集中任意获取已知分数标签的图像作为训练样本集，从ccid数据集中任意获取不同于训练样本的已知分数标签的图像作为测试样本集；
(2a)对训练样本集和测试样本集中每个标准图像xs和其对应的失真图像xd一一配对，组成图像对(xs，xd)，得到配对后的训练样本集和测试样本集。
步骤2，图像预处理
对每个图像对(xs，xd)中的两张图进行中心裁剪，将其剪裁为大小300×300的局部图像，再对局部图进行对比度归一化处理，得到预处理后训练样本集和测试样本集；
所述局部图进行对比度归一化处理，通过如下公式进行：
其中i(x,y)为待预处理的图像，μ(x,y)和σ(x,y)分别是待处理图像的整体对比度的均值和对比度方差，
步骤3，孪生网络的构建
构建由特征提取器和回归器构成孪生网络，该特征提取器是由两条结构相同的通路构成，每一条通路都是一组vgg16的卷积层，包括有6层，其中：
第1层特征映射图总数设置为64、卷积核大小设置为3×3；
第2个卷积层特征映射图总数设置为128、卷积核大小设置为3×3；
第3个和第4个卷积层特征映射图总数设置为256、卷积核大小设置为3×3；第
5个和第6个卷积层特征映射图总数设置为512、卷积核大小设置为3×3；该回
归器为两层全连接层，其中第一层全连接网络输入节点均设为2048，输出节点设为800，第二层全连接网络输入节点为800，输出节点为1。
步骤4，训练孪生网络。
(4a)将预处理后训练样本集中所有图像对(xs，xd)中的两张图，分别输入到孪生网络的特征提取器两条通道中，并用最后一层卷积层的权重分别作为这两张图各自的特征向量fs和fd；
(4b)将两个特征向量fs和fd相减，作为特征差向量fd，将差向量fd输入到回归器中，训练回归器中的权重；
(4c)用随机梯度下降法和反向传播法微调网络中的所有权重，得到训练好的孪生网络，其中梯度下降法和反向传播法的具体步骤如下：
(4c1)输入一个有标签的训练数据；
(4c2)计算网络的输出与所输入的训练数据的标签之间的差距，将该差距作为网络损失值；
θ′k＝θk-α×gk,
其中，θ′k表示网络调整权重后的第k个权重，θk表示网络调整权重前的第k个权重，α表示调整权重时的学习率，α∈[0,1]，gk表示网络损失值对网络调整权重前的第k个权重的偏导数；
(4c3)将所输入的训练数据输入到调整权重后的网络中，计算调整权重后网络的输出与所输入的训练数据的标签之间的差距，将该差距作为调整权重后网络的损失值；
(4c4)设阈值为学习率的十分之一，判断调整权重后网络的损失值是否小于该阈值，若是，则得到训练好的网络，否则，返回(4c1)。
步骤5，将配对后测试样本集中所有图像对(xs，xd)的两张图像分别输入到训练好的孪生网络中进行识别，得到图像对中失真图像的预测分数标签yd。
下面结合仿真实验对本发明的效果做进一步的描述。
1、仿真实验条件：
本发明的仿真实验硬件平台为：intel(r)xeon(r)cpue5-2630，2.40ghz*16，内存为64g，仿真实验采用pycharm软件。
2、实验内容与结果：
在模型训练方面，设置初始学习率为10-4，学习率的调整方式为，每隔1个阶段，学习率减少10倍。
用目前最先进的8个技术biqi,bliinds2,diivine,cornia,niqe,qac,il-niqe,bliinds2和本发明采用k折交叉验证的方式来测试所提出的模型的有效性，取100次测试结果的均值作为本仿真模型在整个增强图像数据集上的评价结果，如表1。
表1九种方法的评价效果
表1中斯皮尔曼秩相关系数srocc∈[-1,1]，其数值越高，说明被评判的图像质量评价方法能更准确地区分好图像和坏图像；线性相关系数plcc∈[-1,1]，其数值越高，说明被评判的图像质量评价方法给出的质量评价结果和人类给出的主观评价分数相关性越高。
所述的斯皮尔曼秩相关系数srocc和线性相关系数plcc，按照下式计算得到的：
其中，n表示用来评价的图像总数，be表示第e幅失真图像的质量评价结果与其标准主观评价结果之差；sr表示质量评价算法给出的第r幅失真图像的质量评价结果，
从表1可见，本发明在公知数据库上评价结果的斯皮尔曼秩相关系数srocc和线性相关系数plcc均高于8种现有技术，证明本发明具有更好的图像质量评价效果。
- 还没有人留言评论。精彩留言会获得点赞！