一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法

1.本发明属于光学遥感图像处理领域，具体涉及一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法。


背景技术：

2.光学遥感图像作为搜集信息的一种关键手段，不仅广泛应用于资源搜索、城市规划等民用方面，而且在目标检测、识别、预警等其他军事方面具有重要的应用。在遥感图像的实际应用中，为了统一分析、研究和利用遥感信息，需要大范围高分辨率遥感图像，然而，单幅遥感图像覆盖范围有限，通常不能满足需求，为此需要将多幅遥感图像拼接成一幅大场景遥感图像，从而遥感图像镶嵌技术应运而生并不断发展。
3.一般来说，待镶嵌的遥感图像需要具有一定比例的重合部分，通常是(30％～60％)。理论上，镶嵌完美的遥感图像需要满足以下两个条件：(1)镶嵌痕迹要尽可能地减弱到人眼视觉系统无法察觉的程度。(2)镶嵌后生成的图像的亮度特性和几何特性需要和镶嵌前的图像保持一致。然而，由于成像时刻、成像位置、摄影镜头的畸变、卫星成像姿态的变化等因素，即使在镶嵌时，进行了图像配准与融合，仍然有可能出现镶嵌缝两侧颜色差异较大、地物错位等情况。对遥感图像的镶嵌质量进行评价，既可以为后续任务提供可靠的大场景遥感图像，又可以判断图像镶嵌算法的优劣，为遥感图像镶嵌算法的改进提供反馈。
4.目前，关于遥感图像的质量评价主要是对云雾视觉质量评价、遥感图像噪声评价、遥感图像模糊度评价等，而关于遥感图像镶嵌质量的无参考评价的研究尚不多见。本发明针对遥感图像镶嵌过程中出现的颜色差异和地物结构错位两种质量失真情况，设计了双分支网络来进行遥感图像镶嵌质量的无参考评价，两个分支网络分别用于镶嵌缝两侧颜色差异评价和结构错位评价，最后综合两个网络的输出实现遥感图像镶嵌质量的综合评价。
5.卷积神经网络的性能高度依赖于可获得的数据集的规模，训练数据不足很容易导致网络对特定数据过拟合，而通过主观质量评价获得图像的质量真值需要耗费大量的人力物力，比如live challenge数据库，仅包含接近1200张图片，就需要超过350000个主观质量得分，因此获得和imagenet规模相当的图像质量评价数据集几乎是不可能完成的任务。通常可以通过数据增强的方法解决数据量不足的问题，但是除了对输入图像水平翻转，其他的数据增强方法如旋转、裁剪、添加噪声等通常都会显著地改变图像的主观质量。为了解决训练数据不足的问题，一些学者假设图像的质量在图像空间均匀分布，把训练图像分割成不同的图像块，并把图像的质量真值作为图像块的质量真值，从而大幅扩充训练集的规模。但是以上假设对于镶嵌图像并不成立，对于镶嵌图像，重叠区域对于图像质量的影响程度显然要高于非重叠区域的影响，因此针对遥感图像镶嵌质量评价任务，难以获得足够的有质量真值标注的数据来完成网络的训练。为了解决训练数据不足的问题，本发明提出了一种基于两阶段训练的弱监督学习策略，第一阶段在带有客观质量真值的大规模仿真数据集上以颜色改变量和结构错位量为真值对网络进行预训练，学习与质量评价有关的先验知识；第二阶段在带有主观质量真值的小规模数据集上进行微调使网络能够把学习到的先验
知识映射到图像的质量得分并获得最终的评价模型。


技术实现要素：

6.目的：
7.本发明的目的在于提供一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法，它可以分别从颜色差异、结构错位和综合评价三个方面对遥感图像镶嵌质量进行打分。
8.技术方案：
9.本发明通过一种两阶段的训练策略训练双分支卷积神经网络来对遥感镶嵌图像进行质量评价，首先构建算法需要的数据集，即用于网络第一阶段预训练的具有客观质量真值的大规模仿真数据集。然后构建用于进行镶嵌质量评价的双分支卷积神经网络，并且通过两阶段的训练来获得镶嵌质量评价模型，该训练好的模型可以对实际的遥感镶嵌图像进行质量评价，具体技术方案如下：
10.本发明是一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法，它包括以下步骤：
11.步骤一：带有客观质量真值的大规模仿真数据集生成
12.训练卷积神经网络需要大量的图像数据，而实际的带有主观质量真值的遥感图像是很难获得的。因此需要以无失真的遥感图像为原始图像，仿真生成具有不同失真类型的遥感镶嵌图像。nwpu-resisc45数据集是西北工业大学建立的用于遥感图像场景分类的公开基准，一共有31400幅256*256大小的图像，共包含了45个不同的场景，每个场景有700张图像。这45个场景类别包括机场、桥梁、丛林、教堂、商业区、沙漠、森林、高速公路、工业区、草地、宫殿等，基本涵盖了遥感图像中常见的场景，能够使网络充分学习不同场景遥感图像的相关知识。本发明以该数据集作为原始数据，生成带有客观质量真值的大规模仿真数据集。对于一幅原始图像，仿真过程分为以下四个步骤：
13.1.把图像随机分割成具有一定重叠区域的两幅图像；
14.2.在x方向和y方向上随机产生错位量；
15.3.把其中一幅图像转换到hsl色彩空间，在保证饱和度s不变的情况下，随机产生色调h和亮度l的差异；
16.4.采用渐入渐出方法拼接两部分图像；
17.对于一幅图像，均有0.5的概率发生错位、色调差异和亮度差异。
18.步骤二：镶嵌质量评价网络结构设计
19.由于对图像的颜色差异评价和结构错位评价需要提取不同的特征，为此本发明以resnet-18为基础设计了双分支网络，网络包含两个独立的分支，分别对镶嵌图像的颜色差异问题和结构错位问题进行学习，由于对图像的综合评价需要同时考虑到图像的颜色差异和结构错位两个方面，而且随着网络层数的加深，网络学习到的特征越抽象，语义性越强。为了充分利用两个分支网络学习到的质量感知特征，我们设计了一种融合策略。首先提取两个分支网络最后一个卷积层的输出，在通道维度上连接，然后通过1x1的卷积核融合通道信息并降低通道维度，最后通过全连接层回归得到图像的综合质量得分。
20.步骤三：网络预训练
21.本步骤是在带有客观质量真值的大规模仿真数据集上进行的。图像失真过程影响
着图像的质量，如果网络训练过程中能够学习到失真过程的相关信息，将会有助于图像质量的预测。由此，本发明设计了第一阶段的预训练，即在大规模仿真数据集上以图像的错位量和颜色差异量为训练真值分别对错位分支和颜色分支进行训练。由于这一阶段的训练不需要图像的主观质量真值，因此本发明仿真生成大量的不同场景，不同失真程度的图像，为卷积网络的训练提供足够的训练数据。通过这一阶段的训练，网络不仅能够识别到和遥感图像镶嵌质量评价相关的两个重要因素：结构错位程度和颜色差异程度，还能学习到不同场景的知识从而避免对特定场景过拟合。这一阶段训练的损失函数是平均平方误差(mean square error，mse)，假设y＝(y1，...yn)和分别是真实标签和预测标签，n是样本个数，则mse的定义为：
[0022][0023]
对于结构错位分支，训练真值为x和y两个方向上的错位量，对于颜色差异分支，训练真值是色调h和亮度i的差异。
[0024]
步骤四：网络微调
[0025]
第一阶段训练完毕之后，为了使网络能够正确输出图像的质量得分，本发明在带有主观质量真值的小规模数据集上对网络进行微调。受益于第一阶段的预训练，这一阶段不需要大量的数据，可以在规模很小的数据集上完成训练。在本发明中以北京航空航天大学建立的遥感图像拼接质量评价数据集作为该阶段的训练数据，该数据集规模比较小，由2500张带有质量真值的仿真数据集和1437张带有质量真值的真实数据集两部分组成。训练过程中同样采用mse作为损失函数，训练真值为图像的主观质量得分。为了把网络预训练阶段学习到的先验知识映射成质量得分，本发明首先在带有主观质量真值的小规模仿真数据集上进行微调。由于仿真生成的镶嵌图像和真实的镶嵌图像之间仍有一定的差距，为了使模型能够对真实镶嵌图像的质量做出准确的评价，本发明在带有主观质量真值的真实数据集上采用同样的方式对网络进行微调，以获得最终的遥感图像镶嵌质量评价模型。
[0026]
其中，数据集下载链接：
[0027]
https://bhpan.buaa.edu.cn:443/link/fd35b3daa6f8524adeb2312557b094ed
[0028]
步骤五：遥感图像镶嵌无参考质量评价
[0029]
针对一幅待评价遥感镶嵌图像，把该图像输入到步骤四中训练得到的镶嵌图像质量评价模型，即可输出得到图像的结构错位得分、颜色差异得分以及综合评价得分。
[0030]
本发明的优点及有益效果在于：
[0031]
(1)本发明通过设计双分支卷积神经网络，能够从结构错位、颜色差异和综合评价三个方面对遥感镶嵌图像进行评价，既实现了单因素镶嵌质量评价，又实现了图像镶嵌质量的综合评价。
[0032]
(2)本发明通过设计两个阶段的训练策略，可以大幅减少训练网络时需要的带有主观质量真值的数据集，使网络能够在规模较小的数据集上完成训练。
[0033]
(3)本发明所设计的方法为无参考质量评价方法，而且所设计的网络是端到端的，整个评价过程不需要参考图像，也无需额外的处理，使用灵活，操作简单。
附图说明
[0034]
图1为本发明的实现流程图。
[0035]
图2为本发明设计的双分支卷积神经网络。
[0036]
图3为本发明所提出的两阶段训练策略。
[0037]
图4a为遥感图像镶嵌质量评价实例1。
[0038]
图4b为遥感图像镶嵌质量评价实例2。
[0039]
图4c为遥感图像镶嵌质量评价实例3。
[0040]
图4d为遥感图像镶嵌质量评价实例4。
[0041]
其中的评价结果，分值从左向右依次是颜色差异得分、结构错位得分和综合评价得分。
具体实施方式
[0042]
为了更好地理解本发明的技术方案，下面结合附图对具体实施方式做进一步的描述。
[0043]
本发明的流程图如图1所示。计算机配置采用：intel core i6-6600k处理器，nvidia geforce gtx 2080ti图形处理器，主频3.5ghz，内存16gb，操作系统为ubuntu 20.04。遥感镶嵌图像质量评价方法的实现主要基于pytorch和opencv工具包。本发明是一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法，下面以nwpu-resisc45作为原始数据集，详细说明实现步骤：
[0044]
步骤一：带有客观质量真值的大规模仿真数据集生成
[0045]
本发明以nwpu-resisc45数据集作为原始数据生成带有客观质量真值的大规模仿真数据集，对于一幅原始图像，仿真过程分为以下四个步骤：
[0046]
1.把图像随机分割成具有一定重叠区域两幅图像；
[0047]
2.在x方向(图像宽度方向)和y方向(图像高度方向)上随机产生错位量，并把错位量保存到文件中；
[0048]
3.把图像从rgb色彩空间转换到hsl色彩空间，在保证饱和度s不变的前提下，随机产生色调h和亮度l的差异，并且把色调h和亮度l的差异保存到文件中，然后把调整后的图像重新转换到rgb色彩空间，色彩转换的过程可以使用opencv工具包中的cvtcolor函数完成。
[0049]
4.采用渐入渐出方法拼接两部分图像，定义待融合的图像为i1，i2，融合后的图像为i，若重合区域x轴的坐标范围是x1到x2，则在重合区域渐入渐出法的计算公式如下：
[0050][0051]
其中w1，w2代表对应图像像素在(x,y)位置的权重。
[0052]
对于一幅图像，均有0.5的概率发生错位、色调差异和亮度差异，总共生成的仿真数据是原始数据集的10倍，共计314000张图像。
[0053]
步骤二：镶嵌质量评价网络结构设计
[0054]
由于对图像的颜色差异评价和结构错位评价需要提取不同的特征，为此本发明以resnet-18为基础设计了双分支网络，网络包含两个独立的分支，分别对镶嵌图像的颜色差异问题和结构错位问题进行学习，由于对图像的综合评价需要同时考虑到图像的颜色差异和结构错位两个方面，而且随着网络层数的加深，网络学习到的特征越抽象，语义性越强。为了充分利用两个分支网络学习到的质量感知特征，本发明设计了一种融合策略。首先提取两个分支网络最后一个卷积层的输出，在通道维度上连接，然后通过1x1的卷积核融合通道信息并降低通道维度，最后通过全连接层回归得到图像的综合质量得分，所设计的网络结构如图2所示。网络的输入是待评价的镶嵌图像，输出是图像的颜色得分，错位得分以及综合得分，整个网络由两个分支和一个特征融合模块组成，每个分支的网络结构如表1所示，融合模块由卷积核为1
×
1，输出维度为512，步长为1的卷积层，池化核大小为7x7，步长为1的池化层以及输出维度为1的全连接层(fc)组成。
[0055]
表1分支网络结构
[0056][0057]
步骤三：网络预训练
[0058]
为了解决带有主观质量真值数据不足的问题，本发明设计了如图3所示两阶段训练策略，整个训练过程分为两个阶段，第一阶段在大规模仿真数据集上以颜色差异量和结构错位量为真值对网络进行预训练得到质量先验模型，第二阶段在小规模的带有主观质量真值的数据集上完成网络微调，得到最终的镶嵌质量评价模型。
[0059]
本步骤的目标是完成网络的预训练阶段，得到质量先验模型，包括颜色差异先验模型和结构错位先验模型。本发明在步骤一中生成的带有客观质量真值的大规模仿真数据集上以图像的错位量和颜色差异量为真值分别对错位分支和颜色分支进行训练，训练使用的损失函数是mse。对于结构错位分支，训练真值为x和y两个方向上的错位量；对于颜色差异分支，训练真值是色调h和亮度i的差异，错位量，色调h以及亮度差异可以从步骤一中保
存的文件中读取。对于仿真生成的带有客观质量真值的大规模仿真数据集，将90％的仿真图像作为训练集对网络进行训练，剩余的10％的图像作为验证集进行超参数的调整。为了防止过拟合，损失函数以二范数形式对参数进行正则化约束，正则化系数为0.0001。在开始训练之前，输入图像数值被归一化到[0,1]之间，尺寸调整到224
×
224，网络的初始权重采用均值为0，方差为0.01的高斯函数进行初始化，偏置采用固定值0进行初始化。在模型优化时，采用adam优化器更新网络参数，其中初始学习率设置为10-3
，整个训练过程在nvidia geforce gtx 2080 ti gpu上进行，训练共迭代40个epoch，每个epoch计算一次模型在验证集上的损失函数值，并保存网络参数，最终选择在验证集上损失函数值最小的epoch保存的网络参数作为预训练得到的质量先验模型。
[0060]
步骤四：网络微调
[0061]
第一阶段训练完毕之后，为了使网络能够正确输出图像的质量得分，本发明在带有主观质量真值的小规模数据集上对网络进行微调。受益于第一阶段的预训练，这一阶段不需要大量的数据，可以在规模很小的数据集上完成训练。在本发明中以北京航空航天大学建立的遥感图像拼接质量评价数据集作为该阶段的训练数据，该数据集由带有质量真值的仿真数据集和真实数据集两部分组成，仿真数据集分为颜色差异数据集、结构错位数据集以及综合失真数据集，每张图片具有1个主观质量得分，真实数据集每张图像具有3个主观质量得分，分别为颜色差异得分，结构错位得分和综合评价得分，训练过程中同样采用mse作为损失函数，训练真值为图像的主观质量得分。为了把网络预训练阶段学习到的先验知识映射成质量得分，本发明在带有主观质量真值的小规模仿真数据集上进行微调。首先把带有主观质量真值的小规模数据集按照9：1的比例划分为训练集和验证集，分别用于网络参数的训练和超参数的调整，然后整个微调过程分为两个步骤，第一步是分别在颜色差异数据集和结构错位数据集上以主观质量得分为真值对颜色差异分支和结构错位分支进行训练，为了防止过拟合，损失函数以二范数形式对参数进行正则化约束，正则化系数为0.0001，图像在输入到网络之前，数值被归一化到[0～1]，尺寸调整到224
×
224，网络的初始权重为步骤三中质量先验模型，在模型优化时，采用adam优化器更新网络参数，其中初始学习率设置为10-3
，整个训练过程在nvidia geforce gtx 2080 ti gpu上进行，训练共迭代40个epoch，每个epoch计算一次模型在验证集上的损失函数值，并保存网络参数，最终选择在验证集上损失函数值最小的epoch保存的网络参数作为微调得到的颜色差异评价模型和结构错位评价模型。第二步时在综合失真数据集上以主观质量得分为真值，仅对特征融合模块进行训练，特征融合模块的初始权重采用均值为0，方差为0.01的高斯函数进行初始化，偏置采用固定值0进行初始化，其余的训练过程第一步相同，第二步训练完成后可以得到综合得分评价模型。本次微调阶段完成后得到的颜色差异评价模型、结构错位评价模型和综合得分评价模型共同构成了初步的镶嵌质量评价模型。
[0062]
由于仿真生成的镶嵌图像和真实的镶嵌图像之间仍有一定的差距，为了使模型能够对真实镶嵌图像的质量做出准确的评价，本发明在带有主观质量真值的真实数据集上采用同样的方式对网络进行微调，唯一的区别是在本次的微调过程中，网络的初始权重为在仿真数据集上微调得到的镶嵌质量评价模型，微调结束后，可以获得最终的遥感图像镶嵌质量评价模型。
[0063]
步骤五：遥感图像镶嵌质量无参考评价
[0064]
本发明设计的遥感图像镶嵌质量评价方法是端到端的，对于一幅待评价的遥感镶嵌图像，把该图像输入到步骤四中得到的遥感图像镶嵌质量评价模型中，通过网络的前向传播，即可在输出端得到图像的结构错位得分、颜色差异得分以及综合评价得分。图4a-图4d展示了一组遥感图像镶嵌质量评价实例，可以看出模型预测的质量得分与图像的主观质量得分十分接近，说明本发明所提算法能够对镶嵌图像的质量做出有效评价。