一种残差网络多光谱图像地物分类方法与流程

本发明属于图像处理
技术领域：
，具体涉及一种基于全局通道交互注意力机制的残差网络的多光谱图像地物分类方法。
背景技术：
：在遥感应用中，通过遥感图像分析与解译来识别各种地物是遥感图像处理的最终目的。分类问题也是遥感图像信息提取中的最基本的问题之一。无论地物提取、土地动态变化监测，还是专题地图制作和遥感图像库的建立都离不开分类，许多方面的应用都会涉及分类。通过遥感图像的分类识别后可以更加精确地描述地物的属性和特征，在农作物估产、土地利用、环境监测、工程勘测、自然灾害监测、基础设施布局、交通规划管理、旅游开发以及各类资源的调查研究都会产生积极的作用，从而更好的为这些领域服务。卷积神经网络的布局是最接近实体生物大脑的神经网络，在处理任务时具有优越性。与一般的神经网络相比较，卷积神经网络在进行图像处理方面有着突出的表现：(1)通过神经元的局部连接和权值共享模式减少了网络的连接数和训练参数，提高了运行效率，同时简单的网络结构更能够适应多种分类任务；(2)统一层的权值共享利于网络的并行运算；(3)网络拓扑结构适合图像数据的输入，可以直接对图像的二维矩阵进行处理；(4)特征提取过程和模式分类过程可在训练过程中同时进行，回避了复杂的、随机的、不靠谱的显式的特征提取过程。技术实现要素：本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种残差网络多光谱图像地物分类方法，首先使用了一种自适应邻域选择策略，自适应的调整中心点的邻域像素区域，而不是以往的固定滑窗取块，生成更具有辨别性的样本块，使得网络能提取出更鲁棒的特征；同时利用全局交互通道注意力机制生成注意力权重，对特征通道进行权重调整，加强对分类有帮助的通道，抑制对分类没有帮助的通道；训练出更稳定、判别性更强的分类网络。本发明采用以下技术方案：一种残差网络多光谱图像地物分类方法，从数据集中读入多光谱图像；对数据进行归一化操作；对多光谱图像进行slic超像素，对图像中的边缘像素点使用自适应邻域选择策略进行取块建立数据集，建立训练集，验证集和测试集；构造基于全局通道交互注意力机制的残差网络的分类模型；用训练数据集对分类模型进行训练，同时使用验证集实时验证网络分类精度；最后利用训练好的分类模型对测试数据集分类。具体的，多光谱图像包括quickbird卫星数据、demimos-2卫星数据以及对应的只有部分区域的类标groundtruth图。具体的，归一化操作具体为，采用min-max标准化，对原始数据进行线性变化，使结果值映射到0到1之间。具体的，使用自适应邻域选择策略进行取块具体为：s301、对多光谱图像使用slic超像素，得到超像素类标数据图；s302、计算每个超像素标记数据图中每个超像素块的质心坐标；s303、计算超像素类标数据图每一点的梯度，若某一个点水平梯度或竖直梯度为0，则该点为超像素图块边缘点并保存像素点坐标；s304、计算超像素标记图中每个slic超像素图块质心与边缘像素点的距离；s305、将边缘点像素坐标和当前超像素块质心坐标相连，以竖直方向为轴，得到角度α；s306、根据计算的得到的距离，计算边缘像素点改变的距离，得到改变后的边缘像素点坐标。进一步的，步骤s302中，超像素块质心坐标(xi,yi)为：其中，(xk,yk)是超像素块中像素点坐标，n代表超像素块中像素点个数。具体的，建立训练集，测试集和验证集具体为：s401、对每一幅多光谱影像进行边缘扩充操作，边缘填充的大小为滑窗操作所选窗口的边长的一半；s402、在归一化后的图像中找到有对应类标的像素点，以像素点为中心截取邻域为120×120的区域，然后将区域逆时针旋转角度α，再以像素点为中心截取大小为32×32的邻域作为样本块，每个块的邻域都是为中心点的分类所服务；s403、将四个数据集vancouverlevel1b、vancouverlevel1c、xi’ansuburbarea、xi’anurbanarea，分别进行训练样本，测试样本和验证样本的选取；s404、采用等比采样的方式选取不同类别的训练样本，每类选取20％个样本作为训练集，10％为测试集，剩余70％为验证集。具体的，全局通道交互注意力机制的残差神经网络的分类模型包括三部分，共有十八个层的残差神经网络，第一部分是卷积层，第二部分是由8个残差元堆叠的中间层，每个残差元有两个卷积层，总共16个卷积层，第三部分是全连接层，将第17层的网络输出进行全局平均池化，再连接上一个输出为8的全连接层，然后使用sigmoid函数得到最后的分类结果。进一步的，通道每层的参数如下：初始输入为大小32*32的ms图块，第1层为卷积层，输入尺寸为32*32，输出尺寸为32*32，卷积核个数为16，卷积核大小为5*5，步长为1；第2至5层为2个残差元堆叠构成；输入尺寸为32*32，输出尺寸为16*16，卷积核个数为32，卷积核大小为3*3，步长1，第二个残差元步长为2，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值；第6至9层为2个残差元堆叠构成；输入尺寸为16*16，输出尺寸为8*8，卷积核个数为64，卷积核大小为3*3，步长为1，第二个残差元步长为2，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值；第10至13层为2个残差元堆叠构成；输入尺寸为8*8，输出尺寸为4*4，卷积核个数为128，卷积核大小为3*3，步长为1，第二个残差元步长为2，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值；第14至17层为2个残差元堆叠构成；输入尺寸为4*4，输出尺寸为2*2，卷积核个数为256，卷积核大小为3*3，步长为1，第二个残差元步长为2，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值，全局池化输出，输入为2*2*256，输出为256；第18层为全连接层，输入为256，输出为8；残差元结构如下：第一步是卷积层，卷积核大小为3*3，步长为1；第二步是使用relu的激活函数；第三步是卷积层，卷积核大小为3*3，步长为1或2；第四步是将第三步卷积层的输出与第一步的输入相加，当步长为2时，先将第一步输入进行zeropadding调整尺寸，再相加；第五步是使用relu的激活函数。具体的，使用验证集实时验证网络分类精度具体为：用训练数据集对分类模型进行训练，通过输入训练数据集得到网络得分类结果后，与地面实况图上所对应的真实类标作对比，计算所得的损失函数并根据损失函数使用随机梯度下降法进行反向传播，优化分类模型的网络参数，每训练50代后利用验证数据集实时验证网络分类精度，最后得到训练好的分类模型。具体的，对测试数据集进行分类具体为：将测试数据集的样本块作为训练好的分类模型输入，训练好的分类模型输出为测试数据集中每个像素点进行分类得到的分类类别。与现有技术相比，本发明至少具有以下有益效果：本发明一种残差网络多光谱图像地物分类方法，从数据集中读入多光谱影像；得到图像矩阵后，对数据进行归一化操作；对样本进行超像素，使用自适应邻域选择策略对每一个像素点取块建立数据集，分出训练集，测试集和验证集；构造基于全局通道交互注意力机制的残差网络的分类模型；用训练数据集对分类模型进行训练，验证集进行实时验证网络分类准确率；利用训练好的分类模型对测试数据集分类。进一步的，通过对样本进行自适应邻域选择，使得相邻的具有相似信息的但属于不同类别的像素点会自适应的选择更符合自身类别的邻域信息，这使得样本更具有辨别性，网络能提取出特异性更强，更具有类别代表性的特征，进而提高多光谱图像地物分类的准确率。进一步的，将数据集按类别以比例选取出20％作为训练集、10％作为验证集和70％作为测试集；训练集作为网络训练样本，按网络设定训练次数，循环输入进网络中，并且根据训练结果与标签进行比较通过损失函数得到训练损失(loss)，根据损失用反向传播算法(bp)更新网络参数，同时每训练一定次数，网络随机输入验证数据集中某些图块，正向传播得到训练损失，并且与标签进行比较得到训练分类准确率，了解网络实时状况，但不进行反向传播更新参数，保证网络没有得到额外的训练样本参与；训练完成之后，将测试数据集整体输入进网络，得到网络对测试数据集的分类结果，并且因为提前分离样本，保证测试数据没有参与到网络训练的过程中，确保最后分类结果的准确性。进一步的，网络主体使用残差网络，残差网络在分类任务上，因为浅层特征与深层特征的直接相连相加，可以反向传播(bp)过程中，让梯度信息在网络中的完整的流动，这样更利于网络参数的更新；并且在特征通道之间，全局通道交互注意力机制能根据每个特征图，结合与其全部通道中最与之相关的n个特征通道，并且使用卷积的方式，自适应迭代参数提取出相关的特征信息，最后通过sigmoid得到特征通道间的权重分布，加强网络中对分类有帮助的特征通道，抑制对分类没有帮助的特征通道。进一步的，通过使用验证数据集，能实时得到网络反馈，验证网络在未知数据上的分类表现，从而判断网络是否存在过拟合等现象。综上所述，本发明采用了全局通道交互注意力机制，在网络训练的过程中，不断地加强对分类有帮助的特征通道，抑制对分类无用的特征通道，这与普通的卷积神经网络相比鲁棒性更强，稳定性更高，大大提高了分类精度。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。附图说明图1为本发明的实现流程图；图2为本发明的自适应邻域选择示意图；图3为采用本发明方法的分类结果图。具体实施方式本发明提供了一种残差网络多光谱图像地物分类方法，从数据集中读入多光谱图像；对数据进行归一化操作；对多光谱图像进行slic超像素，对图像中的边缘像素点使用自适应邻域选择策略进行取块建立数据集，建立训练集，验证集和测试集；构造基于全局通道交互注意力机制的残差网络的分类模型；用训练数据集对分类模型进行训练，同时使用验证集实时验证网络分类精度；最后利用训练好的分类模型对测试数据集分类。本发明引入自适应像素邻域选择，得到更具有辨别性的样本块，并且利用全局交互注意力机制对网络特征通道进行权重调整，加强网络鲁棒性，大大提高了分类精度。请参阅图1，本发明一种残差网络多光谱图像地物分类方法，包括以下步骤：s1、从数据集中读入多光谱影像，其中包括quickbird卫星数据、demimos-2卫星数据以及对应的只有部分区域的类标groundtruth图，这两个传感器卫星数据图和groundtruth图对应的是同一个城市的地物，且对应位置也已配准。将数据集包含有的vancouverlevel1b、vancouverlevel1c、xi’ansuburbarea、xi’anurbanarea等四个数据集和与之对应的groundtruth类标图。s2、数据归一化分别对quickbird卫星数据、demimos-2卫星数据图像进行归一化处理。采用min-max标准化，对原始数据进行线性变化，使结果值映射到0到1之间。转换函数如下：由于各个城市像素值分布差异较大，为了使不同城市同一类别的像素值处于同一数量级且相对关系不变，因此对每个波段进行归一化处理。综合考虑所有城市所有时段同一波段的图像数据，观察每个波段像素值的分布，发现存在极少部分像素值很大或者很小的像素点，将这些像素点归一化后的值赋为0或1，然后根据大部分像素值的分布情况确定用于归一化的最大值和最小值。经过归一化处理后，图像矩阵中的所有像素点的像素值被归一化到[0，1]之间。s3、使用自适应选择邻域策略建立数据集s301、对多光谱图像使用slic超像素，得到超像素类标数据图；s302、计算每个超像素标记数据图中每个超像素块的质心坐标；其中，(xi,yi)是超像素块质心坐标，(xk,yk)是超像素块中像素点坐标，n代表超像素块中像素点个数；s303、按梯度公式计算超像素类标数据图每一点的梯度，若某一个点水平梯度或竖直梯度为0，则该点为超像素图块边缘点并保存像素点坐标：其中，水平方向两点类标差值，竖直方向两点类标差值，s304、计算超像素标记图中每个slic超像素图块质心与边缘像素点的距离：其中，di第i点和质心的距离，(x,y)为质心点坐标，(xi,yi)是第i个边缘像素点坐标；s305、将边缘点像素坐标和当前超像素块质心坐标相连，以竖直方向为轴，得到角度α；s306、根据计算的得到的距离，计算边缘像素点改变的距离，得到改变后的边缘像素点坐标：其中，为改变后的点坐标，(xi,yi)是边缘像素点坐标，s是设定的超像素块尺寸大小，α是像素点与质心的角度；s4、建立训练集，测试集和验证集。s401、对每一幅多光谱影像进行边缘扩充操作。由于采用的是逐像素滑窗操作选取样本块，为了使原始图像的边缘点也能进行滑窗操作，所以这里边缘填充的大小为滑窗操作所选窗口的边长的一半；s402、在归一化后的图像中找到有对应类标的像素点，以像素点为中心截取邻域为120×120的区域，然后将区域逆时针旋转角度α(根据步骤s306计算得出)，再以像素点为中心截取大小为32×32的邻域作为样本块，每个块的邻域都是为中心点的分类所服务；s403、将四个数据集vancouverlevel1b、vancouverlevel1c、xi’ansuburbarea、xi’anurbanarea，分别进行训练样本，测试样本和验证样本的选取；s404、由于存在类别不平衡的问题，所以采用等比采样的方式选取不同类别的训练样本。按照等比取点的方式，每类选取20％个样本作为训练集，10％为测试集，剩余70％为验证集；s5、构造全局通道交互注意力机制的残差神经网络的分类模型。s501、网络分为三部分，共有十八个层的残差神经网络，第一部分是一个卷积核个数为16，卷积核大小为5*5，步长为1的卷积层，第二部分是由8个残差元堆叠的中间层，每个残差元有两个卷积层，总共16个卷积层，第三部分是全连接层，将第17层的网络输出进行全局平均池化(globalaveragepooling)，再连接上一个输出为8的全连接层，然后使用sigmoid函数得到最后的分类结果，如图3所示；s502、在网络的第二部分，即残差元堆叠部分，每层网络会输出一个大小为b×n×h×w的特征图(featuremap)，对其进行全局平均池化(globalaveragepooling)，得到一个大小b×n×1×1特征向量；其中，ni,j是一个n×n的矩阵，循环b次，得到一个大小为b×n×n的相关矩阵；s503、其中n×n矩阵的第i行中最小的5个元素，代表着与xi最相关的5个通道，从b×n×1×1大小的特征向量提取这5个相关通道的值，循环b×n次得到一个大小为b×5n×1×1的特征向量；s504、将上述结果作为输入，输入到卷积核尺寸为5，卷积核步长为5的卷积层中，得到一个b×n×1×1输出，再经过一个sigmoid函数，得到b×n大小且输出值分布为[0,1]的通道注意力权重(attentionmap)；s505、将通道注意力权重与网络每一层输出的特征图相乘，通过注意力权重加强对分类有帮助的通道，抑制对分类没有帮助的通道；s506、通道每层的参数如下：初始输入为大小32*32的ms图块，第1层为卷积层，输入尺寸为32*32，输出尺寸为32*32，卷积核个数为16，卷积核大小为5*5，步长为1。第2至5层为2个残差元堆叠构成；输入尺寸为32*32，输出尺寸为16*16，卷积核个数为32，卷积核大小为3*3，步长1(第二个残差元步长为2)，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值；第6至9层为2个残差元堆叠构成；输入尺寸为16*16，输出尺寸为8*8，卷积核个数为64，卷积核大小为3*3，步长为1(第二个残差元步长为2)，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值；第10至13层为2个残差元堆叠构成；输入尺寸为8*8，输出尺寸为4*4，卷积核个数为128，卷积核大小为3*3，步长为1(第二个残差元步长为2)，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值；第14至17层为2个残差元堆叠构成；输入尺寸为4*4，输出尺寸为2*2，卷积核个数为256，卷积核大小为3*3，步长为1(第二个残差元步长为2)，每个卷积层后接一个全局通道交互注意力机制调整输出特征图的权重值，全局池化输出，输入为2*2*256，输出为256；第18层为全连接层，输入为256，输出为8；残差元结构如下：第一步是卷积层，卷积核大小为3*3，步长为1；第二步是使用relu的激活函数；第三步是卷积层，卷积核大小为3*3，步长为1(或2)；第四步是将第三步卷积层的输出与第一步的输入相加(步长为2时，先将第一步输入进行zeropadding调整尺寸，再相加)；第五步是使用relu的激活函数；s7、用训练数据集对分类模型进行训练，通过输入训练数据集得到网络得分类结果后，与地面实况图(groundtruth)上所对应的真实类标作对比，计算所得的损失函数并根据损失函数使用随机梯度下降法进行反向传播，来优化分类模型的网络参数，每训练50代后利用验证数据集实时验证网络分类精度，最后得到训练好的分类模型；s8、利用训练好的分类模型对测试数据集进行分类。将测试数据集的样本块作为训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。仿真条件：硬件平台为：intel(r)xeon(r)cpue5-2630，2.40ghz×16，内存为64g。软件平台为：pycharm。仿真内容与结果：本发明仿真实验的多光谱图像有2016年ieeegrss数据融合大赛数据集demimos-2卫星数据和实验室购买的quickbird卫星数据两个传感器卫星数据图，具体包括vancouverlevel1b、vancouverlevel1c、xi’ansuburbarea、xi’anurbanarea等4张多光谱图像，对于quickbird卫星数据中，xi’anurbanarea具有以2.44m的分辨率，图像大小为1650*1550*4个像素点，包含r，g，b，nir等4个多光谱带；demimos-2卫星数据vancouverlevel1b一共有3249*2928*4个像素点，包含r，g，b，nir等4个多光谱带。用本发明方法在上述仿真条件下进行实验，得到如图2的分类结果。本发明的仿真实验是将待分类的多光谱图像中的地物分为8类。表一是分别f1为采用残差网络方法(使用resnet18为分类网咯)、f2全局通道交互注意力机制的残差网络方法、f3采用基于自适应邻域选择的全局通道交互注意力机制的残差网络方法对多光谱影像中地物分类准确率的统计。表1.三种方法在仿真中得到的分类正确率仿真算法分类正确率(％)f195.19f296.32f399.13从表1中可以看出，用本发明方法相比于其他两种方法，在分类精度上有了较大的提高，这主要是因为对样本邻域进行自适应选择，得到有辨别性的邻域信息；并且利用全局通道交互注意力机制加强对分类有帮助的特征通道，抑制对分类没用的特征通道，使得网络有效且更具有鲁棒性，得到更高的分类准确率。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。当前第1页12