一种基于U-net改进算法的遥感影像变化检测方法及系统与流程

本发明涉及计算机视觉技术领域，特别是指一种基于u-net改进算法的遥感影像变化检测方法及系统。

背景技术：

遥感影像的变化检测工作是指针对同一区域，定量分析该区域不同时相的遥感影像，从而确定影像中地表的形态与特征，检测出不同时间该区域发生变化的部分与未变化部分。遥感影像变化检测在土地资源管制方向有着广泛作用，现广泛应用于检测违章搭建建筑、自然灾害评估以及城市建设规划等方向。

随着卫星技术的不断发展，现阶段遥感影像呈现出巡航周期短、数据量庞大等特点，使用人工对比分析来进行区域变化检测的方法已经无法满足需求。如何快速准确地从遥感影像中提取出相应区域的变化信息，是现阶段遥感影像应用领域的热点问题之一。

另一方面，随着近年来机器计算能力的快速发展和数据质量的普遍提升，深度学习成为了计算机机器学习领域的热门方向，同时在计算机视觉和自然语言处理等方向都取得了非常好的成绩。深度学习的原理是模拟生物神经网络，搭建出一个由相互连接的神经元组成的网络结构。当对网络输入图像、文本等数据时，该网络可通过各网络层之间协调工作，提取数据中深层次的特征进行分析，最终反馈数据的解释。

介于深度学习方法在计算机视觉的出色发挥，遥感影像变化检测也开始从传统的构造差分图像再进行阈值划分的方法，转向与深度学习算法结合，利用深度神经网络学习不同时相卫星影像中非线性的变化特征，并确定最终的变化检测结果。目前，深度学习思想为卫星影像处理提供了新的思路，基于深度学习的变化检测算法已经成为卫星影像变化检测领域新的热点。

现阶段主流的变化检测方法主要有两类：①面向像素的变化检测，其思路是以像素为基本单位，根据像素的光谱及领域特征对像素进行分析，将遥感影像的变化检测问题转变成目标变化与未变化的二分类问题。该方法以每个像素为单位进行运算，从而容易得到很多噪声信息，影响精度。②面向对象的变化检测，在以像素为单位的方法上做出改进，首先对多个像素进行聚类，使其组成一个对象，然后对该对象进行分类。进而对比不同时相影像的分类情况来获得检测结果。这类方法相比第一种方法画面较纯净同时噪声少，缺点是过于依赖对象地类的分类精度。

其中，一种方案是基于堆栈降噪自动编码器网络的变化检测。该方案属于面向像素的变化检测技术，首先对遥感影像进行领域特征提取，再将每个像素点的领域特征输入到堆栈降噪自动编码器中，然后逐层训练，并进行有监督微调，直到完成训练。在已有的变化检测技术中，选择合适的邻域范围，该方法可在降低噪声的基础上实现较好的变化检测效果。但该方法在实际应用中十分依赖邻域范围的选取，若选取不当容易出现误检漏检情况。同时网络结构相对简单，层数较少，所以虽然效果较之于传统方法更好，但是很难再有新的突破。

综上，现有的遥感影像变化检测的主流方法中，主要分为先分类再比较和先比较再分析两种，前者对应的是面向对象的变化检测，后者对应的是面向像素的变化检测。而现有的遥感影像变化检测方法都存在一些缺点。

其中，面向对象的变化检测方法可以将对象的纹理特征、形状特征、对象间邻域关系等信息作为变化检测的依据，但在对像素点进行集群之后对其进行分类，所以地类分类的精度极大程度地影响了变化检测的精度，所以也存在很严重的误差累积问题。同时该类方法对遥感影像的质量要求更高，尽可能满足不变的地类呈现相似的特征而变化的地类呈现不同的特征。面向像素的变化检测方法面临的问题则是处理结果噪声较多，且过度依赖于阈值选择。

技术实现要素：

本发明要解决的技术问题是提供一种基于u-net改进算法的遥感影像变化检测方法及系统，以解决现有变化检测方法存在的检测精度不高，抗噪声性能较差等问题，通过将语义分割网络运用于变化检测方向并进行改进，加深网络深度以提高算法精度，同时结合aspp提取多尺度上下文信息，从而提高遥感影像变化检测精度和抗噪声能力，同时在保证精度的情况下提高运算效率。

为解决上述技术问题，本发明提供一种基于u-net改进算法的遥感影像变化检测方法，所述基于u-net改进算法的遥感影像变化检测方法包括：

对待检测的遥感影像进行预处理，然后将预处理后的不同时相的遥感影像进行整合，得到输入图像；

基于改进的u-net网络，对所述输入图像进行下采样编码和上采样解码，完成对所述输入图像的分析处理；其中，所述改进的u-net网络在编码器部分采用resnet-101网络进行数据特征提取，并在编码器和解码器之间加入空洞空间金字塔池化设计aspp，用于提取数据多尺度上下文信息；

基于对所述输入图像的分析处理结果，输出所述待检测的遥感影像是否发生变化的二值图像。

进一步地，所述对待检测的遥感影像进行预处理，包括：

对待检测的遥感影像进行增强操作，同时使用直方图匹配对不同时相的遥感影像进行处理；其中，所述增强操作包括翻转以及放大或缩小。

进一步地，所述将预处理后的不同时相的遥感影像进行整合，包括：

将预处理后的两个不同时相的遥感影像进行拼接，形成8+2通道的输入图像；其中8通道为两个时相的四通道图像，2通道为是否发生变化的标签通道。

进一步地，所述基于改进的u-net网络，对所述输入图像进行下采样编码和上采样解码，完成对所述输入图像的分析处理，包括：

利用resnet-101网络对所述输入图像进行下采样特征提取；

利用aspp对resnet-101网络提取到的特征信息进行特征编码；

对编码后的数据进行上采样，同时连接解码器部分进行尺度融合。

进一步地，resnet-101网络包括多个残差块，每个残差块包括三层卷积。

进一步地，所述aspp包括一个1*1卷积核和三个3*3卷积核，以及图像级的特征。

进一步地，所述改进的u-net网络中解码器部分损失函数如下：

其中，lt为标签准确的概率，pt为预测准确的概率，w为网络权重，loss损失函数的取值范围为[0,1)。

相应地，为解决上述技术问题，本发明还提供一种基于u-net改进算法的遥感影像变化检测系统，该基于u-net改进算法的遥感影像变化检测系统包括：

图像处理模块，用于对待检测的遥感影像进行预处理，然后将预处理后的不同时相的遥感影像进行整合，得到输入图像；

分析处理模块，用于基于改进的u-net网络，对所述输入图像进行下采样编码和上采样解码，完成对所述输入图像的分析处理；其中，所述改进的u-net网络的编码器采用resnet-101网络进行数据特征提取，并在编码器和解码器之间加入空洞空间金字塔池化设计aspp，用于提取数据多尺度上下文信息；

结果输出模块，用于基于对所述输入图像的分析处理结果，输出所述待检测的遥感影像是否发生变化的二值图像。

进一步地，所述图像处理模块，包括：

图像预处理单元，用于对待检测的遥感影像进行增强操作，同时使用直方图匹配对不同时相的遥感影像进行处理；其中，所述增强操作包括翻转以及放大或缩小；

图像整合单元，用于将预处理后的两个不同时相的遥感影像进行拼接，形成8+2通道的输入图像；其中8通道为两个时相的四通道图像，2通道为是否发生变化的标签通道。

进一步地，所述分析处理模块包括：

resnet-101网络单元，用于利用resnet-101网络对所述输入图像进行下采样特征提取；

aspp单元，用于利用aspp对所述resnet-101网络单元提取到的特征信息进行特征编码；

上采样解码单元，用于对编码后的数据进行上采样，同时连接解码器部分进行尺度融合。

本发明的上述技术方案的有益效果如下：

本发明将语义分割方向的网络结构运用于变化检测领域，并引入残差学习机制使得编码器可快速收敛且加深网络层数，加快特征提取速度并解决梯度消失和梯度爆炸问题；同时使用aspp加强网络对图像特征的感知能力，在保证算法精度的同时，较其他深度学习方法效率更高；使得算法在精度和效率上都能保持在较高水平，同时具有较高精度和较强的鲁棒性。本发明适用于遥感影像的变化检测领域，同时也可以推广到其他领域，具有重要意义。

附图说明

图1为本发明的基于u-net改进算法的遥感影像变化检测方法的流程图；

图2为本发明的遥感影像变化检测方法的网络结构图；

图3为resnet-101网络的网络结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

第一实施例

请参阅图1至图3，本实施例提供一种基于u-net改进算法的遥感影像变化检测方法，如图1所示，所述遥感影像变化检测方法包括：

s101，对待检测的遥感影像进行预处理，然后将预处理后的不同时相的遥感影像进行整合，得到输入图像；

需要说明的是，本实施例对待检测的遥感影像进行预处理的过程，包括：

对待检测的遥感影像进行增强操作，同时使用直方图匹配对不同时相的遥感影像进行处理；其中，增强操作包括翻转以及放大或缩小等操作。

将预处理后的不同时相的遥感影像进行整合的过程，包括：

将预处理后的两个不同时相的遥感影像进行拼接，形成8+2通道的输入图像；其中8通道为两个时相的四通道图像，2通道为是否发生变化的标签通道。也即，本实施例将不同时相的两张图像整合，形成了八通道的图像作为算法的输入。同时将标签进行one-hot编码处理，使其成为一个两通道的标签数据。

s102，基于改进的u-net网络，对所述输入图像进行下采样编码和上采样解码，完成对所述输入图像的分析处理；

需要说明的是，本实施例为克服现阶段堆栈降噪自动编码器网络网络结构简单、层次浅的问题，在保证效率的同时尽可能加深网络结构从而提高变化检测精度；本实施例对u-net网络进行改进，u-net网络框架可以结合现阶段多个网络的自身优势，从而搭建出深度合理，同时可以提取深层次特征的网络，u-net网络框架主要分为编码器和解码器部分，在编码器部分进行数据的特征提取，解码器对提取的特征进行分析处理。

本实施例对u-net网络进行改进，使其可适用于遥感影像变化检测问题中，在保证计算效率的同时有效提升遥感影像变化检测的精度，其结构如图2所示。

具体地，在分析了现有方法的不足之后，为了提高精度而选择加深网络层数，为避免因网络层数加深而产生的梯度消失和梯度爆炸问题，本实施例采用resnet-101网络替代u-net网络中的编码器部分，进行数据特征提取，resnet-101网络深度合理，引入残差学习的思想，可避免因为网络过深而导致的梯度爆炸或无法训练等问题，并可以极快地加速神经网络的训练。resnet-101网络是由多个残差块组成，其结构如图3所示，每个残差块由三层卷积组成。输入图像，完成卷积和relu运算，得到残差映射定义为：

f(x,{wi})＝w2δ(w1xi)(1)

在等式(1)中，xi是残差块的输入向量，δ表示relu运算，wi是匹配尺寸的连接矩阵。同时，输入图片到块连接中，以获得身份映射wsxi。再输入剩余的映射和身份映射到元素加法并获取剩余块定义为：

xi+1＝f(x,{wi})+wsxi(2)

在等式(2)中，当xi和f尺寸不一致时，使用ws来匹配，其中f(x,{wi})可代表多个卷积层。

同时考虑到各像素邻域信息对变化检测有很大影响，本实施例在编码器和解码器之间加入空洞卷积的空间金字塔池化设计(aspp)，用于提取数据多尺度上下文信息，其中aspp可解决由dcnns引起的分辨率降低的问题，并且不会增加新的学习参数，在扩大感受野的同时减少细节信息的丢失。其中，aspp包括一个1*1卷积核和三个3*3卷积核，以及图像级的特征。其中三个3*3卷积核的膨胀系数分别为6、12和18。

在本实施例中，解码器部分损失函数如下：

在等式(3)中，lt为标签准确的概率，pt为预测准确的概率，w是网络权重。loss损失函数的取值范围为[0,1)。

本实施例的u-net改进网络在编码器部分深度适宜，可以准确地提取出输入图像的特征，而且具有很强的抗噪能力，能很大程度避免面向像素的变化检测噪声信息较多的情况。并且解码器采用空洞空间金字塔池化(aspp，atrousspatialpyramidpooling)用于提取多尺度上下文信息。在解码器其余部分采用结构简单的u-net网络。该算法在具有较强的鲁棒性，所以本实施例的方案不仅可以在变化检测中取得较好的效果，而且具有较高的效率。

基于上述，在本实施例中，上述s102具体包括以下步骤：

利用resnet-101网络对所述输入图像进行下采样特征提取；

利用aspp对resnet-101网络提取到的特征信息进行特征编码；

对编码后的数据进行上采样，同时连接解码器部分进行尺度融合；此处连接解码器的方式为跳跃连接；

s103，基于对所述输入图像的分析处理结果，输出所述待检测的遥感影像是否发生变化的二值图像。

需要说明的是，在本实施例中，上述s103的输出具体为一张带0-1标签的图像，以标明待检测的遥感影像是否发生变化，完成遥感影像的变化检测。

本实施例将语义分割方向的网络结构运用于变化检测领域，并引入残差学习机制使得编码器可快速收敛且加深网络层数，加快特征提取速度并解决梯度消失和梯度爆炸问题；同时使用aspp加强网络对图像特征的感知能力，在保证算法精度的同时，较其他深度学习方法效率更高；使得算法在精度和效率上都能保持在较高水平，同时具有较高精度和较强的鲁棒性。本发明适用于遥感影像的变化检测领域，同时也可以推广到其他领域，具有重要意义。

第二实施例

本实施例提供一种基于u-net改进算法的遥感影像变化检测系统，该基于u-net改进算法的遥感影像变化检测系统包括：

图像处理模块，用于对待检测的遥感影像进行预处理，然后将预处理后的不同时相的遥感影像进行整合，得到输入图像；

分析处理模块，用于基于改进的u-net网络，对输入图像进行下采样编码和上采样解码，完成对输入图像的分析处理；其中，改进的u-net网络的编码器采用resnet-101网络进行数据特征提取，并在编码器和解码器之间加入空洞空间金字塔池化设计aspp，用于提取数据多尺度上下文信息；

结果输出模块，用于基于对输入图像的分析处理结果，输出待检测的遥感影像是否发生变化的二值图像。

进一步地，上述图像处理模块，包括：

图像预处理单元，用于对待检测的遥感影像进行翻转、放大缩小等增强操作，同时使用直方图匹配对不同时相的遥感影像进行处理；

图像整合单元，用于将预处理后的两个不同时相的遥感影像进行拼接，形成8+2通道的输入图像；其中8通道为两个时相的四通道图像，2通道为是否发生变化的标签通道。

进一步地，上述分析处理模块包括：

resnet-101网络单元，用于利用resnet-101网络对输入图像进行下采样特征提取；

aspp单元，用于利用aspp对resnet-101网络单元提取到的特征信息进行特征编码；

上采样解码单元，用于对编码后的数据进行上采样，同时连接解码器部分进行尺度融合。

本实施例的基于u-net改进算法的遥感影像变化检测系统与上述第一实施例的基于u-net改进算法的遥感影像变化检测方法相对应；其中，该基于u-net改进算法的遥感影像变化检测系统中的各功能模块所实现的功能与上述第一实施例中的基于u-net改进算法的遥感影像变化检测方法中的各流程步骤一一对应；故，在此不再赘述。

此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，尽管已描述了本发明的优选实施例，但对于本技术领域的普通技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围；也即，本发明所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。