一种基于深度加强网络的遥感图像去噪方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于深度加强网络的遥感图像去噪方法。


背景技术：

2.去噪是应用遥感图像与高层视觉应用的一个重要的预处理步骤，对通过观察去噪后更为清晰的遥感图像可实现更为直观容易的地物情况观察，如遥感图像的小尺寸目标检测（路上上的车辆和海面上的船舶）。传统的图像去噪算法往往容易存在去噪结果图像中边缘轮廓及细节纹理较为模糊、算法执行运算效率低实时性不高等问题。基于深度学习的遥感图像去噪方法近些年来取得了较为突出的表现。这些方法在搭建网络时，往往采用了带有“最大池化-线性插值”的下采样和上采样操作，这样的操作使得在提取图像特征时存在信息丢失的问题。此外，这些方法在图像细节保留上也存在着较大的提升空间。
3.目前已有结合小波变换的深度学习遥感图像去噪方法，然而，其应用策略并非有机的全面结合，而是简单的小波变换-深度网络-小波逆变换的顺序，这样的结合策略未能充分发挥两者各自的优势。而本发明则将小波变换整合为深度网络中的一个处理层，进而可全面应用于深度网络中的全过程。最终有效提升对于遥感图像的去噪表现。总的，未见一种基于结合小波卷积的深度加强网络的遥感图像去噪方法。


技术实现要素：

4.本发明的目的在于克服上述一种或多种现有的技术问题，提供一种基于深度加强网络的遥感图像去噪方法。
5.为实现上述目的，本发明提供的一种基于深度加强网络的遥感图像去噪方法，包括：获取有噪声遥感图像；根据深度加强网络得到残差噪声图像；将所述残差噪声图像输入至遥感图像去噪网络，得到无噪声遥感图像。
6.根据本发明的一个方面，所述根据深度加强网络得到残差噪声图像的方法为：所述深度加强网络包含输入模块、编码器、解码器和输出模块，将所述有噪声遥感图像依次输入至所述输入模块、所述编码器、所述解码器和所述输出模块得到所述残差噪声图像，其中，将所述有噪声遥感图像输入至所述输入模块的公式为， ；；其中，表示输入模块；表示通过输入模块后的输出；表示有噪声遥感图像；
表示输入模块中的卷积单元；表示输入模块中的整流线性激活单元。
7.根据本发明的一个方面，将通过所述输入模块的输出依次输入至所述编码器中，其中公式为，；；；其中，表示通过第一个编码器的输出；表示通过第二个编码器的输出；表示通过第三个编码器的输出；表示第一个编码器；表示第二个编码器；表示第三个编码器。
8.根据本发明的一个方面，将通过第三个所述编码器的输出输入至第一个所述解码器中，其中公式为，；其中，表示通过第一个解码器的输出；表示第一个解码器；叠加通过第二个所述编码器的输出和通过第一个所述解码器的输出，将叠加结果作为第二个所述解码器的输入，其中公式为，；其中，表示通过第一个解码器的输出；表示第二个解码器；表示通道层面的叠加；叠加通过第一个所述编码器的输出和通过第二个所述解码器的输出，将叠加结果作为第三个所述解码器的输入，其中公式为，；其中，其中，表示通过第三个解码器的输出；表示第三个解码器；表示通道层面的叠加。
9.根据本发明的一个方面，叠加通过所述输入模块的输出和通过第三个所述解码器的输出，将叠加结果作为所述输出模块的输入，其中公式为，；；其中，表示通道层面的叠加；
表示残差噪声图像；表示输出模块；表示输出模块中的卷积单元；表示输出模块中的整流线性激活单元。
10.根据本发明的一个方面，使用所述编码器的方法为：所述编码器包含小波卷积模块、感受野提升模块和密集注意力模块，将通过所述输入模块的输出输入至所述编码器中并且依次通过所述小波卷积模块、所述感受野提升模块和所述密集注意力模块后，得到通过所述编码器的输出，其中，输入至所述小波卷积模块的公式为，；其中，表示通过小波卷积模块后的输出；表示卷积单元；表示整流线性激活单元；表示离散小波变换；表示批规范化层；将通过所述小波卷积模块后得到的输出输入至所述感受野提升模块中，其中公式为，；其中，表示对应元素相加；表示扩张卷积；表示整流线性激活单元；表示卷积单元；表示通过感受野提升模块后的输出；表示批规范化层；将通过所述感受野提升模块后得到的输出输入至所述密集注意力模块中，其中公式为，；其中，表示通过密集注意力模块后的输出；表示通道层面的叠加；表示扩张卷积；表示批规范化层；表示整流线性激活单元；表示卷积单元；
将通过所述密集注意力模块后得到的输出进行卷积计算和sigmoid激活处理得到权重值，其中，公式为，；其中，表示权重值；表示激活函数；表示卷积单元；表示批规范化层；表示整流线性激活单元；表示两个对应元素相乘；使用所述权重值对通过所述感受野提升模块后的输出进行优化，得到所述编码器的输出，其中公式为，；其中，表示对应元素相加。
11.根据本发明的一个方面，使用平均绝对误差和平均平方误差对所述遥感图像去噪网络进行训练，其中公式为，；其中，表示两个特征之间的对应元素相减；表示有噪声遥感图像；表示无噪标签图像；表示真实标签残差噪声；表示遥感图像去噪网络；表示遥感图像去噪网络预测的残差噪声；表示平均绝对误差；表示平均平方误差；表示整体损失函数。
12.为实现上述目的，本发明提供一种基于深度加强网络的遥感图像去噪系统，包括：有噪声遥感图像获取模块：获取有噪声遥感图像；残差噪声图像获取模块：根据深度加强网络得到残差噪声图像；无噪声遥感图像获取模块：将所述残差噪声图像输入至遥感图像去噪网络，得到无噪声遥感图像。
13.为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对一种基于深度加强网络的遥感图像去噪方法。
14.为实现上述目的，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述针对一种基于深度加强网络的遥感图像去噪方法。
15.基于此，本发明的有益效果在于：本发明为实现遥感图像的去噪，设计了一种基于小波卷积的深度加强网络，与现有的将小波变换和深度学习结合进行遥感图像去噪方法的不同，本发明将小波变换和逆小波变换作为深度网络的两类处理层，应用于深度网络特征提取的全过程，一方面通过小波变换对遥感图像不同尺度的频率进行分解，兼顾高频部分和低频部分的特征提取，此外，为了发挥深度网络对于小波变换得到的特征提取能力，引入了感受野提升模块和密集注意力模块，最终，可实现对于遥感图像中噪声的有效去除和细节特征的有效保留。
附图说明
16.图1示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的流程图；图2示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的整体骨架结构图；图3示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的编码器的流程图；图4示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的解码器的流程图；图5示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪系统的流程图。
具体实施方式
17.现在将参照示例性实施例来论述本发明的内容，应当理解，论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
18.如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”，术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
19.图1示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的流程图，如图1所示，本发明的一种基于深度加强网络的遥感图像去噪方法，包括：获取有噪声遥感图像；根据深度加强网络得到残差噪声图像；将残差噪声图像输入至遥感图像去噪网络，得到无噪声遥感图像。
20.根据本发明的一个实施方式，图2示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的整体骨架结构图，如图2所示，根据深度加强网络得到残差噪声图像的方法为：深度加强网络包含输入模块、编码器、解码器和输出模块，将有噪声遥感图像依次输入至输入模块、编码器、解码器和输出模块得到残差噪声图像，其中，将有噪声遥感图像输入至输入模块的公式为， ；
；其中，表示输入模块；表示通过输入模块后的输出；表示有噪声遥感图像；表示输入模块中的卷积单元；表示输入模块中的整流线性激活单元。
21.根据本发明的一个实施方式，图3示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的编码器的流程图，如图3所示，将通过输入模块的输出依次输入至编码器中，其中公式为，；；；其中，表示通过第一个编码器的输出；表示通过第二个编码器的输出；表示通过第三个编码器的输出；表示第一个编码器；表示第二个编码器；表示第三个编码器。
22.根据本发明的一个实施方式，图4示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的解码器的流程图，如图4所示，将通过第三个编码器的输出输入至第一个解码器中，其中公式为，；其中，表示通过第一个解码器的输出；表示第一个解码器；叠加通过第二个编码器的输出和通过第一个解码器的输出，将叠加结果作为第二个解码器的输入，其中公式为，；其中，表示通过第一个解码器的输出；表示第二个解码器；表示通道层面的叠加；叠加通过第一个编码器的输出和通过第二个解码器的输出，将叠加结果作为第三个解码器的输入，其中公式为，；其中，其中，表示通过第三个解码器的输出；
表示第三个解码器；表示通道层面的叠加。
23.根据本发明的一个实施方式，叠加通过输入模块的输出和通过第三个解码器的输出，将叠加结果作为输出模块的输入，其中公式为，；；其中，表示通道层面的叠加；表示残差噪声图像；表示输出模块；表示输出模块中的卷积单元；表示输出模块中的整流线性激活单元。
24.根据本发明的一个实施方式，使用编码器的方法为：编码器包含小波卷积模块、感受野提升模块和密集注意力模块，将通过输入模块的输出输入至编码器中并且依次通过小波卷积模块、感受野提升模块和密集注意力模块后，得到通过编码器的输出，其中，输入至小波卷积模块的公式为，；其中，表示通过小波卷积模块后的输出；表示卷积单元；表示整流线性激活单元；表示离散小波变换；表示批规范化层；将通过小波卷积模块后得到的输出输入至感受野提升模块中，其中公式为，；其中，表示对应元素相加；表示扩张卷积；表示整流线性激活单元；表示卷积单元；表示通过感受野提升模块后的输出；表示批规范化层；将通过感受野提升模块后得到的输出输入至密集注意力模块中，其中公式为，；其中，表示通过密集注意力模块后的输出；
表示通道层面的叠加；表示扩张卷积；表示批规范化层；表示整流线性激活单元；表示卷积单元；将通过密集注意力模块后得到的输出进行卷积计算和sigmoid激活处理得到权重值，其中，公式为，；其中，表示权重值；表示激活函数；表示卷积单元；表示批规范化层；表示整流线性激活单元；表示两个对应元素相乘；使用权重值对通过感受野提升模块后的输出进行优化，得到编码器的输出，其中公式为，；其中，表示对应元素相加。
25.根据本发明的一个实施方式，使用平均绝对误差和平均平方误差对遥感图像去噪网络进行训练，其中公式为，；其中，表示两个特征之间的对应元素相减；表示有噪声遥感图像；表示无噪标签图像；表示真实标签残差噪声；表示遥感图像去噪网络；表示遥感图像去噪网络预测的残差噪声；表示平均绝对误差；表示平均平方误差；表示整体损失函数。
26.不仅如此，为实现上述发明目的，本发明还提供一种基于深度加强网络的遥感图像去噪系统，图5示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪系统的流程图，如图5所示，根据本发明的一种基于深度加强网络的遥感图像去噪系统，该系统包括：有噪声遥感图像获取模块：获取有噪声遥感图像；
残差噪声图像获取模块：根据深度加强网络得到残差噪声图像；无噪声遥感图像获取模块：将残差噪声图像输入至遥感图像去噪网络，得到无噪声遥感图像。
27.根据本发明的一个实施方式，图2示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的整体骨架结构图，如图2所示，根据深度加强网络得到残差噪声图像的方法为：深度加强网络包含输入模块、编码器、解码器和输出模块，将有噪声遥感图像依次输入至输入模块、编码器、解码器和输出模块得到残差噪声图像，其中，将有噪声遥感图像输入至输入模块的公式为， ；；其中，表示输入模块；表示通过输入模块后的输出；表示有噪声遥感图像；表示输入模块中的卷积单元；表示输入模块中的整流线性激活单元。
28.根据本发明的一个实施方式，图3示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的编码器的流程图，如图3所示，将通过输入模块的输出依次输入至编码器中，其中公式为，；；；其中，表示通过第一个编码器的输出；表示通过第二个编码器的输出；表示通过第三个编码器的输出；表示第一个编码器；表示第二个编码器；表示第三个编码器。
29.根据本发明的一个实施方式，图4示意性表示根据本发明的一种基于深度加强网络的遥感图像去噪方法的解码器的流程图，如图4所示，将通过第三个编码器的输出输入至第一个解码器中，其中公式为，；其中，表示通过第一个解码器的输出；表示第一个解码器；叠加通过第二个编码器的输出和通过第一个解码器的输出，将叠加结果作为第二个解码器的输入，其中公式为，
；其中，表示通过第一个解码器的输出；表示第二个解码器；表示通道层面的叠加；叠加通过第一个编码器的输出和通过第二个解码器的输出，将叠加结果作为第三个解码器的输入，其中公式为，；其中，其中，表示通过第三个解码器的输出；表示第三个解码器；表示通道层面的叠加。
30.根据本发明的一个实施方式，叠加通过输入模块的输出和通过第三个解码器的输出，将叠加结果作为输出模块的输入，其中公式为，；；其中，表示通道层面的叠加；表示残差噪声图像；表示输出模块；表示输出模块中的卷积单元；表示输出模块中的整流线性激活单元。
31.根据本发明的一个实施方式，使用编码器的方法为：编码器包含小波卷积模块、感受野提升模块和密集注意力模块，将通过输入模块的输出输入至编码器中并且依次通过小波卷积模块、感受野提升模块和密集注意力模块后，得到通过编码器的输出，其中，输入至小波卷积模块的公式为，；其中，表示通过小波卷积模块后的输出；表示卷积单元；表示整流线性激活单元；表示离散小波变换；表示批规范化层；将通过小波卷积模块后得到的输出输入至感受野提升模块中，其中公式为，；其中，表示对应元素相加；表示扩张卷积；
表示整流线性激活单元；表示卷积单元；表示通过感受野提升模块后的输出；表示批规范化层；将通过感受野提升模块后得到的输出输入至密集注意力模块中，其中公式为，；其中，表示通过密集注意力模块后的输出；表示通道层面的叠加；表示扩张卷积；表示批规范化层；表示整流线性激活单元；表示卷积单元；将通过密集注意力模块后得到的输出进行卷积计算和sigmoid激活处理得到权重值，其中，公式为，；其中，表示权重值；表示激活函数；表示卷积单元；表示批规范化层；表示整流线性激活单元；表示两个对应元素相乘；使用权重值对通过感受野提升模块后的输出进行优化，得到编码器的输出，其中公式为，；其中，表示对应元素相加。
32.根据本发明的一个实施方式，使用平均绝对误差和平均平方误差对遥感图像去噪网络进行训练，其中公式为，；其中，表示两个特征之间的对应元素相减；表示有噪声遥感图像；表示无噪标签图像；表示真实标签残差噪声；表示遥感图像去噪网络；
表示遥感图像去噪网络预测的残差噪声；表示平均绝对误差；表示平均平方误差；表示整体损失函数。
33.为实现上述发明目的，本发明还提供一种电子设备，该电子设备包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述一种基于深度加强网络的遥感图像去噪方法。
34.为实现上述发明目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述一种基于深度加强网络的遥感图像去噪方法。
35.基于此，本发明的有益效果在于，本发明为实现遥感图像的去噪，设计了一种基于小波卷积的深度加强网络，与现有的将小波变换和深度学习结合进行遥感图像去噪方法的不同，本发明将小波变换和逆小波变换作为深度网络的两类处理层，应用于深度网络特征提取的全过程，一方面通过小波变换对遥感图像不同尺度的频率进行分解，兼顾高频部分和低频部分的特征提取，此外，为了发挥深度网络对于小波变换得到的特征提取能力，引入了感受野提升模块和密集注意力模块，最终，可实现对于遥感图像中噪声的有效去除和细节特征的有效保留。
36.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
37.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
38.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
39.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
40.另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
41.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
42.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
43.应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。