图像重建模型的训练方法、图像重建方法、装置及设备

本说明书实施例涉及图像处理，尤其涉及一种图像重建模型的训练方法、图像重建方法、装置及设备。

背景技术：

1、目前油气输送管线承担着重要的任务，油气输送途中往往需要经过地理条件复杂的地形，给油气管道的安全检测带了困难，使得巡检和检测工作难以覆盖所有区域，地形复杂性还可能导致管道易受到地震、山体滑坡等地质灾害的影响。因此目前油气传输领域将卫星遥感技术应用至管道安全检测中。但由于卫星与地面的距离过远，通过卫星拍摄到的影像器分辨率难以支撑图像的不断放大，从而导致近景图像的内容模糊，图像质量低下。

2、针对上述问题，目前可以通过配合图像重建技术来提高卫星影像的分辨率。目前常用的遥感图像超分辨率重建方法有基于插值的方法、基于边缘的方法、基于统计的方法、基于稀疏表示的方法以及基于深度学习的方法，基于插值的方法通过对低分辨率图像进行插值来增加图像的分辨率，这种方法的优点是计算简单，但往往会引入图像模糊和伪细节。基于边缘的方法利用图像中的边缘信息来进行超分辨率重建，但对于平滑区域效果较差。

3、卷积神经网络(cnn)是一种深度学习模型。cnn的核心思想是利用卷积操作来提取输入数据的特征，并通过层层堆叠的神经网络结构进行特征的组合和抽象。它在处理图像等数据时具有卷积层、激活函数、池化层、全连接层、dropout层几个关键组成。cnn的训练过程通常使用反向传播算法进行参数的优化。通过将输入数据和真实标签进行比较，利用损失函数来度量模型的预测误差，然后通过反向传播计算梯度并更新网络中的权重参数。但将cnn应用于对卫星遥感图像的超分辨率重建中却不适用，具体存在如下问题：

4、1、数据稀缺性：遥感图像的获取和标注成本较高，导致训练数据的稀缺性。普通的cnn在训练过程中需要大量的标记数据来学习图像特征，但在遥感图像超分辨率中，可用的高分辨率遥感图像较少，这导致了数据稀缺的问题，影响了模型的泛化能力和性能。

5、2、边缘保持问题：遥感图像通常包含丰富的边缘信息，而普通的cnn在进行卷积和池化操作时可能会造成边缘的模糊或失真。由于卷积操作和池化操作的局部性质，边缘信息容易受到模糊化的影响，导致重建的高分辨率图像边缘不清晰或有损失。

6、3、尺度变换问题：遥感图像的超分辨率重建涉及到尺度变换，即从低分辨率图像重建到高分辨率图像。然而，普通的cnn模型在设计时通常基于固定的输入和输出尺寸进行训练，不太适应尺度变换任务。这可能导致模型在处理尺度变换问题时效果不佳。

7、4、学习复杂纹理和细节问题：遥感图像中存在丰富的复杂纹理和细节信息，这对模型的学习能力提出了较高的要求。普通的cnn可能在处理复杂纹理和细节方面存在一定的限制，导致重建的高分辨率图像缺乏一些细节信息或出现伪影。

8、生成对抗网络(gan)是一种深度学习模型，由生成器和判别器两个主要组件构成。生成器的作用是将随机噪声作为输入，并将其映射为与真实样本类似的数据样本。它通常采用深度卷积神经网络或递归神经网络等结构，通过多层的神经网络层来逐渐生成更真实的数据样本。判别器的作用是将输入的数据样本进行分类，判断其是否为真实样本或生成器生成的样本。它也通常采用深度卷积神经网络等结构，通过学习对真实样本和生成样本进行区分，提供关于样本真实性的反馈信号。

9、gan的训练过程是通过生成器和判别器之间的对抗学习来实现的。在训练过程中，生成器和判别器相互竞争，不断优化自身的表现。生成器通过最小化判别器对生成样本的判别误差来提高生成样本的质量，而判别器通过最大化对真实样本和生成样本的判别能力来提高自身的准确性。

10、但gan训练不稳定，训练过程相对复杂，涉及到生成器和判别器之间的动态平衡。在训练中，生成器和判别器之间可能出现不稳定的竞争和博弈，导致训练过程难以收敛或产生不理想的结果。需要仔细调整超参数和网络结构来取得良好的训练效果。在某些情况下，生成器可能会陷入模式崩溃的问题。模式崩溃指的是生成器只能生成有限的几个模式，而无法生成多样化和高质量的超分辨率图像。且通用的gan模型不能很好的适配中缅地区图像的超分辨率重建。

11、现在亟需一种图像超分辨率重建方法，从而解决通过现有图像超分辨率重建方法存在会引入图像模糊和伪细节、对于平滑区域效果较差、对于统计模型依赖性较强、模型的灵活性和适应性较差等问题。

技术实现思路

1、为解决现有技术中存在的问题，本说明书实施例提供了一种图像重建模型的训练方法、图像重建方法、装置及设备，建立一种非局部密集感受野生成对抗网络，提升油气输送管线遥感图像的分辨率，较好还原细节信息，大幅提升卫星遥感检测的精确度。

2、为了解决上述技术问题中的任意一种，本说明书实施例的具体技术方案如下：

3、一方面，本说明书实施例提供了一种图像重建模型的训练方法，包括，

4、将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由residualblock块与三个rrnl块串联而成的密集感受野网络以及rfb模块对所述全局特征进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；

5、将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；

6、根据所述训练图像、重建图像和判别结果计算损失值；

7、迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。

8、进一步地，通过由residualblock块与三个rrnl块串联而成的密集感受野网络以及rfb模块对所述全局特征进行局部特征提取，得到局部特征进一步包括：

9、将所述全局特征输入到residualblock块进行特征提取，得到第一特征；

10、将所述第一特征输入到三个串联的rrnl块进行特征提取，将最后一个rrnl块的输出结果作为第二特征；

11、将所述第二特征输入到rfb模块进行特征提取，得到所述局部特征。

12、进一步地，每个所述rrnl块由rrdb结构与non-local结构串接而成，所述rrdb结构由三个残差堆叠块串联组成；

13、任意一个所述rrnl块的计算步骤包括：

14、将所述rrnl块的输入值输入到三个串联的所述残差堆叠块进行特征提取；

15、将最后一个所述残差堆叠块输出的特征输入到non-local结构进行特征提取，将所述non-local结构提取到的特征作为所述rrnl块的输出值。

16、进一步地，将最后一个所述残差堆叠块输出的特征输入到non-local结构进行特征提取进一步包括：

17、将最后一个所述残差堆叠块输出的特征经过三个1×1的卷积层进行卷积计算，得到输入特征图；

18、将所述第一卷积结果分别输入到所述non-local结构的value分支、key分支和query分支中进行计算，其中所述value分支用于将所述输入特征图映射到值特征图，得到计算每个像素位置的特征值，所述key分支用于通过卷积操作将所述输入特征图映射到键特征图，得到每个像素位置的键特征，所述query分支用于通过卷积操作将所述输入特征图映射到查询特征图，得到每个像素位置的查询特征；

19、将所述query分支输出的所述查询特征和key分支的输出所述键特征相乘，并将乘积结果输入到所述non-local结构的softmax层进行归一化处理，得到所述输入特征图中一个像素位置与所述输入特征图中除该像素位置之外的其他像素位置之间的注意力地图；

20、将所述value分支输出的所述特征值与所述注意力地图相乘，得到所述non-local结构提取到的特征。

21、进一步地，所述rfb模块包括三个分支，第一分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3且rate为1的卷积层，第二分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3的卷积层和一个卷积核为3×3且rate为3的卷积层，第三分支包括一个卷积核为1×1的卷积层、一个卷积核为5×5的卷积层和一个卷积核为3×3且rate为5的卷积层；

22、将所述第二特征输入到rfb模块进行特征提取，得到所述局部特征进一步包括：

23、将所述第二特征分别输入到第一分支、第二分支和第三分支进行计算；

24、将所述第一分支、第二分支和第三分支的计算结果输入到concatenation层进行特征拼接与融合；

25、将所述第三分支中第一层的1×1的卷积层的输出和所述concatenation层特征拼接与融合的结果输入到relu激活函数层进行计算，得到所述局部特征。

26、进一步地，所述损失值包括生成器网络损失值和判别器网络损失值；

27、计算生成器网络损失值的公式为：

28、gloss＝min(λala+λplp+λili+λtvltv)

29、其中，gloss表示生成器网络损失值，λa、λp、λi、λtv均为常系数，la、lp、li、ltv分别为对抗损失、感知损失、图像均方误差损失和总变分损失；

30、计算判别器网络损失值的公式为：

31、dloss＝max(d(xreal)-1-d(xfake))

32、其中，dloss表示判别器网络损失值，max表示求最大值，d表示判别器网络，xreal表示训练图像，xfake＝g(z)，xfake表示生成器网络根据训练图像xreal构建的重建图像，g表示生成器网络，z表示噪声。

33、基于同一发明构思，本说明书实施例还提供了一种图像重建方法，包括：

34、接收待重建图像的真实图像；

35、将所述真实图像输入到图像重建模型中进行处理，得到重建图像，其中所述图像重建模型是利用上述所述的图像重建模型的训练方法得到的。

36、另一方面，本说明书实施例还提供了一种图像重建模型的训练装置，所述装置包括：

37、生成器网络训练单元，用于将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由residualblock块与三个rrnl块串联而成的密集感受野网络以及rfb模块对所述训练图像进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；

38、判别器网络训练单元，用于将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；

39、损失值计算单元，用于根据所述训练图像、重建图像和判别结果计算损失值；

40、迭代训练单元，用于迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。

41、基于同一发明构思，本说明书实施例还提供了一种图像重建装置，包括：

42、真实图像接收单元，用于接收待重建图像的真实图像；

43、图像重建单元，用于将所述真实图像输入到图像重建模型中进行处理，得到重建图像，其中所述图像重建模型是利用上述所述的图像重建模型的训练方法得到的。

44、最后，本说明书实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在存储器上的计算机程序，处理器执行所述计算机程序时实现上述的方法。

45、通过本说明书实施例的方法，可以将合成孔径雷达技术(synthetic apertureradar，sar)获取到的包含经纬度与高程的管线光学遥感图像作为训练图像，利用包括residualblock块与三个rrnl块串联而成的密集感受野网络提取管线光学遥感图像的图像深层特征，加入残差块(residualblock)是指在神经网络中引入跳跃连接，使网络可以学习残差映射。在图像超分辨率中，高分辨率图像的细节和低频信息之间存在相关性。通过引入残差块，网络可以更好地捕捉和保留这些信息。这有助于在超分辨率过程中减少信息丢失，使生成的高分辨率图像更加准确，细节更丰富。并引入rfb机制来模拟人类视觉的感受野从而加强密集感受野网络的局部特征提取能力，receptive field(感受野)是指一个神经元对输入图像中特定区域的感受野。receptive field block(rfb)模块扩大了神经网络中每个神经元的感受野，使其能够跨越更大的空间范围。在图像超分辨率中，增加感受野有助于网络捕捉更广泛的上下文信息，尤其是在恢复细节时。这有助于网络更好地理解图像的结构和纹理，从而提高超分辨率结果的质量。对管线光学遥感图像进行局部特征提取，使管线光学遥感图像的重建质量得到提升，并结合提取到的训练图像的全局特征对训练图像进行超分辨率重建，使得图像重建模型更容易捕获和识别油气管线等重要目标，可以更容易检测到管线的异常情况，如泄露、破损和腐蚀等，从而提高管线的安全性和监测效果，此外高分辨率的重建图像可以提供更详细的地理信息和地貌特征，有助于管线的规划和设计，使得管线规划和设计更加准确和可靠。