基于掩码图像建模的遥感图像道路提取方法、装置及设备

本申请涉及数据处理，特别是涉及一种基于掩码图像建模的遥感图像道路提取方法、装置及设备。

背景技术：

1、遥感图像道路提取是从遥感影像中自动提取出道路的过程，它是遥感图像处理的重要应用之一。由于道路的形状又细又长，路边的物体，比如植被和建筑物，会在遥感图像中造成遮挡，这些被遮挡的部分会对道路的检测、提取和分类造成影响，如图1所示，道路遮挡是广泛存在，针对的道路遮挡问题进行研究具有重要意义。现有技术中有些注意到了遮挡问题，并试图通过注意力机制、中心线检测或上下文信息来解决这个问题。

2、然而，通过注意力机制进行道路提取时，会因为过度关注某些局部区域从而导致道路的提取不完整或不准确。中心线检测虽然可以提高道路的精度，但由于中心线检测需要消耗大量的计算资源，对于大规模的遥感图像数据处理会带来较高的时间和计算成本。上下文信息则可能受到遮挡和干扰，从而影响道路提取的精度。

3、因此，这些方法虽然有些提高了网络特征提取能力，有些利用了额外的信息进行处理，但是却没有考虑到通过提高网络不同区域的交互能力来对遮蔽区域的道路进行预测，从而提取完整的道路。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种增强不同区域交互能力，从而改进道路预测连通性，对遮蔽区域进行道路预测的基于掩码图像建模的遥感图像道路提取方法、装置及设备。

2、一种基于掩码图像建模的遥感图像道路提取方法，所述方法包括：

3、构建道路提取网络模型，所述道路提取网络模型包括骨干网络、图像重构模块及语义重构模块；

4、获取掩码图像，将所述掩码图像输入所述骨干网络进行特征提取，得到低级特征与高级特征；

5、将所述低级特征输入所述图像重构模块进行处理，得到图像预测；

6、将所述高级特征输入所述语义重构模块进行处理，得到道路预测；

7、根据预先构建的损失函数、所述图像预测及所述道路预测对所述道路提取网络模型进行一阶训练，得到预训练道路提取网络模型；

8、将带标签的遥感图像输入所述预训练道路提取网络模型进行二阶训练，得到训练好的道路提取网络模型；

9、通过训练好的道路提取网络模型对所述遥感图像中被遮蔽区域进行道路预测，完成道路提取。

10、在其中一个实施例中，获取掩码图像，包括：

11、获取训练集，所述训练集包括带标签的遥感图像及编码图像；

12、对所述带标签的遥感图像进行线性编码，得到图像线性编码向量；以及

13、对所述编码图像进行掩码操作，得到掩码区域线性向量与未掩码区域线性向量；

14、将所述图像线性编码向量与所述未掩码区域线性向量点乘后，与所述掩码区域线性向量进行特征叠加，得到掩码图像。

15、在其中一个实施例中，所述图像重构模块与所述语义重构模块均为线性层结构。

16、在其中一个实施例中，预先构建的损失函数包括标签损失函数、图像重构损失函数及语义重构损失函数。

17、在其中一个实施例中，所述标签损失函数表示为：

18、

19、其中，y表示道路标签，表示道路预测，lbce表示二值交叉熵损失函数；ldice表示dice损失。

20、在其中一个实施例中，所述图像重构损失函数表示为：

21、

22、其中，x表示带标签的遥感图像，表示图像预测，m表示编码图像。

23、在其中一个实施例中，所述语义重构损失函数表示为：

24、

25、其中，y表示道路标签，表示道路预测，lbce表示二值交叉熵损失函数；ldice表示dice损失，m表示编码图像。

26、基于掩码图像建模的遥感图像道路提取装置，所述装置包括：

27、网络模型构建模块，用于构建道路提取网络模型，所述道路提取网络模型包括骨干网络、图像重构模块及语义重构模块；

28、特征提取模块，用于获取掩码图像，将所述掩码图像输入所述骨干网络进行特征提取，得到低级特征与高级特征；

29、图像重构模块，用于将所述低级特征输入所述图像重构模块进行处理，得到图像预测；

30、语义重构模块，用于将所述高级特征输入所述语义重构模块进行处理，得到道路预测；

31、一阶训练模块，用于根据预先构建的损失函数、所述图像预测及所述道路预测对所述道路提取网络模型进行一阶训练，得到预训练道路提取网络模型；

32、二阶训练模块，用于将带标签的遥感图像输入所述预训练道路提取网络模型进行二阶训练，得到训练好的道路提取网络模型；

33、道路提取模块，用于通过训练好的道路提取网络模型对所述遥感图像中被遮蔽区域进行道路预测，完成道路提取。

34、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于掩码图像建模的遥感图像道路提取方法的步骤。

35、上述基于掩码图像建模的遥感图像道路提取方法、装置及设备，首先构建具有骨干网络、图像重构模块和语义重构模块的道路提取网络模型，将获取的掩码图像输入骨干网络进行特征提取，得到低级特征与高级特征；将低级特征输入图像重构模块进行处理，得到图像预测；将高级特征输入语义重构模块进行处理，得到道路预测；根据预先构建的损失函数、图像预测及道路预测对道路提取网络模型进行一阶训练，得到预训练道路提取网络模型；将带标签的遥感图像输入预训练道路提取网络模型进行二阶训练，得到训练好的道路提取网络模型；通过训练好的道路提取网络模型对遥感图像中被遮蔽区域进行道路预测，完成道路提取。

36、采用上述方案，通过对提取到的低级特征和高级特征分别进行重构，加强了低级别区域的交互能力和高级别区域的交互能力；同时，在一阶段的预训练中采用掩码图像进行模型训练，增强道路提取网络模型的上下文推理能力；再通过二阶段仅用带标签的遥感图像进行训练，进一步提高道路提取网络模型的性能，加强对完整图像道路预测的能力。由于道路是线性的，对被遮挡区域的预测可以通过其他区域的道路进行推断，而本方案的道路提取网络模型改进并增强了上下文的推理能力，改进了道路预测的连通性，实现对被遮挡区域的道路进行预测，从而提取完整的道路信息。

技术特征：

1.一种基于掩码图像建模的遥感图像道路提取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于掩码图像建模的遥感图像道路提取方法，其特征在于，获取掩码图像，包括：

3.根据权利要求2所述的基于掩码图像建模的遥感图像道路提取方法，其特征在于，所述图像重构模块与所述语义重构模块均为线性层结构。

4.根据权利要求1至3任一项所述的基于掩码图像建模的遥感图像道路提取方法，其特征在于，预先构建的损失函数包括标签损失函数、图像重构损失函数及语义重构损失函数。

5.根据权利要求4所述的基于掩码图像建模的遥感图像道路提取方法，其特征在于，所述标签损失函数表示为：

6.根据权利要求4所述的基于掩码图像建模的遥感图像道路提取方法，其特征在于，所述图像重构损失函数表示为：

7.根据权利要求4所述的基于掩码图像建模的遥感图像道路提取方法，其特征在于，所述语义重构损失函数表示为：

8.基于掩码图像建模的遥感图像道路提取装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

技术总结
本申请涉及基于掩码图像建模的遥感图像道路提取方法、装置及设备。通过构建具有骨干网络、图像重构模块和语义重构模块的道路提取网络模型，将获取的掩码图像输入骨干网络进行特征提取，得到低级特征与高级特征；将低级特征输入图像重构模块进行处理，得到图像预测；将高级特征输入语义重构模块进行处理，得到道路预测；根据预先构建的损失函数、图像预测及道路预测对道路提取网络模型进行一阶训练，得到预训练道路提取网络模型；将带标签的遥感图像输入预训练道路提取网络模型进行二阶训练，得到训练好的道路提取网络模型；通过训练好的道路提取网络模型对遥感图像中被遮蔽区域进行道路预测，改进了道路预测的连通性，提取完整的道路信息。

技术研发人员：陈浩,李政宏,伍江江,杜春,彭双,钟志农,陈荦,熊伟,贾庆仁,马梦宇,杨飞,景宁
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/1/15