基于轻量化遥感基础模型的建筑三维重建方法及装置

本发明涉及遥感图像处理，尤其涉及一种基于轻量化遥感基础模型的建筑三维重建方法及装置。

背景技术：

1、精准的城市区域三维地理空间网格模型在导航和城市规划等各种应用中都有应用，使用激光雷达扫描或多视图图像的空中采集是迄今为止在大规模城市场景上自动创建3d模型的最佳方法。然而，由于激光雷达的高成本和航空遥感的授权限制，基于激光雷达的航空遥感仅能实现少数城市的数据获取。所以，利用卫星影像实现城市场景下建筑物大规模三维重建逐渐成为研究热点。由于卫星的光学影像难以捕捉目标的结构信息、sar影像难以捕捉目标的纹理信息，所以现阶段基于卫星影像的大规模城市场景下建筑三维重建仍存在估计不准确、泛化性能差等问题。

技术实现思路

1、鉴于上述问题，本发明提供了一种基于轻量化遥感基础模型的建筑三维重建方法，以解决以现阶段基于卫星影像的大规模城市场景下建筑三维重建存在的估计不准确、泛化性能差等问题。

2、本发明的一个方面提供了一种基于轻量化遥感基础模型的建筑三维重建方法，包括：获取预设区域的光学卫星影像和sar卫星影像，提取所述光学卫星影像和所述sar卫星影像的特征图；将所述光学卫星影像和所述sar卫星影像的特征图投影在一个特征空间中，得到在所述特征空间内的三维图像；通过解码器对所述三维图像解码提取语义分割图及深度图；基于所述语义分割图及深度图提取所述预设区域内的建筑物的结构信息和高度信息，构建所述建筑物的三维模型。

3、根据本发明的实施例，所述获取预设区域的光学卫星影像和sar卫星影像，提取所述光学卫星影像和所述sar卫星影像的特征图包括：将所述光学卫星影像和所述sar卫星影像裁剪为多个预设大小的小图，将所述光学卫星影像和所述sar卫星影像的小图根据经纬度坐标一一对应；提取对应的所述光学卫星影像和所述sar卫星影像的小图的特征，得到所述特征图。

4、根据本发明的实施例，所述将所述光学卫星影像和所述sar卫星影像的特征图投影在一个特征空间中，得到在所述特征空间内的三维特征图包括：将所述光学卫星影像和所述sar卫星影像的特征图输入预设的特征融合模块，所述特征融合模块包括特征图拼接模块、后空洞卷积模块；通过所述特征图拼接模块将所述光学卫星影像和所述sar卫星影像的特征图进行拼接；通过所述后空洞卷积模块对拼接后的特征图进行卷积计算，得到所述三维特征图。

5、根据本发明的实施例，所述方法还包括：将所述光学卫星影像和所述sar卫星影像的特征图输入所述特征融合模块时，将所述光学卫星影像和所述sar卫星影像的特征图尺寸和分辨率与所述特征融合模块匹配。

6、根据本发明的实施例，所述方法还包括：在所述特征融合模块中对所述特征图的特征通道降维。

7、根据本发明的实施例，所述方法还包括：基于训练数据训练所述特征融合模块和解码器，包括：计算训练过程中所述语义分割图及所述深度度的损失值，基于所述损失值优化所述特征融合模块和所述解码器的参数，直至所述损失值达到预设阈值范围。

8、本发明另一方面提供了一种基于轻量化遥感基础模型的建筑三维重建装置，包括：特征提取模块，用于获取预设区域的光学卫星影像和sar卫星影像，提取所述光学卫星影像和所述sar卫星影像的特征图；特征融合模块，用于将所述光学卫星影像和所述sar卫星影像的特征图投影在一个特征空间中，得到在所述特征空间内的三维图像；信息获取模块，用于通过解码器对所述三维图像解码提取语义分割图及深度图；三维重建模块，用于基于所述语义分割图及深度图提取所述预设区域内的建筑物的结构信息和高度信息，构建所述建筑物的三维模型。

9、在本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：

10、针对于城市场景下大规模建筑物提取与高度估计，通过多模态相互融合的方式，即保留了建筑物的纹理信息，使得建筑物提取的精度变高；又保留了建筑物的结构信息，能够精准识别建筑物的高度。在不影响精度的前提下，利用数学建模在最大程度上简化模型、提升模型的推理速度。从而达到遥感领域对精度和实时性的双重要求，使得模型具备部署在星上的能力。

技术特征：

1.一种基于轻量化遥感基础模型的建筑三维重建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取预设区域的光学卫星影像和sar卫星影像，提取所述光学卫星影像和所述sar卫星影像的特征图包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述光学卫星影像和所述sar卫星影像的特征图投影在一个特征空间中，得到在所述特征空间内的三维特征图包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

7.一种基于轻量化遥感基础模型的建筑三维重建装置，其特征在于，包括：

技术总结
本发明提供了一种基于轻量化遥感基础模型的建筑三维重建方法，涉及遥感图像处理技术领域，包括：获取预设区域的光学卫星影像和SAR卫星影像，提取光学卫星影像和SAR卫星影像的特征图；将光学卫星影像和SAR卫星影像的特征图投影在一个特征空间中，得到在特征空间内的三维图像；通过解码器对三维图像解码，并输入预设模型提取语义分割图及深度图；基于语义分割图及深度图提取预设区域内的建筑物的结构信息和高度信息，构建建筑物的三维模型。本发明还提供了一种基于轻量化遥感基础模型的建筑三维重建装置。

技术研发人员：付琨,孙显,王智睿,赵良瑾,成培瑞,陈凯强
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：
技术公布日：2024/4/17