基于UNet的半自动化的倾斜摄影实景模型建筑物单体化方法、系统、设备和存储介质与流程

基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法、系统、设备和存储介质
技术领域
1.本发明涉及三维地理信息领域，尤其是涉及一种基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法、系统、设备和存储介质。


背景技术：

2.建筑物作为最重要的人工地物类型，在地图更新，gis分析，城市及道路规划，环境建模等方面具有非常广泛的应用。快速准确地分割出建筑物图像，是遥感图像处理多年持续研究热点与难点任务之一。需要注意的是，计算机视觉中所说的图像分割任务，在遥感图像处理中通常被成为影像分类任务，两者术语不同，实际描述的都是把图像根据地物类型分割成不同的区域，例如建筑物
‑ꢀ
非建筑物两类。
3.传统的建筑物图像分割方法大多是基于人工经验设计特征的，例如建筑物的形态特征，纹理特征，阴影伴随关系，建筑物之间的间距，建筑物与道路的拓扑关系等等，这些方法取得了一定的效果，但是精度不够高。近年来深度学习兴起，前期研究大多数都聚焦在分类或检测任务，这些任务推动了 cnn等网络架构的发展。后来人们在cnn基础上发展出来fcn，用来做图像分割任务。但是fcn在精度和效率上存在问题，因此，人们又在其基础上发展出了unet架构，这个网络架构进一步提升了针对图像分割任务的性能，已经成功地应用在医学图像分割等多个领域。


技术实现要素：

4.针对现有建筑物图像分割方法存在的问题，为了提高倾斜摄影模型中建筑物单体化的精度及自动化水平，本发明提供基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法、系统、设备和存储介质。
5.本发明的一种技术方案是，提供一种基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法，包括如下步骤：
6.用unet模型对正射影像进行分割，得到建筑物轮廓；
7.将所述建筑物轮廓叠加到三维实景模型中；
8.以所述建筑物轮廓作边界从所述三维实景模型中分离出对应建筑物的独立模型。
9.进一步，在用所述unet模型对所述正射影像进行分割，得到建筑物轮廓的步骤前，还包括如下步骤：训练所述unet模型。
10.进一步，在训练所述unet模型的步骤中，还包括如下步骤：
11.构建所述unet模型；
12.训练所述unet模型；
13.验证所述unet模型。
14.进一步，在构建所述unet模型的步骤中，包括：用5层模型构建所述unet 模型，输入层是3通道rgb图像，经过5层卷积编码器进行下采样，得到一个 1024层的特征图谱，所述
特征图谱再经过5层反卷积解码器进行上采样，还原出与输入图像分辨率一致的二值化rgb图像，0表示非建筑物像素，1表示建筑物像素。
15.进一步，在训练所述unet模型的步骤中，包括：初始化所述unet模型,设置学习率、循环次数、批大小相关参数，将经过随机反转、平移、旋转、缩放的数据增广处理后的训练样本分批次输入所述unet模型进行训练，所述unet 模型中采用bce作为损失函数，其计算公式如下：
16.其中是损失值，y是真值，是预测概率。
17.进一步，还包括：
18.设置平均交并比作为建筑物图像分割精度衡量指标，其计算公式如下：
19.其中k是分类数，在建筑物分割案例中k＝2，即分为建筑物与非建筑物两类， p是被预测为建筑物的像素，g则是真实的建筑物像素。
20.进一步，在验证所述unet模型的步骤中，包括：使用精度验证样本对所述 unet模型进行连续训练并调整参数。
21.进一步，还包括准备所述训练样本。
22.进一步，准备所述训练样本包括：随机地准备若干建筑物正射影像，勾画出其中的建筑物，随机裁剪成很多小图像作为所述训练样本，取其中20％作为所述精度验证样本。
23.进一步，在将所述建筑物轮廓叠加到三维实景模型中的步骤前，还包括如下步骤：对分割不准确的所述建筑物轮廓进行调整。
24.本发明的另一种技术方案是，提供一种基于unet的半自动化的倾斜摄影实景模型建筑物单体化系统，包括：
25.轮廓分割模块，用unet模型对正射影像进行分割，得到建筑物轮廓；
26.叠加模块，用于将所述建筑物轮廓叠加到三维实景模型中；
27.模型分离模块，用于以所述建筑物轮廓作边界从所述三维实景模型中分离出对应建筑物的独立模型。
28.进一步，还包括模型训练模块，用于训练所述unet模型。
29.进一步，所述模型训练模块包括：
30.构建模块，用于构建所述unet模型；
31.训练模块，用于训练所述unet模型；
32.验证模块，用于验证所述unet模型。
33.进一步，所述构建模块包括：用5层模型构建所述unet模型，输入层是3 通道rgb图像，经过5层卷积编码器进行下采样，得到一个1024层的特征图谱，所述特征图谱再经过5层反卷积解码器进行上采样，还原出与输入图像分辨率一致的二值化rgb图像，0表示非建筑物像素，1表示建筑物像素。
34.进一步，所述训练模块包括：初始化所述unet模型,设置学习率、循环次数、批大小相关参数，将经过随机反转、平移、旋转、缩放的数据增广处理后的训练样本分批次输入所述unet模型进行训练，所述unet模型中采用bce作为损失函数，其计算公式如下：
35.其中是损失值，y是真值，是预测概率。
36.进一步，还包括：
37.设置平均交并比作为建筑物图像分割精度衡量指标，其计算公式如下：
38.其中k是分类数，在建筑物分割案例中k＝2，即分为建筑物与非建筑物两类， p是被预测为建筑物的像素，g则是真实的建筑物像素。
39.进一步，所述验证模块包括：使用精度验证样本对所述unet模型进行连续训练并调整参数。
40.进一步，还包括：调整模块，用于对分割不准确的所述建筑物轮廓进行调整。
41.本发明的第三种技术方案是，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现上述任一技术方案所述的基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法的步骤。
42.本发明的第四种技术方案是，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一技术方案所述的基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法的步骤。
43.本发明由于采用了unet模型，实现了半自动化建筑物单体化建模，建筑物单体化的效率更高；同时，基于unet模型深度学习的图像分割任务，只要参数设置得当，就可以自主地学习到数据中的各种浅层、深层特征，非常容易扩展到道路、水体、植被等其他地物类型的识别上，具有高精度、高效率和识别广等优点。
附图说明
44.图1是本发明中基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法的流程图。
45.图2是本发明中预测的建筑像素的示意图。
46.图3是本发明中真实的建筑像素的示意图。
47.图4是图2与图3中建筑像素交并的示意图。
48.图5是本发明中正射影像的示意图。
49.图6是图5中的建筑物掩膜的示意图。
50.图7是图6中的建筑物轮廓的示意图。
51.图8是图7中对建筑物轮廓调整后的示意图。
52.图9是图7中的建筑物轮廓叠加到图5中的示意图。
[0053][0054]
图10是图9中分离后独立模型的示意图。
[0055]
图11是本发明中基于unet的半自动化的倾斜摄影实景模型建筑物单体化系统的原理方框示意图。
[0056]
图12是本发明中计算机设备的原理方框示意图。
[0057]
其中：21.正射影像；22.建筑物掩膜；23.建筑物轮廓；24.独立模型； 31.轮廓分割
模块；32.叠加模块；33.模型分离模块；71.处理器；72.输入接口；73.网络端口；74.显示单元；75.存储器。
具体实施方式
[0058]
在本发明的描述中，需要理解的是，术语中“中心”、“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0059]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“相连”应做广义理解，例如，可以是固定连接，也可以是拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。
[0060]
一、本发明提供一种基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法，请参见图1，包括以下步骤：
[0061]
s100,用unet模型对正射影像进行分割，得到建筑物轮廓；
[0062]
s200,将建筑物轮廓叠加到三维实景模型中；
[0063]
s300,以建筑物轮廓作边界从三维实景模型中分离出对应建筑物的独立模型。
[0064]
在上述步骤s100前，还包括步骤s90，训练unet模型，具体包括如下步骤。
[0065]
s90,准备训练样本。随机地准备若干建筑物正射影像，勾画出其中的建筑物，随机裁剪成很多小图像作为训练样本，取其中20％作为精度验证样本。
[0066]
若干建筑物正射影像是一些比较有代表性的建筑物的正射影像，例如桥梁、房屋、车站等等。使用人工勾画出其中的建筑物，比如用白色勾画出建筑物像素，其他非建筑物像素则用黑色表示，再随机裁剪成很多小图像作为训练样本，然后取其中20％作为精度验证用样本。比如，裁剪出了10000对建筑物的训练样本，拿8000对进行训练，剩下2000对用于验证训练精度。
[0067]
s92,构建unet模型。使用经典的5层模型构建unet模型，输入层是3 通道rgb图像，例如256*256像素rgb三通道的jpg格式的正射影像。经过 5层卷积编码器进行下采样，得到一个1024层的特征图谱，例如16*16像素 1024通道的特征图谱。
[0068]
s93,训练unet模型。初始化unet模型,设置学习率、循环次数、批大小相关参数，将经过随机反转、平移、旋转、缩放的数据增广处理后的训练样本分批次输入unet模型进行训练，unet模型中采用bce(binary cross-entropy)作为损失函数，其计算公式如下：
[0069]
其中是损失值，y是真值(groundtruth)，是预测概率。需要说明的是，学习率可以设置成lr＝0.0001，循环次数epoch＝100，批大小batchsize＝16等等，这只是举例说明，本发明不限于此。
[0070]
设置平均交并比(miou)作为建筑物图像分割精度衡量指标，其计算公式如下：其中k是分类数，在建筑物分割案例中k＝2，即分为建筑物与非建筑物
两类，p是被预测为建筑物的像素，g则是真实的建筑物像素(ground truth)。交并比miou的值从0到1(100％)，越接近1说明模型分割结果越准确，交并比的意义及计算方法示意图可参见图2、图3和图4 所示，在图2、图3和图4中，1为预测的建筑像素，2为真实的建筑像素，图4为预测的建筑像素与真实的建筑像素的交并图像。
[0071]
s94,验证unet模型。使用精度验证样本对unet模型进行连续训练并调整参数。连续训练unet并调整学习率、循环次数、批大小等参数，直到得到一个较高精度的结果，例如，miou》0.8(80％)。
[0072]
在上述步骤s100中，先用unet模型对正射影像进行预测，得到建筑物掩膜，再对建筑物掩膜进行边缘检测得到其边缘像素，然后边缘像素进行矢量化得到建筑物轮廓。
[0073]
在上述步骤s200前,还包括步骤是101,对分割不准确的建筑物轮廓进行调整。因为建筑物可能会被树木遮挡，从而造成分割误差较大，对于误差较大的轮廓，对其进行人工移动边界点或线进行调整，使其符合实际情况。
[0074]
本发明由于采用了unet模型，实现了半自动化建筑物单体化建模，建筑物单体化的效率更高；同时，基于unet模型深度学习的图像分割任务，只要参数设置得当，就可以自主地学习到数据中的各种浅层、深层特征，非常容易扩展到道路、水体、植被等其他地物类型的识别上，具有高精度、高效率和识别广等优点。
[0075]
二、本发明提供一基于unet的半自动化的倾斜摄影实景模型建筑物单体化的实施例，请参见图5至图10所示，在本实施例中，unet模型已经被训练好，不需要再重复记述unet模型的训练步骤。
[0076]
s1、导入正射影像21，请参见图5所示。
[0077]
s2、用unet模型对正射影像21进行分割，得到建筑物轮廓.具体包括先用unet模型对正射影像进行预测，得到建筑物掩膜22，请参见图6所示。再对建筑物掩膜进行边缘检测得到其边缘像素，然后边缘像素进行矢量化得到建筑物轮廓23，请参见图7所示。
[0078]
s3,对分割不准确的建筑物轮廓23进行调整，请参见图8所示。
[0079]
s4,将建筑物轮廓23叠加到三维实景模型中，请参见图9所示。
[0080]
s5,以建筑物轮廓作边界从三维实景模型中分离出对应建筑物的独立模型24，请参见图10所示。
[0081]
三、本发明提供一种基于unet的半自动化的倾斜摄影实景模型建筑物单体化系统，请参见图11所示，建筑物单体化系统包括：
[0082]
轮廓分割模块31，用unet模型对正射影像进行分割，得到建筑物轮廓；
[0083]
叠加模块32，用于将建筑物轮廓叠加到三维实景模型中；
[0084]
模型分离模块33，用于以建筑物轮廓作边界从三维实景模型中分离出对应建筑物的独立模型。
[0085]
本发明中，还包括模型训练模块，用于训练unet模型。模型训练模块包括构建模块、训练模块和验证模块。
[0086]
构建模块，用于构建unet模型。使用经典的5层模型构建unet模型，输入层是3通道rgb图像，例如256*256像素rgb三通道的jpg格式的正射影像。经过5层卷积编码器进行下采样，得到一个1024层的特征图谱，例如16*16像素1024通道的特征图谱。
[0087]
训练模块，初始化unet模型,设置学习率、循环次数、批大小相关参数，将经过随机
反转、平移、旋转、缩放的数据增广处理后的训练样本分批次输入unet模型进行训练，unet模型中采用bce(binary cross-entropy)作为损失函数，其计算公式如下：
[0088]
其中是损失值，y是真值(groundtruth)，是预测概率。需要说明的是，学习率可以设置成lr＝0.0001，循环次数epoch＝100，批大小batchsize＝16等等，这只是举例说明，本发明不限于此。
[0089]
设置平均交并比(miou)作为建筑物图像分割精度衡量指标，其计算公式如下：其中k是分类数，在建筑物分割案例中k＝2，即分为建筑物与非建筑物两类，p是被预测为建筑物的像素，g则是真实的建筑物像素(ground truth)。
[0090]
验证模块，用于验证unet模型。使用精度验证样本对unet模型进行连续训练并调整参数。
[0091]
本发明中，还包括调整模块，用于对分割不准确的建筑物轮廓进行调整。
[0092]
四、本发明提供的一种计算机设备，请参见图12，本技术实施例提供的一种计算机设备的结构图，包括存储器75和处理器71，所述存储器75存储有计算机程序，所述处理器71执行所述计算机程序时，实现如上述公开的任一种基于unet的半自动化的倾斜摄影实景模型建筑物单体化方法的步骤。
[0093]
具体的，存储器75包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器71在一些实施例中可以是一中央处理器(centralprocessing unit，cpu)、控制器、微控制器、微处理器或其他数据处理芯片，为计算机设备提供计算和控制能力。
[0094]
所述计算机设备还包括：输入接口72，与处理器71相连，用于获取外部导入的计算机程序、参数和指令，经处理器71控制保存至存储器75中。该输入接口72可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。
[0095]
显示单元74，与处理器71相连，用于显示处理器71处理的数据以及用于显示可视化的用户界面。该显示单元74可以为led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。
[0096]
网络端口73，与处理器71相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(mhl)、通用串行总线(usb)、高清多媒体接口(hdmi)、无线保真技术(wifi)、蓝牙通信技术、低功耗蓝牙通信技术、基于ieee802.11s的通信技术等。
[0097]
图12仅示出了具有组件71-75的计算机设备，本领域技术人员可以理解的是，图12示出的结构并不构成对计算机设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0098]
五、本发明还提供了一种计算机可读存储介质，该存储介质可以包括： u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器 (random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时时实现如上述公开的任一种基于unet的半自动化的倾斜摄
影实景模型建筑物单体化方法的步骤。
[0099]
前述方法实施例中的内容均适用于对应的存储介质实施例中，因而本存储介质实施例具体实现的功能与前述方法实施例相同，并且达到的有益效果也与前述方法实施例相同。
[0100]
需要说明的是，针对上述各实施方式的详细解释，其目的仅在于对本发明进行解释，以便于能够更好地解释本发明，但是，这些描述不能以任何理由解释成是对本发明的限制，特别是，在不同的实施方式中描述的各个特征也可以相互任意组合，从而组成其他实施方式，除了有明确相反的描述，这些特征应被理解为能够应用于任何一个实施方式中，而并不仅局限于所描述的实施方式。