一种基于街景图片的建筑群外立面窗户定位方法及装置

本发明涉及城市三维建模，特别是指一种基于街景图片的建筑群外立面窗户定位方法及装置。

背景技术：

1、随着智慧城市、数字地球等理念的快速发展，城市三维精细建模的需求日益强烈。快速、准确地确定城市中建筑群外立面窗户的空间位置能促进高细节度城市三维模型的快速构建。街景图片具有覆盖全、获取成本低等优势，用户可以从地图网站通过相应api接口灵活、免费地下载所关心地理位置的街景图片。通过街景图片来快速识别城市建筑群外立面窗户的位置信息可以弥补传统手段在自动化、便捷性和成本上的不足，在城市三维建模领域具有广阔应用前景。然而，建筑立面的街景图片往往受到周围树木、杂物等的遮挡，影响了从建筑立面识别窗户信息的准确度。关于如何尽可能地消除这类遮挡带来的不利影响、实现基于街景图片的建筑群外立面窗户位置信息的高精度识别，目前尚且缺乏成熟的方法。

技术实现思路

1、本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位方法及装置，以充分利用街景图片在城市信息获取方面的优势，解决从街景图片中识别建筑群外立面窗户位置的技术问题，促进高细节度城市三维模型的快速构建。所述技术方案如下：

2、一方面，本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位方法，包括以下步骤：

3、s1： 收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；

4、s2： 对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图；

5、s3： 基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标；

6、s4： 基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标。

7、优选的, 在所述s1的收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集，包括：

8、s11： 获取目标建筑群所在区域范围内的路网数据和每个建筑的底面轮廓多边形数据；

9、s12： 基于所述底面轮廓多边形数据，识别目标建筑群中每个建筑外立面及其位置；

10、s13： 基于目标建筑群中的每个建筑外立面的位置和所述路网数据，识别和目标建筑群中每个建筑外立面的距离在预设范围内的路段，按照预设间隔，沿着所述路段布置每个建筑外立面对应的系列观测点；

11、s14： 将从所述每个建筑外立面对应的系列观测点中的每个观测点到对应的外立面的射线方向作为视线方向；基于所述视线方向，提取每个建筑外立面对应的系列拍摄方位角数据；

12、s15： 按照所述每个建筑外立面对应的系列观测点以及系列拍摄方位角数据，从预设的地图网站抓取每个建筑外立面对应每个观测点的街景图片，得到每个建筑外立面的多视角街景图片集，组成多视角街景图片数据集。

13、优选的, 在所述s11的获取目标建筑群所在区域范围内的路网数据和每个建筑的底面轮廓多边形数据，包括：

14、s111： 获取目标建筑群的范围数据，所述范围数据包括经度范围和纬度范围；

15、s112： 根据所述范围数据，获取范围内的路网数据，所述路网数据包括组成路网中心线的各个节点的位置坐标；

16、s113： 根据所述范围数据，获取范围内的每个建筑的底面轮廓多边形数据，所述每个建筑的底面轮廓多边形数据包括底面轮廓多边形的各个节点的位置坐标。

17、优选的, 在所述s2的对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图，包括：

18、s21： 基于所述多视角街景图片数据集，通过深度学习算法从多视角街景图片数据集中的每个街景图片中分割出用目标掩码框定的建筑外立面对象，得到建筑目标掩码图，组成每个建筑外立面的建筑目标掩码图集；

19、s22： 通过矫正算法，获取所述多视角街景图片数据集中的每个街景图片的矫正参数，将每个街景图片按照矫正参数矫正为原始正视图，得到每个建筑外立面的原始正视图集；

20、s23： 按照每个街景图片的矫正参数，将其对应的建筑目标掩码图矫正为目标掩码正视图，得到每个建筑外立面的目标掩码正视图集；

21、s24： 基于每个建筑外立面的目标掩码正视图集，建立目标掩码正视图两两之间的像素对应关系，作为每个建筑外立面的原始正视图两两之间的像素对应关系；

22、s25： 在每个建筑外立面的目标掩码正视图集的每个目标掩码正视图中，计算目标掩码不为空值比例，选定目标掩码不为空值比例最高的目标掩码正视图对应的原始正视图作为每个建筑外立面的基准正视图，所述目标掩码不为空值对应的是原始正视图中不受遮挡的部分图像；

23、s26： 基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素；

24、s27： 基于每个建筑外立面的原始正视图集，按照每个建筑外立面的原始正视图两两之间的像素对应关系，对每个建筑外立面的基准正视图中受遮挡部分的像素进行填充，得到每个建筑外立面的合成街景正视图。

25、优选的, 在所述s26的基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素，包括：

26、s261： 对每个建筑外立面的基准正视图中受遮挡部分的每一个像素，基于每个建筑外立面的原始正视图两两之间的像素对应关系，获取其他非基准正视图的原始正视图中，对应的像素值，组成像素值序列[a1,a2,…an]；

27、s262：将像素值序列[ ,  ,…]，输入公式（1），得到估计的像素值：

28、（1）

29、其中，为估计的像素值，为原始正视图权重；

30、s263： 基于估计的像素值，对每个建筑外立面的基准正视图中受遮挡部分的每一个像素进行填充，得到每个建筑外立面的合成街景正视图。

31、优选的, 在所述s3的基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标，包括：

32、s31： 基于每个建筑外立面的合成街景正视图，通过深度学习算法分割出用目标掩码框定的每个窗户，得到每个建筑外立面的窗户目标掩码图；

33、s32： 对每个建筑外立面的窗户目标掩码图进行二值化处理，然后利用反差算法，提取每个建筑外立面的每个窗户的轮廓；

34、s33： 基于每个建筑外立面的每个窗户的轮廓，提取每个建筑外立面的每个窗户的顶点的像素坐标。

35、优选的, 在所述s4的基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标，包括：

36、s41： 建立每个建筑外立面的像素坐标系和世界坐标系的旋转矩阵，所述旋转矩阵是世界坐标系到正视图拍摄相机坐标系的变换矩阵；

37、s42： 将每个建筑外立面的每个窗户的顶点的像素坐标与旋转矩阵相乘得到每个建筑外立面的每个窗户的投影后的顶点坐标；

38、s43： 将每个窗户的投影后的顶点坐标和建筑外立面的中心坐标点相加，得到每个窗户位置的世界坐标，组成目标建筑群建筑外立面窗户位置的世界坐标数据。

39、第二方面，本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位装置，包括以下步骤：

40、数据单元： 用于收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；

41、合成单元： 用于对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图；

42、像素坐标单元： 用于基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标；

43、世界坐标单元： 用于基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标。

44、第三方面，本发明实施例提供了一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行如上所述的方法。

45、第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的方法。

46、本发明实施例提供的技术方案带来的有益效果至少包括：

47、上述技术方案，与现有技术相比至少具有如下有益效果：本发明提供的基于街景图片的建筑群外立面窗户定位方法及装置充分利用了街景图片易获取、覆盖全等优势，通过多视角街景图片的融合尽可能消除建筑立面所受遮挡对于后续窗户位置识别所带来的不利影响，实现了从街景图片中快速确定城市建筑群外立面窗户位置信息，从而可以为高细节度城市三维模型的快速构建提供技术支撑。