建筑物立面替换纹理自动生成方法

本发明涉及计算机视觉图像生成，特别是一种建筑物立面替换纹理自动生成方法。

背景技术：

1、对现实城市场景的分析和三维建模是计算机视觉和计算机图形学的基本问题，随着三维城市建筑模型在房屋调查，立体测量以及城市规划等领域的广泛使用，也使得建筑物的三维模型构建受到了极大的关注。由于建模成本较低、模型纹理细节表现丰富以及建模时间短，速度快等优点，倾斜摄影建模现已发展成为大规模重建的主流方法。

2、目前，倾斜摄影建模大都采用多视图立体视觉(multi-view stereo,mvs)方法。其工作流程有以下三个步骤：首先对用无人机获取的航拍图像,先使用从运动获取结构(structure from motion,sfm)获得相机参数以及场景稀疏三维信息，然后使用mvs方法进行密集匹配获取稠密的三维点云模型，最后对点云通过泊松表面重建和纹理映射即可得到建筑物的三维模型。但是现有的流程也存在一些问题，如在模型重建时，会发生扭曲；另外纹理在贴图的时候也可能由于拉伸裁剪变换等操作发生扭曲，所以在映射后导致纹理贴不好给人一种扭曲的感觉。此外，建筑物在无人机图像采集时，采集的图像数量不够或者建筑物被植被遮挡等原因，导致得到的三维建筑物模型存在建筑物立面产生扭曲、空洞等现象。因此需要对建筑物立面进行纹理替换。

3、另外，针对图像纹理生成问题，目前常用gan网络进行图片纹理合成，但建筑物立面图像不仅包含墙面纹理，还包含窗体等物体，若对建筑物立面上的窗体等也进行图像生成，会破坏建筑物立面实际窗体的位置、大小以及窗体的布局信息，不符合三维建筑表达真实场景的要求。

技术实现思路

1、为解决现有技术中存在的问题，本发明的目的是提供一种建筑物立面替换纹理自动生成方法，解决城市区域三维建模中建筑物立面容易发生扭曲和丢失的问题，同时保留建筑立面窗体的真实空间位置、大小及布局等信息。

2、为实现上述目的，本发明采用的技术方案是：一种建筑物立面替换纹理自动生成方法，包括以下步骤：

3、步骤1、采用mask-rcnn网络进行窗体提取，提取建筑物立面上窗体的空间位置信息和掩膜数据；

4、步骤2、使用pix2pixhd网络生成建筑物立面墙面纹理图像；

5、步骤3、对窗体掩膜数据进行规则化处理，从素材库中检索结构和风格一致的窗体纹理，生成具有空间布局和几何结构特征的窗体纹理，并贴合在生成的墙面纹理上，通过纹理映射替换建筑物模型原始纹理数据。

6、作为本发明的进一步改进，所述步骤1具体如下：

7、制作建筑物立面窗体提取训练样本：准备建筑物立面数据集，使用标注软件对窗体进行人工数据标注，标注结果保存为json格式，对数据采用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强，以增强网络的分割识别结果和模型的泛化性能；

8、利用窗体训练数据集对mask-rcnn网络进行参数微调和模型训练，对训练好的模型进行测试，提取建筑物立面窗体的位置信息和掩模文件。

9、作为本发明的进一步改进，所述步骤2具体如下：

10、准备建筑物立面墙面数据集：输入为噪声图像，标签为真实的墙面纹理图像；对影像对进行伸缩变化进行数据增强；

11、对pix2pixhd网络进行参数微调和模型训练：模型训练好后进行测试，得到生成的建筑物立面墙面纹理图像。

12、作为本发明的进一步改进，所述步骤3具体如下：

13、对窗体掩模文件进行规则化处理和未检测出来的窗体进行补全，并根据掩模文件中窗体的真实布局和大小信息，将窗体贴合在生成的建筑物立面墙面纹理图像上；最后通过纹理映射将生成的建筑物立面纹理图像映射到三维模型中。

14、本发明采用图像生成和窗体提取的方法，生成真实的建筑物立面墙面纹理，并根据提取窗体的掩模文件，保持窗体的真实布局信息和实际大小。

15、本发明关注于建筑物立面纹理替换自动生成的问题，通过对扭曲，空洞的建筑物立面进行替换，同时保留建筑立面窗体的真实空间位置、大小及布局等信息，从而达到建筑物立面完整的目的，立面替换后建筑物三维模型看起来更加规整、统一，模型整体看起来更加整洁。

16、本发明的有益效果是：

17、1、本发明自动提取建筑物立面上的窗体掩模，节省了人工获取窗体位置和大小的时间；

18、2、本发明生成的建筑物立面纹理保持了原立面上窗体的真实位置、结构布局，保证了立面上窗体布局的真实性；

19、3、本发明生成的建筑物立面图像大小不局限于512*512图像大小，可以生成更大的图像，更符合实际模型中立面尺寸较大的情况。

技术特征：

1.一种建筑物立面替换纹理自动生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的建筑物立面替换纹理自动生成方法，其特征在于，所述步骤1具体如下：

3.根据权利要求2所述的建筑物立面替换纹理自动生成方法，其特征在于，所述步骤2具体如下：

4.根据权利要求3所述的建筑物立面替换纹理自动生成方法，其特征在于，所述步骤3具体如下：

技术总结
本发明公开了一种建筑物立面替换纹理自动生成方法，包括：采用Mask‑Rcnn网络进行窗体提取，提取建筑物立面上窗体的空间位置信息和掩膜数据；使用Pix2PixHD网络生成建筑物立面墙面纹理图像；对窗体掩膜数据进行规则化处理，从素材库中检索结构和风格一致的窗体纹理，生成具有空间布局和几何结构特征的窗体纹理，并贴合在生成的墙面纹理上，通过纹理映射替换建筑物模型原始纹理数据；本发明解决了城市区域三维建模中建筑物立面容易发生扭曲和丢失的问题，同时保留建筑立面窗体的真实空间位置、大小及布局等信息。

技术研发人员：赵婷婷,李志林,朱军,慎利,遆鹏,谢亚坤,沈星宇
受保护的技术使用者：西南交通大学
技术研发日：
技术公布日：2024/1/15