空心村庄中建筑的识别方法、装置、电子设备及存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种空心村庄中建筑的识别方法、装置、电子设备及存储介质。


背景技术：

2.空心村整治是盘活空废土地、优化土地利用、改善乡村居住环境的重要战略，为此，要通过技术手段对空心村中的各类建筑进行识别检测。
3.传统检测手段对操作人员专业性依赖大，费时费力，无法实现大规模自动测量；其次测量数据类型单一，无法快速获取整个区域地貌特征；
4.高分卫星影像的清晰度对空心村建筑的特征识别造成了一定局限。高分卫星影像中建筑细部特征(损毁建筑的屋面植物、屋面破损等)较小、不够明显，导致识别难度较大，误判率较高，并在模型训练中，产生深层网络结构会出现特征消失等问题。
5.传统的机器学习提取方法多依靠遥感影像的浅层特征，浅层特征包含光谱、形态学指数等，虽然实现了建筑物自动提取，但是精度不高、受环境影响大、易出现多尺度漏检等问题。
6.由此可知，目前对空心村中建筑的识别不够准确。


技术实现要素：

7.针对现有技术存在的问题，本发明提供一种空心村庄中建筑的识别方法、装置、电子设备及存储介质。
8.第一方面，本发明提供一种空心村庄中建筑的识别方法，包括：
9.确定目标村庄所在的识别区域的图像；
10.将所述图像输入到建筑分类识别模型中，得到由所述建筑分类识别模型输出的建筑分类信息，所述建筑分类信息用于表征所述目标村庄中各建筑的类别；
11.其中，所述建筑分类识别模型为将根据样本图像中各建筑的图像特征和所述样本图像中各建筑的类别标识作为输入，通过机器学习训练得到的，用于对图像中各建筑进行分类的模型；
12.所述建筑分类识别模型包括语义分割层和特征提取层，所述语义分割层用于对所述图像中各建筑区域进行分割；所述特征提取层，用于基于注意力机制对各建筑区域进行特征提取。
13.在一个实施例中，所述将所述图像输入到建筑分类识别模型中，得到由所述建筑分类识别模型输出的建筑分类信息，包括：
14.将所述图像输入到语义分割层，由所述语义分割层输出各建筑区域；
15.将各建筑区域输入到特征提取层，由所述特征提取层基于注意力机制增加提取深度，根据所述提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征；
16.将各建筑区域的图像特征输入到所述建筑分类识别模型的分类层，由所述分类层
输出各建筑区域的建筑分类信息。
17.在一个实施例中，所述特征提取层包括第一运算单元和第二运算单元，相应地，将各建筑区域输入到特征提取层，由所述特征提取层基于注意力机制增加提取深度，根据所述提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征，包括：
18.将各建筑区域输入到所述第一运算单元，由所述第一运算单元基于所述提取深度，根据各建筑区域的像素值生成权重矩阵；
19.将各建筑区域输入到所述第二运算单元，由所述第二运算单元根据各建筑区域的像素值确定初始图像特征，并根据所述初始图像特征和所述权重矩阵确定图像特征。
20.在一个实施例中，所述确定目标村庄所在的识别区域的图像，包括：
21.采集目标村庄所在的识别区域的原始图像，对所述原始图像进行正射处理，确定所述图像。
22.第二方面，本发明提供一种空心村庄中建筑的识别装置，包括：
23.确定模块，用于确定目标村庄所在的识别区域的图像；
24.识别模块，用于将所述图像输入到建筑分类识别模型中，得到由所述建筑分类识别模型输出的建筑分类信息，所述建筑分类信息用于表征所述目标村庄中各建筑的类别；
25.其中，所述建筑分类识别模型为将根据样本图像中各建筑的图像特征和所述样本图像中各建筑的类别标识作为输入，通过机器学习训练得到的，用于对图像中各建筑进行分类的模型；
26.所述建筑分类识别模型包括语义分割层和特征提取层，所述语义分割层用于对所述图像中各建筑区域进行分割；所述特征提取层，用于基于注意力机制对各建筑区域进行特征提取。
27.在一个实施例中，所述识别模块具体用于：
28.将所述图像输入到语义分割层，由所述语义分割层输出各建筑区域；
29.将各建筑区域输入到特征提取层，由所述特征提取层基于注意力机制增加提取深度，根据所述提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征；
30.将各建筑区域的图像特征输入到所述建筑分类识别模型的分类层，由所述分类层输出各建筑区域的建筑分类信息。
31.在一个实施例中，所述特征提取层包括第一运算单元和第二运算单元，相应地，所述识别模块在将各建筑区域输入到特征提取层，由所述特征提取层基于注意力机制增加提取深度，根据所述提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征的处理过程中，具体用于：
32.将各建筑区域输入到所述第一运算单元，由所述第一运算单元基于所述提取深度，根据各建筑区域的像素值生成权重矩阵；
33.将各建筑区域输入到所述第二运算单元，由所述第二运算单元基于所述提取深度，根据各建筑区域的像素值确定初始图像特征，并根据所述初始图像特征和所述权重矩阵确定图像特征。
34.在一个实施例中，所述确定模块具体用于：
35.采集目标村庄所在的识别区域的原始图像，根据所述原始图像进行正射处理，确定所述图像。
36.第三方面，本发明提供一种电子设备，包括存储器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述空心村庄中建筑的识别方法的步骤。
37.第四方面，本发明提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行第一方面所述空心村庄中建筑的识别方法的步骤。
38.本发明提供的空心村庄中建筑的识别方法、装置、电子设备及存储介质，通过建筑分类识别模型对图像中的建筑进行分类，该建筑分类识别模型包括分割建筑区域的语义分割层和基于注意力机制对各建筑区域进行特征提取的特征提取层，通过对区域的分割和特征提取的运算过程，能够提取较为准确的图像特征，提供图像中各建筑分类的准确性。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明提供的空心村庄中建筑的识别方法的流程示意图；
41.图2是本发明提供的空心村庄中建筑的识别装置的结构示意图；
42.图3是本发明提供的电子设备的结构示意图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.图1示出了本发明提供的一种空心村庄中建筑的识别方法的流程示意图，参见图1，该方法包括：
45.11、确定目标村庄所在的识别区域的图像；
46.12、将图像输入到建筑分类识别模型中，得到由建筑分类识别模型输出的建筑分类信息，建筑分类信息用于表征目标村庄中各建筑的类别；其中，建筑分类识别模型为将根据样本图像中各建筑的图像特征和样本图像中各建筑的类别标识作为输入，通过机器学习训练得到的，用于对图像中各建筑进行分类的模型；建筑分类识别模型包括语义分割层和特征提取层，语义分割层用于对图像中各建筑区域进行分割；特征提取层，用于基于注意力机制对各建筑区域进行特征提取。
47.针对步骤11～步骤12，需要说明的是，在本发明中，目标村庄为待进行建筑识别的空心村。在空心村中，存在不同新破程度的村舍建筑，为此，要在空心村中对各类建筑进行分类，获得各建筑的类别，该类别可分为灰色屋顶、红瓦屋顶、彩钢屋顶、陶瓦屋顶、青钢屋顶、轻质屋顶、破损屋顶、轻微长草屋顶和严重长草屋顶等。在本发明中，采用不同的标识信息对各建筑在图像中的位置区域进行标注，以区分各建筑的类别。
48.该识别区域为覆盖空心村进行图像采集的区域，对该区域进行画面采集，获得对
应的图像。可采用无人机对识别区域进行低空画面采集。
49.图像获取之后，将图像输入到建筑分类识别模型中，得到由建筑分类识别模型输出的建筑分类信息，建筑分类信息用于表征目标村庄中各建筑的类别。
50.该建筑分类识别模型是以从样本图像中提取的各建筑的图像特征和样本图像中各建筑的类别为输入，以表征样本图像中各建筑的建筑分类信息作为期望输出，对预先构建的初始模型进行训练得到的模型。该初始模型包括对图像中各建筑区域进行区域划分的语义分割层和以注意力机制作为深度特征提取的特征提取层。
51.在本发明中，语义分割层用于对图像中的各建筑区域在位置及边界上进行同时提取，能够提高对建筑的识别准确度，也能够便于后续对建筑区域的图像特征的精确提取。
52.特征提取层通过融合se注意力机制以加强提取深度，对分割得到的各建筑区域进行图像特征提取，提高图像像素通道的特征筛选能力，降低了模型检测出现误判的可能。
53.本发明提供的空心村庄中建筑的识别方法，通过建筑分类识别模型对图像中的建筑进行分类，该建筑分类识别模型包括分割建筑区域的语义分割层和基于注意力机制对各建筑区域进行特征提取的特征提取层，通过对区域的分割和特征提取的运算过程，能够提取较为准确的图像特征，提供图像中各建筑分类的准确性。
54.在上述方法的进一步方法中，主要是对将图像输入到建筑分类识别模型中，得到由建筑分类识别模型输出的建筑分类信息的处理过程的解释说明，具体如下：
55.将图像输入到语义分割层，由语义分割层输出各建筑区域；
56.将各建筑区域输入到特征提取层，由特征提取层基于注意力机制增加提取深度，根据提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征；
57.将各建筑区域的图像特征输入到建筑分类识别模型的分类层，由分类层输出各建筑区域的建筑分类信息。
58.对此，需要说明的是，在本发明中，语义分割层对图像中的各建筑区域在位置及边界上进行同时提取，经过位置的确定及边界的限定，能够划分出建筑所在的区域。语义分割层输出图像，该图像中上标注出已划分好的建筑区域。
59.带有划分好的建筑区域的图像输入到特征提取层，相当于将各建筑区域输入到特征提取层。特征提取层基于注意力机制增加提取深度，并根据提取深度对各建筑区域进行特征提取，输出对应于各建筑区域的图像特征。
60.在本发明中，该建筑分类识别模型还包括分类层，分类层能够根据各建筑区域的图像特征，在图像特征与分类信息进行相似度匹配，将匹配成功的分类信息作为对应建筑区域的分类信息。
61.本发明进一步的方法中，通过对区域的分割和特征提取的运算过程，能够提取较为准确的图像特征，提供图像中各建筑分类的准确性。
62.在上述方法的进一步方法中，特征提取层包括第一运算单元和第二运算单元，相应地，该进一步的方法中，主要是对将各建筑区域输入到特征提取层，由特征提取层基于注意力机制增加提取深度，根据提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征的处理过程进行解释说明，具体如下：
63.将各建筑区域输入到第一运算单元，由第一运算单元基于提取深度，根据各建筑区域的像素值生成权重矩阵；
64.将各建筑区域输入到第二运算单元，由第二运算单元根据各建筑区域的像素值确定初始图像特征，并根据初始图像特征和权重矩阵确定图像特征。
65.对此，需要说明的是，在本发明中，基于注意力机制的网络结构对图像像素通道间的依赖关系进行深度残差网络模型的建立，在原有的基础上增加提取深度，基于提取深度可自适应的调整每个通道的特征权重值。故将各建筑区域输入到第一运算单元，由第一运算单元基于提取深度，根据各建筑区域的像素值生成权重矩阵。
66.将各建筑区域输入到第二运算单元，由第二运算单元根据各建筑区域的像素值确定初始图像特征，并根据初始图像特征和权重矩阵确定图像特征。通过权重矩阵对初始图像特征进行调整，以获取到预设深度下的图像特征。使得具有注意力效果的梯度能流入更深的网络中，促进网络模型更优的计算资源分配，并最终提高对检测目标识别的精确度效果。
67.本发明进一步的方法中，通过在特征提取的运算过程，依据注意力机制下的可调整的权重值，对初始图像特征进行运算，能够提取较为准确的图像特征，提供图像中各建筑分类的准确性。
68.在上述方法的进一步方法中，主要是对确定目标村庄所在的识别区域的图像的处理过程进行解释说明，具体如下：
69.采集目标村庄所在的识别区域的原始图像，对原始图像进行正射处理，确定图像。
70.对此，需要说明的是，在本发明中，采用无人机采集低空影像作为原始图像，并通过pix4d软件合成高分辨率的正射影像作为确定的图像，该正射图像相对于高分遥感影像该数据提高了对建筑细微特征的表示能力。
71.在上述方法的进一步方法中，还需要对建筑分类识别模型的获取进行解释说明，具体如下：
72.选取多个空心村作为研究区域，确定研究区域后，采用配置相机的无人机进行低空数据采集，采集大量图像样本。对采集的图像样本进行人工筛选，获取合格的原始图像样本。
73.根据村舍建筑在空心村中的分布经人工删选，并仔细观察、提取遥感影像上的村舍建筑的二维特征，由此来确定空心村建筑分类的标准。经过对比分析，以屋面生长植物、屋面明显破损等特征作为正样本(废弃建筑)的分类标准，其他特征如屋面完整、光泽鲜明等完好无损的屋面及背景作为负样本。
74.通过pix4d软件对采集的图像样本进行拼贴、预处理生成正射影像；其次，通过global mapper将tif格式遥感影像裁剪为 1024*1024的尺寸，同时选取合适的重叠区域。在图像中建筑识别中引入实例分割模型，目标检测的同时进行像素级语义分割。最后，根据正负样本的特征，使用labelme专业标注软件进行图像样本中各建筑的类别进行标注。
75.使用翻转缩放(flip and scale)、高斯噪声(gaussian noise)、色域变换(gamut mapping)等多种数据增强方式，增加训练样本的数量以及多样性(噪声数据)，降低模型对固有属性的依赖，提高了模型训练过程中的泛化能力和鲁棒性。
76.在训练的过程中采用迁移学习策略，从辅助领域的大量标注数据中迁移知识、共享知识结构，达到促进本领域学习任务的目的。
77.针对识别目标分布密集、存在遮挡等信息干扰问题，在残差网络resnet的
identity层的残差结构中引入se通道注意力模块，增强了通道信息的特征筛选能力，降低了模型检测出现误判的可能。
78.针对浅层神经网络的特征抽象程度不高等问题，增加backbone 特征提取网络的深度，例如将4层中的残差网络增加至23层，在提高网络深度的同时解决梯度消失的问题。
79.经过大量图像样本对模型的训练，得到建筑分类识别模型。
80.下面对本发明提供的空心村庄中建筑的识别装置进行描述，下文描述的空心村庄中建筑的识别装置与上文描述的空心村庄中建筑的识别方法可相互对应参照。
81.图2示出了本发明提供的一种空心村庄中建筑的识别装置的流程示意图，参见图2，该装置包括确定模块21和识别模块22，其中：
82.确定模块21，用于确定目标村庄所在的识别区域的图像；
83.识别模块22，用于将图像输入到建筑分类识别模型中，得到由建筑分类识别模型输出的建筑分类信息，建筑分类信息用于表征目标村庄中各建筑的类别；
84.其中，建筑分类识别模型为将根据样本图像中各建筑的图像特征和样本图像中各建筑的类别标识作为输入，通过机器学习训练得到的，用于对图像中各建筑进行分类的模型；
85.建筑分类识别模型包括语义分割层和特征提取层，语义分割层用于对图像中各建筑区域进行分割；特征提取层，用于基于注意力机制对各建筑区域进行特征提取。
86.在上述装置的进一步装置中，识别模块具体用于：
87.将图像输入到语义分割层，由语义分割层输出各建筑区域；
88.将各建筑区域输入到特征提取层，由特征提取层基于注意力机制增加提取深度，根据提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征；
89.将各建筑区域的图像特征输入到建筑分类识别模型的分类层，由分类层输出各建筑区域的建筑分类信息。
90.在上述装置的进一步装置中，特征提取层包括第一运算单元和第二运算单元，相应地，识别模块在将各建筑区域输入到特征提取层，由特征提取层基于注意力机制增加提取深度，根据提取深度对各建筑区域进行特征提取，输出各建筑区域的图像特征的处理过程中，具体用于：
91.将各建筑区域输入到第一运算单元，由第一运算单元基于提取深度，根据各建筑区域的像素值生成权重矩阵；
92.将各建筑区域输入到第二运算单元，由第二运算单元基于提取深度，根据各建筑区域的像素值确定初始图像特征，并根据初始图像特征和权重矩阵确定图像特征。
93.在上述装置的进一步装置中，确定模块具体用于：
94.采集目标村庄所在的识别区域的原始图像，根据原始图像进行正射处理，确定所述图像。
95.由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
96.需要说明的是，本发明实施例中可以通过硬件处理器 (hardware processor)来实现相关功能模。
97.本发明提供的空心村庄中建筑的识别装置，通过建筑分类识别模型对图像中的建
筑进行分类，该建筑分类识别模型包括分割建筑区域的语义分割层和基于注意力机制对各建筑区域进行特征提取的特征提取层，通过对区域的分割和特征提取的运算过程，能够提取较为准确的图像特征，提供图像中各建筑分类的准确性。
98.图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)31、通信接口 (communication interface)32、存储器(memory)33和通信总线 34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的计算机程序，以执行空心村庄中建筑的识别方法的步骤，例如包括：确定目标村庄所在的识别区域的图像；将图像输入到建筑分类识别模型中，得到由建筑分类识别模型输出的建筑分类信息，建筑分类信息用于表征目标村庄中各建筑的类别；
99.其中，建筑分类识别模型为将根据样本图像中各建筑的图像特征和样本图像中各建筑的类别标识作为输入，通过机器学习训练得到的，用于对图像中各建筑进行分类的模型；
100.建筑分类识别模型包括语义分割层和特征提取层，语义分割层用于对图像中各建筑区域进行分割；特征提取层，用于基于注意力机制对各建筑区域进行特征提取。
101.此外，上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器 (rom，read-onlymemory)、随机存取存储器(ram， randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
102.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行空心村庄中建筑的识别方法的步骤，例如包括：确定目标村庄所在的识别区域的图像；将图像输入到建筑分类识别模型中，得到由建筑分类识别模型输出的建筑分类信息，建筑分类信息用于表征目标村庄中各建筑的类别；
103.其中，建筑分类识别模型为将根据样本图像中各建筑的图像特征和样本图像中各建筑的类别标识作为输入，通过机器学习训练得到的，用于对图像中各建筑进行分类的模型；
104.建筑分类识别模型包括语义分割层和特征提取层，语义分割层用于对图像中各建筑区域进行分割；特征提取层，用于基于注意力机制对各建筑区域进行特征提取。
105.另一方面，本发明实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行空心村庄中建筑的识别方法的步骤，例如包括：确定目标村庄所在的识别区域的图像；将图像输入到建筑分类识别模型中，得到由建筑分类识别模型输出的建筑分类信息，建筑分类信息用于表征目标村庄中各建筑的类别；
106.其中，建筑分类识别模型为将根据样本图像中各建筑的图像特征和样本图像中各建筑的类别标识作为输入，通过机器学习训练得到的，用于对图像中各建筑进行分类的模
型；
107.建筑分类识别模型包括语义分割层和特征提取层，语义分割层用于对图像中各建筑区域进行分割；特征提取层，用于基于注意力机制对各建筑区域进行特征提取。
108.所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、 hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
109.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
110.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
111.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。