一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法与流程

本发明涉及无人机影像处理技术领域，尤其是涉及一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法。

背景技术：

随着我国城镇化进程的推进和经济建设的快速发展，建筑物的自动提取对于社会公众和各行业应用具有越来越重要的意义，建筑物要素的快速提取与更新以成为我国基础地理信息建设的一项十分重要内容。当前，基于高分辨率遥感影像的内业综合判调是基础地理信息要素更新的主要手段。相较于遥感影像建筑物内业判调，无人机影像获取难度较低，数据生产更加灵活，受到外界条件制约更少，无人机技术的高时效性、便捷性和经济性等优点使得利用无人机技术进行建筑物提取与更新具有很大优势。相比于外业地面实测建筑物数据，基于无人机技术影像的内业判绘方式提高了房屋提取与更新的效率。

为了提高建筑物数据的生产与更新效率，亟需探索基于无人机影像的自动/半自动化建筑物屋顶快速提取方法，提高建筑物要素数据更新的自动化程度。随着无人机技术的飞速发展，影像数据的空间分辨率大大提高，并且提供了更加真实的地表细节信息，这为建筑物屋顶自动化提取提供了新的机遇和挑战。在无人机影像中，建筑物屋顶与其周围的环境信息清晰明确，使得精确的建筑物屋顶提取和定位成为可能。另一方面，房屋表现为多种特征的集合体，如材质、纹理、周围环境等，使得建筑物屋顶要素内部特征具有很大的异质性，同时建筑物与邻近地物又存在较大的特征相关性，这使得自动化的建筑物屋顶提取方法难以准确地辨识建筑物对象；另外，受阴影和其他地物的遮挡，自动化建筑物屋顶提取任务变得更加困难。综合考虑各种因素影响，全自动化的稳定可靠建筑物屋顶提取方法研究依然是一项国际公认的难题。

随着摄影测量与无人机技术的快速发展，摄影测量已经逐渐成为生产地形图的主要方式之一。随之带来的是无人机影像的数量快速增加，使得无人机影像解译成为了目前亟待解决的问题。无人机影像解译方式主要分为人工解译与自动化解译。由于影像数量庞大，人工解译工作量十分巨大，自动化解译是必然的发展趋势。目前，针对无人机影像的自动化解译方法较少，由于无人机影像与高分辨率遥感影像具有一定的相似性，通常思路是将遥感影像解译方法应用于无人机影像。常见的方法主要分为两种，一种是自上而下的数据驱动的方法，一种是自下而上的模型驱动的方法。目前，数据驱动方法研究较多且通常情况下效果较好，常见的数据驱动方法有基于几何边界的方法，如马尔科夫随机场；基于区域分割的方法，如决策树分类、基元纹理特征映射等；基于辅助特征的方法，如dsm、lidar数据辅助的方法等。目前模型驱动的方法效果没有十分理想，常见的模型驱动的方法有，基于语义模型分类的方法，如线性判别式，基于条件随机场的方法等；基于先验模型知识的方法，如基于snake或主动轮廓的方法，基于变形模型及水平集的方法、基于先验形状模型的方法等；基于视觉认识模型的方法，如基于概率模型投票的方法等。虽然目前建筑物检测方法有很多，但仍然存在很多问题。目前数驱动的方法虽然相较之下结果较好，但仍然没有充分利用建筑物特征，鲁棒性较差。基于模型驱动的方法，建筑物种类多样，建立目标模型时对先验知识依赖程度大，目前只在限定环境下解决部分提取问题，很难找到一个普适的模型来描述。

近年来，随着深度学习技术与计算机硬件的快速发展，深度卷积神经网络在图像处理领域表现出强大的解译能力，给无人机影像建筑物屋顶提取带来了新的解决思路。

技术实现要素：

针对背景技术存在的问题，本发明提出一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法。

本发明的技术方案为：

一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法，包括以下步骤：

步骤一，建立无人机影像建筑物屋顶样本库，通过外业航飞及内业数据处理获得无人机正射影像，对正射影像手工勾画建筑物屋顶样本，同时，添加部分开源高分辨率遥感影像建筑物屋顶样本，以增加网络对不同影像的识别能力，对样本库样本进行45度、90度、180度和270度旋转，同时进行模糊、gamma变换以及拉伸缩放，增加样本数量的同时，使得检测特征具有多方向、多环境的鲁棒性。

步骤二，设计基于跳层连接的全卷积神经网络，进行无人机影像建筑物屋顶特征学习，并使用多孔卷积增加视野，以提取更多建筑物屋顶的特征，根据航空影像建筑物屋顶样本特点，结合传统深度卷积神经网络特征提取存在的问题，在特征提取阶段，将卷积模块的输入层与输出层进行跳层连接，设计基于跳层连接的卷积神经网络，反卷积特征重建阶段，针对卷积特征提取获得的特征图，利用反卷积进行特征重建，在反卷积过程中，将反卷积过程得到的特征图与卷积过程中得到的特征图进行特征融合。

步骤三，用训练得到的网络模型进行建筑物屋顶检测。

步骤四，利用条件随机场对建筑物屋顶初步提取结果进行边缘细化，针对初步检测得到的建筑物屋顶提取结果，利用条件随机场进行建筑物边缘细化，得到边缘更加精细的建筑物屋顶检测结果。

步骤五，基于d-s证据理论，进行基于特征证据的建筑物屋顶验证。

优选的，所述步骤二具体包括以下内容：

(1)基于跳层连接的卷积神经网络，本发明根据无人机影像建筑物特点，结合传统卷积神经网络的优缺点，设计了基于跳层连接的卷积神经网络，网络共有6个残差卷积模块和2个普通卷积模块，残差卷积模块共包含15层卷积层和6层池化层，普通卷积模块包含8层卷积层，具体网络结构如附图2所示，在卷积过程中采用批标准化进行参数优化，激活函数选用relu将非线性特性引入网络，为解决传统深度卷积神经网络在进行特征提取过程中存在的特征丢失问题，采用基于跳层连接残差模块进行特征学习，将残差卷积模块的输入层与输出层进行跳层连接，保证特征提取结果的同时，防止了梯度弥散与梯度爆炸，跳层连接示意图如附图3所示。

(2)基于反卷积的建筑物特征重建，在经过卷积层特征提取后，采用反卷积层进行无人机影像建筑物屋顶特征重建，反卷积层共包含6个卷积模块，共包含6个反卷积上采样层和16层卷积层和6层反卷积上采样层，具体网络结构如附图2所示，在反卷积特征重建过程中，将反卷积得到的无人机影像建筑物屋顶特征图与卷积过程中得到的特征图进行特征融合，利用卷积过程中的特征图进行辅助特征重建，特征重建后，利用sigmoid分类器进行分类。

优选的，所述步骤四具体包括以下内容：

通过步骤三得到的无人机影像建筑物屋顶提取初步结果，我们选用条件随机场，对建筑物屋顶进行边缘细化，条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率不模型，能够较好地解决标记偏置问题，而且所有特征可以进行全局归一化，能够求得全局最优解。

条件随机场图像分割能量函数的构造：定义隐变量xi为像素点i的分类标签，它的取值范围是就是我们要分类的语义标签l＝{l1,l2,l3……}；yi为每个随机变量xi的观测值，也就是每个像素点的颜色值，条件随机场的图像语义分割的目标就是：通过观测变量yi，推理出潜变量xi的对应类别标签。

条件随机场(i|x)对应的gibbs分布：

(1)

其中：e(x|i)为能量函数，简化表示为e(x)；x属于标注集l，z(i)为归一化因子。

通过最小化式(1)中的能量函数，可以得到最优的像素分类结果。在全图的条件下定义能量函数：

(2)

其中：ψu(xi)为一元势函数，ψp(xi)＝-logp(xi)，p(xi)表示像素点i属于某类别标注的概率，deeplab提供。式(3)中的第二项ψp(xi，xj)为成对势函数，

其中：μ(xi，xj)为标签比较函数，xi≠xj时，μ(xi，xj)＝1，否则等于0，用于判断不同标签之间的兼容性；p表示位置信息，i表示颜色信息；θα用于控制位置信息的尺度；θβ用于控制颜色相似度的尺度；ω线性组合权重，式(3)的第二部分只与位置信息有关，θγ控制位置信息的尺度。

通过平均场近似(meanfieldapproximation)q(x)＝∏iqi(xi)，不断迭代更新q(x)，最终通过最小化p(x)与q(x)的k-l散度，得到模型的最优解。

优选的，所述步骤五具体包括以下内容：

(1)首先将待验证建筑物对象所有可能结果的几何构成的空间进行划分，定义为验证框架记做x，并把x中所有子集组成的几何记作2^x，对于2^x中任何假设的几何a，都有m(a)∈[0，1]，并且

其中，m成为2^x上的概率分配函数(bpaf)，m(a)称为a的基本概率函数。

d-s证据理论定义了信任函数bel和似然函数pl来表示问题的不确定性，即：

信任函数bel(a)表示对a为真的信任程度，也成为下限函数；似然函数pl(a)表示对a为非假的信任程度，则[bel(a)，pl(a)]为a的一个信任区间，信任区间刻画了对a所持信任度的上下限在有多个证据存在的情况下，可以使用dempster合成法则对多个bpaf进行合成，即

(2)建筑物屋顶验证d-s证据模型，由于建筑物屋顶验证只需要根据无人机影像中观察到的建筑物场景来验证建筑物身份，根据d-s证据理论，取辨识度框架x为{t，f}，t为非建筑物对象，f为建筑物对象，则有定义信度分配函数m({t，f}+m(t)+m(f))＝1，其中m(f)表示当前特征支持建筑物对象的信度，m(t)则表示支持非建筑物对象的信度，而m({t，f})＝1-m(t)-m(f)表示根据该证据不确定对象建筑物身份的信度，即支持未知的信度。

(3)建筑物多特征证据模型，本发明选取与建筑物密切相关的边缘证据模型，光谱证据模型，纹理证据模型，上下文证据模型，dsm证据模型，并对这些特征进行适合建筑物验证的模型化处理，定义概率分配函数。

(4)建筑物验证判定准则，通过对建筑物验证相关特征的分析与对应概率分配函数的定义，对建筑物对象进行处理，根据建筑物特征检测结果得到特征对应的概率分配函数，然后利用d-s证据理论的证据合成法则对特征对应的bpaf进行合成，得到综合多特征证据的概率分配函数。

根据d-s证据理论对信任函数bel的定义，可以计算得到建筑物存在的信任概率beli(t)，beli(f)。根据最大概率分配规则，定义建筑物验证判定准则如下：对于建筑物屋顶i，若beli(t)＞beli(f)，则认为不是建筑物屋顶；反之，认为当前对象是建筑物屋顶。

有益效果：本发明采用无人机影像作为输入数据源，设计基于跳层连接的深度全卷积神经网络进行建筑物屋顶提取，利用条件随机场进行建筑物屋顶边缘细化，结合现实建筑物屋顶的先验知识，实现了航空影像建筑物屋顶自动提取，具有较强的实用性，有较高的准确度，其创新点是：

(1)设计基于跳层连接的全卷积神经网络，在特征提取过程中引用基于跳层连接的残差模块进行特征学习，在反卷积过程中与卷积模块特征图进行特征融合，独特的网络设计能够较好的提取无人机影像建筑物特征。

(2)针对无人机影像建筑物屋顶提取存在的边缘粗糙问题，采用条件随机场对建筑物屋顶提取的初步结果进行边缘细化。

(3)针对建筑物屋顶提取存在的误检问题，引入d-s引入证据理论进行基于特征证据的建筑物屋顶验证，并创新性地引入多种建筑物特征作为建筑物屋顶验证线索。

附图说明

图1是基于全卷积神经网络的无人机影像建筑屋顶提取方法流程图；

图2是基于跳层连接的全卷积神经网络网络结构图；

图3是跳层连接结构图。

具体实施方式

本发明提出一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法，该方法针对无人机影像建筑物屋顶样本库，对样本进行旋转、模糊、gamma变换等，扩充样本数量，增加深度学习网络的鲁棒性。首先，采用基于跳层连接的卷积神经网络进行建筑物屋顶特征提取，针对卷积神经网络获得的建筑物屋顶特征图，利用反卷积进行特征重建。然后，利用训练好的网络模型对建筑物屋顶进行检测，对检测结果，利用条件随机场进行边缘细化，最后，引用d-s证据理论对建筑物屋顶提取结果进行推理验证，剔除误检对象。

以下结合附图详细说明本发明技术方案，技术流程如图1所示，实例的技术方案流程包括以下步骤：

步骤一：建立无人机影像建筑物屋顶样本库，通过外业航飞及内业处理得到无人机正射影像，对无人机影像手工勾画建筑物屋顶样本，为保证训练网络模型的适用性，加入部分开源高分辨率遥感影像建筑物屋顶标记数据，在获得建筑物屋顶样本库后，选取合适的方式对样本数量进行扩充，主要包括45°、90°、180°和270°旋转，扩充样本数量的同时，增加网络对不同方向房屋的鲁棒性，对图像进行gamma变换，gamma变换的基本公式如(1)所示：

s＝cr^γ(1)

其中c和γ为正常数，我们选取γ的系数为0.5和2，以增强模型对不同亮度环境下建筑物检测的适用性，对建筑物样本进行10-％的缩放和拉伸，在通过一系列样本扩充操作后，样本数量变为原图像30倍。

步骤二，设计基于跳层连接的全卷积神经网络，进行建筑物屋顶特征提取，并使用多孔卷积增加视野，以提取更多建筑物屋顶的特征。具体内容如下：

(1)基于跳层连接的卷积神经网络，本发明根据无人机影像建筑物特点，结合传统卷积神经网络的优缺点，设计了基于跳层连接的卷积神经网络，网络共有6个残差卷积模块和2个普通卷积模块，残差卷积模块共包含15层卷积层和6层池化层，普通卷积模块包含8层卷积层，具体网络结构如附图2所示，在卷积过程中采用批标准化进行参数优化，批标准化首先计算批处理的均值，基本公式如(2)所示，

其中为输入，其次计算批处理方差，基本公式如(3)所示，

然后对于进行标准化，基本公式如(4)所示，

最后进行尺度变换和偏移，得到输出yi，基本公式如(5)所示，

其中为输入，

激活函数选用relu将非线性特性引入网络，relu基本公式(6)所示，

f(x)＝max(0，x)(6)

为解决传统深度卷积神经网络在进行特征提取过程中存在的特征丢失问题，采用基于跳层连接残差模块进行特征学习，将残差卷积模块的输入层与输出层进行跳层连接，保证特征提取结果的同时，防止了梯度弥散与梯度爆炸，跳层连接示意图如附图3所示。

(2)基于反卷积的建筑物特征重建，在经过卷积层特征提取后，采用反卷积层进行无人机影像建筑物屋顶特征重建，反卷积层共包含6个反卷积模块，共包含6个反卷积上采样层和16层卷积层，具体网络结构如附图2所示，在反卷积特征重建过程中，将反卷积得到的无人机影像建筑物屋顶特征图与卷积过程中得到的特征图进行特征融合，利用卷积过程中的特征图进行辅助特征重建，特征重建后，利用sigmoid进行影像分类。

步骤三，用训练得到的网络模型进行建筑物屋顶检测，将待检测的无人机影像输入训练好的模型，得到无人机影像建筑物屋顶初步提取结果。

步骤四，利用条件随机场进行建筑物边缘细化，通过步骤三得到的无人机影像建筑物屋顶提取初步结果，虽然能够实现像素级别的图像分割，通常情况下，建筑物屋顶边缘不够精细，为了提高检测精度，我们选用条件随机场，对建筑物屋顶进行边缘细化，条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率不模型，能够较好地解决标记偏置问题，而且所有特征可以进行全局归一化，能够求得全局最优解。

条件随机场图像分割能量函数的构造：定义隐变量xi为像素点i的分类标签，它的取值范围是就是我们要分类的语义标签l＝{l1,l2,l3……}；yi为每个随机变量xi的观测值，也就是每个像素点的颜色值，条件随机场的图像语义分割的目标就是：通过观测变量yi，推理出潜变量xi的对应类别标签。

条件随机场(i|x)对应的gibbs分布：

(7)

其中：e(x|i)为能量函数，简化表示为e(x)；x属于标注集l，z(i)为归一化因子。

通过最小化式(1)中的能量函数，可以得到最优的像素分类结果。在全图的条件下定义能量函数：

(8)

其中：ψu(xi)为一元势函数，ψp(xi)＝-logp(xi)，p(xi)表示像素点i属于某类别标注的概率，deeplab提供。式(3)中的第二项ψp(xi，xj)为成对势函数，

其中：μ(xi，xj)为标签比较函数，xi≠xj时，μ(xi，xj)＝1，否则等于0，用于判断不同标签之间的兼容性；p表示位置信息，i表示颜色信息；θα用于控制位置信息的尺度；θβ用于控制颜色相似度的尺度；ω线性组合权重。式(3)的第二部分只与位置信息有关，θγ控制位置信息的尺度。

通过平均场近似(meanfieldapproximation)q(x)＝∏iqi(xi)，不断迭代更新q(x)，最终通过最小化p(x)与q(x)的k-l散度，得到模型的最优解。

步骤五，基于d-s证据理论的建筑物屋顶验证，相较于传统的建筑物屋顶验证，本发明以d-s证据理论作为建筑物推理验证的基础，加入建筑物屋顶的边缘、几何、光谱、上下文、dsm作为特征证据。具体内容如下：

(1)d-s证据理论基础

作为d-s证据理论的底层概念，首先将待验证建筑物对象所有可能结果的几何构成的空间进行划分，定义为验证框架记做x，并把x中所有子集组成的几何记作2^x，对于2^x中任何假设的几何a，都有m(a)∈[0，1]，并且

其中，m成为2^x上的概率分配函数(bpaf)，m(a)称为a的基本概率函数。

d-s证据理论定义了信任函数bel和似然函数pl来表示问题的不确定性，

即：

信任函数bel(a)表示对a为真的信任程度，也成为下限函数；似然函数pl(a)表示对a为非假的信任程度，则[bel(a)，pl(a)]为a的一个信任区间，信任区间刻画了对a所持信任度的上下限在有多个证据存在的情况下，可以使用dempster合成法则对多个bpaf进行合成，即

(2)建筑物屋顶验证d-s证据模型，由于建筑物屋顶验证只需要根据无人机影像中观察到的建筑物场景来验证建筑物身份，根据d-s证据理论，取辨识度框架x为{t，f}，t为非建筑物对象，f为建筑物对象，则有定义信度分配函数m({t，f}+m(t)+m(f))＝1，其中m(f)表示当前特征支持建筑物对象的信度，m(t)则表示支持非建筑物对象的信度，而m({t，f})＝1-m(t)-m(f)表示根据该证据不确定对象建筑物身份的信度，即支持未知的信度。

(3)建筑物多特征证据模型，本发明选取与建筑物密切相关的边缘证据模型，光谱证据模型，纹理证据模型，上下文证据模型，dsm证据模型，并对这些特征进行适合建筑物验证的模型化处理，定义概率分配函数。

(4)建筑物验证判定准则，通过对建筑物验证相关特征的分析与对应概率分配函数的定义，对建筑物对象进行处理，根据建筑物特征检测结果得到特征对应的概率分配函数，然后利用d-s证据理论的证据合成法则对特征对应的bpaf进行合成，得到综合多特征证据的概率分配函数。

根据d-s证据理论对信任函数bel的定义，可以计算得到建筑物存在的信任概率beli(t)，beli(f)。根据最大概率分配规则，定义建筑物验证判定准则如下：对于建筑物屋顶i，若beli(t)＞beli(f)，则认为不是建筑物屋顶；反之，认为当前对象是建筑物屋顶。

本发明采用无人机影像作为输入数据源，设计基于跳层连接的深度全卷积神经网络进行建筑物屋顶提取，利用条件随机场进行建筑物屋顶边缘细化，结合现实建筑物屋顶的先验知识，实现了航空影像建筑物屋顶自动提取，具有较强的实用性，有较高的准确度，其创新点是：

(1)设计基于跳层连接的全卷积神经网络，在特征提取过程中引用基于跳层连接的残差模块进行特征学习，在反卷积过程中与卷积模块特征图进行特征融合，独特的网络设计能够较好的提取无人机影像建筑物特征。

(2)针对无人机影像建筑物屋顶提取存在的边缘粗糙问题，采用条件随机场对建筑物屋顶提取的初步结果进行边缘细化。

(3)针对建筑物屋顶提取存在的误检问题，引入d-s引入证据理论进行基于特征证据的建筑物屋顶验证，并创新性地引入多种建筑物特征作为建筑物屋顶验证线索。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。