基于遥感图像的城市道路提取方法及装置与流程

本申请涉及计算机图像处理技术领域，尤其是涉及一种基于遥感图像的城市道路信息提取方法及装置。

背景技术：

遥感卫星的应用带来了海量的遥感图像数据。这些具有丰富地物信息的图像时刻影响着科技的发展和人们的日常生活。其中，道路信息是诸多信息中最基础和最重要的地理信息之一，基于遥感图像的道路信息提取在地理信息系统的数据库更新、智能交通系统、交通流量分析、应急风险管理和电子地图服务等诸多应用中具有重要价值。

传统的道路提取方法可以大致提取出图像中的道路信息，但对于不同分辨率下的图像，很难都产生高精度的提取结果。尤其是在城市道路提取方面，尽管道路目标越来多、越来越清晰，但由于存在着各种干扰，例如树木、绿化带和建筑物的阴影遮挡、道路上的车辆和标志线的影响等，导致传统方法难以对其精确识别并提取。

技术实现要素：

有鉴于此，本申请提供一种基于遥感图像的城市道路提取方法及装置，用以提高采用遥感图像进行城市道路提取的精确度。

根据第一方面，本申请的实施例提供了一种道路提取模型构建方法，其特征在于，包括：

利用gis信息进行遥感图像数据知识采集，获得图像数据，该图像数据包括遥感图像和对应的道路纯图；

对获得的图像数据进行预处理；

构建基于u-net网络的道路提取初始网络模型；

使用完成预处理的图像数据对所述初始网络模型进行训练，得到具有道路识别能力的道路提取模型。

结合第一方面，在一种可选的实现方式中，所述预处理包括：

将获得的原始遥感图像和原始道路纯图按照预定尺寸裁切；

对道路纯图进行二值化处理，得到仅有道路目标的二值图像，以及对遥感图像进行阈值分割，划分出含有道路信息的区域；

分析图像提取出道路特征。

结合第一方面，在一种可选的实现方式中，所述道路提取初始网络模型利用一级双层卷积及四级残差学习单元对输入的图像数据下采样，进行特征提取，利用三级叠加双层卷积单元上采样，对特征进行融合。

结合第一方面，在一种可选的实现方式中，所述残差学习单元后加入条状池化单元，用于提取图像不同尺度下的道路纹理特征。

结合第一方面，在一种可选的实现方式中，所述道路提取初始网络模型的每个上采样层连接对应的下采样上下三层。

结合第一方面，在一种可选的实现方式中，所述残差学习单元包括主干路和次干路，主干路通过将特征图像进行卷积、批量标准化、函数激活，再卷积、函数激活得到第一更新特征图像；次干路通过将特征图像进行一次卷积和批量标准化得到第二更新特征图像；所述第一更新特征图像与所述第二更新特征图像进行叠加输出。

结合第一方面，在一种可选的实现方式中，对选定的多处城市区域分别采集不同时序下的遥感图像和道路纯图。

根据第二方面，本申请的实施例提供了一种基于遥感图像的道路提取方法，包括：

获取待检测遥感图像；

利用根据第一方面各技术方案所述的道路提取模型构建方法获得的道路提取模型检测遥感图像，自动提取道路目标。

根据第三方面，本申请的实施例提供了一种基于遥感图像的道路提取装置，包括：

图像获取设备，用以采集待检测的遥感图像；

存储器，该存储器中存储有计算机指令；

处理器，该处理器与所述图像获取设备、存储器数据连接，其通过执行所述计算机指令，从而执行如第二方面所述的道路提取方法，自动提取所述遥感图像中的道路目标。

根据第四方面，本申请的实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令在被处理器执行时实现如第一方面各技术方案所述的道路提取模型构建方法，或者如第二方面所述的道路提取方法。

本发明通过直接采集gis信息可以获得大量的遥感图像数据用于道路提取网络模型训练。同时，针对城市道路的精化提取提出了一种改进的u-net网络模型，提高了遥感图像城市道路提取的精确度。

此外，由于遥感图像由遥感卫星在不同时间段下拍摄，在不同时序下，相机角度和光线角度的不同，可以获取测试影像在不同时序下的特征变化对于道路提取的影响，提升网络模型的鲁棒性，提高道路提取结果的准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其他特征、目的和优点将会变得更明显：

图1是根据本申请第一实施例的道路提取模型构建方法的示意性流程图；

图2是根据本申请实施例的基于u-net网络构建的城市道路精化提取网络模型示意图；

图3是根据本申请实施例的深度卷积网络中卷积工作原理；

图4是根据本申请实施例的深度卷积网络中残差学习单元模块示意图；

图5是根据本申请实施例的深度卷积网络中条形池化层模块示意图；

图6是采用本申请实施例提供的方法基于遥感图像进行道路提取的一个示例；其中，(a)为遥感图像，(b)为道路纯图，(c)为提取到的道路图像；

图7是根据本申请第二实施例的基于遥感图像的道路提取方法的示意性流程图；

图8是根据本申请第三实施例的基于遥感图像的道路提取装置结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，图1示出了根据本申请第一实施例的道路提取模型构建方法的示意性流程100，尤其是用于城市道路信息提取。如图所示，所述的道路提取模型构建方法包括以下步骤：

步骤101、利用gis信息进行遥感图像数据知识采集。

gis(geographicinformationsystem，地理信息系统)结合地理学与地图学以及遥感和计算机科学，已经广泛的应用在不同的领域，是用于输入、存储、查询、分析和显示地理数据的计算机系统。gis技术把地图这种独特的视觉化效果和地理分析功能与一般的数据库操作(例如查询和统计分析等)集成在一起，它可以对空间信息进行分析和处理，即对地球上存在的现象和发生的事件进行成图和分析，生成与地图类似的数字信息层。

本申请利用gis信息进行遥感图像数据知识采集，得到感兴趣的图像数据。gis信息可包括以下一项或多项：(1)数字地图中的遥感图像(2)数字地图中包含的道路纯图(3)数字地图中的道路标注。所获得的图像数据包括遥感图像和对应的道路纯图。其中，遥感图像例如可以是googleearth的谷歌影像，道路纯图例如可以是百度地图上的道路纯图。

在本申请的一个实施例中，利用gis信息进行遥感图像数据知识采集，可以是在数字地球或地图，例如googleearth或百度地图等上进行遥感图像和相应道路纯图的裁剪。具体包括以下步骤：

(1)使用软件图新地球(locaspaceviewer)添加谷歌影像、百度地图道路纯图等gis信息；

(2)选定合适的目标区域绘出矩形框；

(3)对所选框内不同gis信息实现不同层级图像数据下载。

其中，本申请在利用软件图新地球进行图像数据下载时，对选定的多处城市区域分别下载不同时序下的谷歌影像和道路纯图。因此，在使用上述图像数据进行后续的网络模型训练时，由于输入的训练数据包含同一地区不同时序的图像，可以满足测试集图像的多时序要求，对不同时间段拍摄的遥感图像，该网络模型都可以实现良好提取效果，从而有助于提升网络模型的鲁棒性，进而提高道路提取结果的准确性。

或者，在本申请的另一个实施例中，也可以是利用网络接口在数字地球或地图上下载道路gis信息。

在传统的深度网络学习过程中，所使用的训练数据多为人工标注，数据量小且耗时耗力，难以满足训练结果高精度要求。与之相比，本申请利用软件或网络gis信息数据直接完成数据采集，具有准确性、高效性，节省了数据准备时间。同时，可以不断下载大量数据，不断完成训练学习，提高道路提取的准确性。

步骤102、对获得的图像数据进行预处理。

针对在步骤101中得到的图像数据进行预处理，进行不同层次地预处理，具体包括：

首先，将获得的原始遥感图像和原始道路纯图按照预定尺寸裁切为具有相同大小的图像。例如，可以通过软件matlab对下载的整块图像数据进行裁切，得到相同大小的多幅原始图像数据，并对应地按照顺序对裁切后的图像进行标号。

然后，将得到的道路纯图转换为仅有道路目标的图像，以及将得到的遥感图像进行阈值分割，划分出含有道路信息的区域。

其中，可以通过对道路纯图进行二值化得到二值图像，实现道路纯图到仅有道路目标图像的转换。具体包括：首先，选取图像的某一波段进行处理，作为基本图像进行阈值分割，将该波段道路纯图转化为背景和道路分明的二值图像，背景为黑色，道路目标为白色。对于道路纯图，例如百度地图的道路纯图，由于第一波段对道路表示最为明显，因此本申请选取第一波段图像作为基本图像进行阈值分割。

或者也可以通过将图像转化为灰度图像进行处理获得二值图像。

其中，将遥感图像进行阈值分割，划分出含有道路信息的区域具体包括：针对不同背景类的遥感图像，设定不同的阈值进行阈值分割；针对不同波段，设定不同的阈值进行阈值分割。

进一步地，还可以将经过二值化、阈值分割处理得到的两类图像对应地进行左右翻转、角度旋转，实现图像数据增广。

最后，对图像进行分析，提取出道路特征。

道路特征例如包括纹理特征、几何特征、辐射特征、拓扑特征和上下文特征等。

在本申请的一个实施例中，特征提取包括：使用数学形态学的方法提取道路信息；使用边缘检测算子对图像中道路进行边缘特征提取；以及使用基于结构的方法和基于统计数据的方法进行纹理特征提取。

其中，使用数学形态学的方法提取道路信息包括：使用膨胀和腐蚀运算方式，以及开运算和闭运算

膨化：

腐蚀：

开运算：

闭运算：

式中，a为待处理图像，b为结构元素。

运用这些运算可以实现一系列数学形态学实用算法，如边界提取、目标提取、区域骨架提取等。

其中，使用边缘检测算子对图像中的道路进行边缘特征提取包括：使用基于多阶边缘算子的canny边缘检测算法；或者利用梯度信息进行边缘检测的sobel算子边缘检测算法。

canny算子边缘检测算法：

使用高斯滤波对图像进行消噪处理，得到一个轻度平滑的图像；并基于此，使用四个边缘检测器得到每一点的水平方向分量gx和竖直方向分量gy，并确定每一点的边缘梯度和方向。如下所示：

边缘梯度：

方向：

通过设定两个梯度门限值分别定义高低边界，以追踪到所有边缘的曲线。

sobel算子边缘检测算法：

计算每个像素的梯度并给出不同方向从明到暗的最大变化及其变化率，由此判断该区域成为边缘的概率。如下公式所示，使用3×3的掩模计算水平和垂直方向的变化梯度近似值：

水平方向掩模：

垂直方向掩模：

其中，*表示二维卷积运算。通过公式

确定总梯度大小及方向，得到最终边缘检测结果。

其中，使用基于结构的方法和基于统计数据的方法进行纹理特征提取包括：使用lbp方法进行纹理特征提取；或者使用灰度共生矩阵进行纹理特征提取。

使用lbp方法进行纹理特征提取时，将检测窗口划分为n×n，例如3×3、16×16的小区域，对于每个区域中的一个像素，将其环形邻域内的8个点进行顺时针或逆时针比较。如果中心像素值比其邻点大，则将邻点赋值为1，否则赋值为0，使得每个点获得一个8位二进制数。计算每个区域的直方图，即每个数字(假定是十进制数)出现的频率，并对该直方图进行归一化处理。最后将得到的每个区域的统计直方图进行连接，即可得到整幅图的lbp纹理特征。

由于计算lbp特征的图像必须是灰度图，因此可将遥感图像的任意一通道作为计算lbp特征的灰度图像。例如，由于r波段的图像对道路更敏感，因此本申请选择第一通道作为计算lbp特征的灰度图像。

将使用lbp方法完成特征提取后的图像加入原始图像作为第四通道，得到具有四通道的预处理图像。

使用灰度共生矩阵进行纹理特征提取时，对一幅图像定义一个方向和一个以像素为单位的步长。定义m(i，j)为灰度级为i和j的像素同时出现在一个点和沿所定义的方向跨度步长的点上的频率，则灰度共生矩阵为m(n×n)，其中n是灰度级划分数目。由于共生矩阵有方向和步长的组合定义，而决定频率的一个因素是对矩阵有贡献的像素数目，这个数目要比总共数目少，且随着步长的增加而减少。因此所得到的共生矩阵是一个稀疏矩阵，所以灰度级划分n减少到8级。

通过得到的灰度共生矩阵，计算图像对比度、相关度、能量和熵来表示不同的图像纹理信息，如以下公式：

对比度：con＝∑i∑j(i-j)²p(i，j)

相关度：

能量：asm＝∑i∑jp(i，j)²

熵：ent＝∑i∑jp(i，j)logp(i，j)。

通过上述图像预处理，能够增强训练图像中的道路特征信息，有效提升网络模型对道路识别、提取的敏感性，进而提升模型对道路提取的准确性。

步骤103、构建基于u-net网络的城市道路提取初始网络模型。

图2示出了根据本申请实施例的基于u-net网络构建的城市道路提取网络模型。如图2所示，该网络由编码路径、解码路径、网桥模块和分类器组成。编码路径由四级上下编码器组成，对应图中残差学习单元1-4，各单元具有不同大小的特征映射。解码路径包括三个相应的解码器，对应图中的三个叠加型双层卷积。

将训练图像数据输入到网络中，经过残差学习单元模块进行特征提取，再送入上采样双层卷积模块进行特征融合，最后通过一个分类器得到最终的预测结果。通过计算预测结果与真值之间的误差，并由梯度反馈将误差传回，可以修正各模块参数，最终达到最佳模型。

根据本申请实施例构建的网络模型，不同路径的各模块主要内容均为卷积与反卷积。如图3所示，前一层特征图某5×5区域待处理，各像素值表示为aij，3×3卷积核算子k(灰度区域中右下角数值)滑动遍历该区域，实现对应数值相乘再相加，可得卷积处理的后一层特征图而反卷积即为卷积操作的反向操作，通过插值将3×3特征区域补充为5×5的特征区域。

因此，在编码路径中，卷积操作可使得后一层特征图中每个像素所代表的图像特征区域比前一层更大，提高了网络模型的感受野，可以捕捉图像中的上下文信息。网络模型中每一层分别表示不同尺度下的图像信息，网络越深，尺度越大。

而与之相对称的解码路径则是通过反卷积操作，对图像中需要分割出来的道路部分进行精准定位。

同时，本申请还在u-net网络下采样d残差学习单元后加入条状池化模块p(strippooling)，该模块中分别使用不同方向的3×5条状卷积核算子完成计算，用于提取图像不同尺度下的道路纹理特征，提取图像条状信息，突出道路信息。

此外，本申请还在u-net网络加入多尺度网络结构m，每个上采样层u连接对应的下采样d上下三层，例如下采样d中的双层卷积、残差学习单元1、残差学习单元2的输出均与上采样u中的一叠加双层卷积连接。本申请通过加入多尺度网络结构，可以整合不同层级的粗略和细节信息，能够更多地看到上下文信息，使得网络深层模块能够通过宽视野对被遮挡部分道路进行联想，有助于提取完整道路目标。例如，对于城市图像来说，如果道路上下都是建筑，那么在检测的时候遇到上下都是建筑、中间有一条状物时很有可能就是道路。同时，网络浅层模块能够添加细节信息，对道路目标进行精准定位，从而获得更好的结果精确度。

图4示出了残差学习单元的基本结构。如图所示，残差学习单元包括主干路和次干路，两个支路并行构成一个残差学习单元。主干路包含两个卷积层，进行两次卷积操作，并进行批量标准化(bn)和激活操作(relu)；次干路包含一个卷积层，进行一次卷积操作，并进行批量标准化(bn)。

将提取到的前级图像特征图输入到残差学习单元中，分别经过两路卷积计算：主干路通过将特征图像(设为x)进行卷积、批量标准化、函数激活，再卷积、函数激活得到第一更新特征图像，该路计算可用函数f1(x)表示；次干路通过将特征图像进行一次卷积和批量标准化得到第二更新特征图像，该路计算可用函数f2(x)表示。最终将两路特征图像进行叠加输出，而整体残差学习单元的函数表示可为h(x)＝f1(x)+f2(x)。由此可以转换为学习一个残差函数f1(x)＝h(x)-f2(x)，只要f1(x)＝0，就构成一个简单映射h(x)＝f2(x)。采用上述结构的残差学习单元可以学习到两路残差，作为优化项，后向传播求得最优解。

本申请通过将resnet残差学习单元(residualblock)和u-net基本网络模型结合，每个resnet残差学习单元作为u-net网络下采样的各层级结构，通过学习单元输入与输出的差别，利用学习残差代替学习原有的图像特征，能够更容易优化网络中模块参数，缓解梯度消失的问题，增加模型的训练速度，提高训练效果，进而提升道路提取准确度。

图5示出了条形池化层的框架结构。如图所示，将前级特征图像分别输入到具有不同方向的条形池化层，完成卷积运算，提取条状特征。即该4类条形池化模块分别对输入特征图像进行条形卷积，得到4幅更新特征图像，与输入图像实现叠加输出。

在本申请中，条形池化层采用不同尺度的最大池化，将输入划分为不同方向的条状区域，在每一部分融合条状上下文信息，最后拼接在一起，进一步强化特征表示能力，从而可以消除传统方形池化区域带来的冗余信息。

通过先验知识可得，道路为具有一定宽度的条状目标。因此，本申请通过加入条状池化层模块，可以提取某一像素周围局部区域不同方向的条状特征，能够结合条状区域的空间信息实现对中心像素的有效判别，提升道路判别准确性。

步骤104、使用完成预处理的遥感图像数据对所述网络模型进行训练，得到具有道路识别能力的模型。

将完成预处理的图像数据输入到图2所示网络模型中。使用构建的网络模型对带标签的训练图像数据集(如图6(a)、(b))进行学习，得到初始化参数的网络模型；使用该模型对验证集图像进行道路提取预测，得到道路提取预测图像；通过对比预测结果(如图6(c))与道路真值图像(如图6(b))之间的区别，得到预测误差loss值；最后，将预测误差loss值传回网络中，进行梯度反馈，修正网络中各个模块单元参数。

通过预定次数的循环计算，使得最终预测误差在设定阈值范围内，预测结果准确度在期望范围内，得到具有准确提取道路能力的网络模型。

尽管上述实施例以步骤先后顺序描述了道路提取模型构建方法，然而本领域技术人员可以理解，上述步骤并非严格按照上述先后顺序执行。例如构建基于u-net网络的城市道路提取初始网络模型的步骤可以在该方法中最先执行，或者在对图像预处理步骤之前执行。

根据本申请的第二实施例，本发明还提供了一种基于遥感图像的道路提取方法，尤其是基于城市遥感图像，实现对城市道路信息进行自动提取。如图7所示，该道路提取方法包括如下步骤：

步骤201、获取待检测遥感图像。所述遥感图像例如可以卫星遥感图像、航拍图像等。

步骤202、利用训练好的道路提取模型检测遥感图像，自动提取城市道路目标。

根据本申请第一实施例已训练好的网络模型具有最优组合参数。将遥感图像(如图6(a)所示)输入网络模型中，利用已经调整好参数的卷积、池化等模块对图像进行计算，实现特征提取，最后输入分类器将道路准确分离出来。该过程耗时很短，因此可以实现大量城市遥感图像自动精化提取。

由于本申请在训练道路提取模型时所采用的训练数据为选定多处城市区域分别下载不同时序下的谷歌影像和道路纯图，包括各时间段拍摄的遥感图像，因此即便存在阴影遮挡，该网络模型也可以实现良好的提取效果，进而提高了道路提取结果的准确性。

同时，本申请所采用的网络模型中，条形池化层采用不同尺度的最大池化，将输入划分为不同方向的条状区域，在每一部分融合条状上下文信息，最后拼接在一起，进一步强化特征表示能力，从而可以消除传统方形池化区域带来的冗余信息。

此外，本申请所采用的网络模型中，通过加入条状池化层模块，可以提取某一像素周围局部区域不同方向的条状特征，能够结合条状区域的空间信息实现对中心像素的有效判别，提升道路判别准确性。

根据本申请的第三实施例，本发明还提供了一种基于遥感图像的道路提取装置，尤其是基于城市遥感图像，实现对城市道路信息进行自动提取。该道路提取装置可以由软件和/或硬件实现，并一般集成在能够进行即时定位与地图构建的计算机设备中。如图8所示，该装置300包括图像获取设备301、存储器302以及处理器303。其中，图像获取设备301、存储器302以及处理器303可以通过总线或者其他方式连接。

其中，图像获取设备301用以采集待检测的遥感图像，并将该待检测的遥感图像发送至处理器303。

处理器303可以为中央处理器(centralprocessingunit，cpu)，或者其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器302作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请第一实施例中的道路提取模型构建方法或本申请第二实施例中的道路提取方法对应的程序或指令。处理器303通过运行存储在存储器302中的非暂态软件程序或指令，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的道路模型构建方法或基于遥感图像的道路提取方法。

存储器302可以包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需要的应用程序；数据存储区可存储处理器302所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些方面中，存储器302可选地包括相对于处理器303远程设置的存储器，这些远程存储器可以通过网络连接至处理器303。可选地，上述网络包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请发明构思的情况下，可以对本本申请实施例的技术方案进行修改或等同替换都不应脱离本申请实施例的技术方案的精神和范围。