一种山景资源智能识别方法及系统

1.本发明涉及人工智能图像识别领域，特别涉及一种山景资源智能识别方法及系统。


背景技术：

2.中国自古以来便有结合自然山水进行聚落营建的优秀城乡规划传统，这是中华民族在数千年的城市规划建设实践中世代累积经验的结晶，蕴藏着极具中国智慧的规划原理和方法。中国城乡规划首先要寻找自然山水的秩序，人工建设是遵照呼应山水秩序而进行的。在寻找自然山水的秩序的过程中，山景资源作为一种特殊的资源禀赋，往往被赋予了特殊的含义。由此逐渐形成了“寻天造地设之巧，在人善于黠缀耳”的中国思维。这些传统营建智慧对我们当今的城乡规划设计极具借鉴意义。
3.但是，在实际规划设计实践中，由于技术人才匮乏，此类规划设计观念往往难以得到广泛推广。面对大量城市与乡村的规划设计需求，亟需研发一种科学智能的应用系统，辅助城乡规划设计，传承我们优秀的传统智慧。
4.当前还没有一种寻找与识别城乡山景资源的科学方法与应用系统。针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

5.鉴于以上所述问题，本发明提供了一种山景资源智能识别方法及系统，用于智能识别山景资源类型。
6.具体的，根据本发明的第一个方面，提供了一种山景资源智能识别方法，包括如下步骤：
7.拍摄山景图片，将拍摄的图片输入训练好的图片山景资源分割系统中，得到包含有效山峰信息的区域；
8.将得到的包含有效山峰信息的区域输入曲线提取算法中，利用分水岭分割方法，得到山峰轮廓曲线；
9.将得到的山峰轮廓曲线输入训练好的轮廓曲线分类系统，得到山峰分类结果。
10.进一步地，所述训练好的图片山景资源分割系统的训练过程为：
11.收集包含山景信息图像资料，建立图片样本库；
12.在所述图片样本库中选择图片样本，输入图片分割算法深度学习模型中，利用darknet
‑
53特征提取网络，获得自动分割图片中的山景资源信息的模型参数；
13.根据所述模型参数得到训练好的图片山景资源分割系统。
14.进一步地，所述得到包含有效山峰信息的区域的过程为：
15.通过置信度来选择合适的边框对山目标进行标记，再通过非极大抑制选出置信度最高的边框；其中置信度表示如(1)式：
16.confidence＝p(disease)
×
iou
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
17.p(disease)表示目标框内含有山的概率，iou为真实方框和预测边框的交集与其并集的比值。
18.进一步地，所述边框的参数为：
[0019][0020]
其中，(cx,cy)是图片分割算法深度学习模型的特征层小网格的左上角坐标，(aw,ah)为预设的先验框映射到特征层中的宽和高，w和h为特征层的大小，(tx,ty,tw,th)为山目标的位置信息，(bx,by,bw,bh)为得到的方框坐标。
[0021]
进一步地，所述曲线提取算法包括：
[0022]
g(x,y)＝grad(f(x,y))＝{[f(x,y)
‑
f(x
‑
1,y)]2[f(x,y)
‑
f(x,y
‑
1)]2}0.5
[0023]
式中，f(x,y)表示原始图像，grad{.}表示梯度运算。
[0024]
进一步地，所述训练好的轮廓曲线分类系统的训练过程包括：
[0025]
对图片样本库中的图片样本进行自动标注；
[0026]
对标注后的图片样本进行轮廓提取，得到山峰轮廓曲线；
[0027]
将所述山峰轮廓曲线进行数据增强，得到增强后的山峰轮廓曲线；
[0028]
将所述增强后的山峰轮廓曲线输入分类模型中进行训练，得到训练好的轮廓曲线分类系统。
[0029]
进一步地，所述数据增强包括：
[0030]
对所述山峰轮廓曲线进行随机裁剪、旋转、缩放和/或翻转操作；或者
[0031]
对所述山峰轮廓曲线加噪，每条曲线的纵坐标加上一个该纵坐标点0.1倍的随机数。
[0032]
进一步地，所述分类模型采用vgg卷积神经网络，其13层卷积层和5层池化层负责进行特征的提取，最后的3层全连接层负责完成分类任务。
[0033]
进一步地，所述图片分割算法深度学习模型包括：darknet
‑
53特征提取网络和yolo v3预测网络。
[0034]
根据本发明的第一个方面，提供了一种山景资源智能识别系统，包括：
[0035]
区域分割模块，用于接收拍摄的山景图片，将拍摄的图片输入训练好的图片山景资源分割系统中，得到包含有效山峰信息的区域；
[0036]
轮廓曲线提取模块，用于将得到的包含有效山峰信息的区域输入曲线提取算法中，利用分水岭分割方法，得到山峰轮廓曲线；
[0037]
山景资源分类模块，用于将得到的山峰轮廓曲线输入训练好的轮廓曲线分类系统，得到山峰分类结果。
[0038]
本发明通过对客观山景类型的系统梳理与总结提炼，识别类型全，得到涵盖信息全面的山景资源类型；识别准确度高，通过分割算法、提取算法和分类算法等三个模块的组合，提高了山景资源识别的准确度。
附图说明
[0039]
附图1为本发明实施例1的一种山景资源智能识别方法流程图；
[0040]
附图2为本发明分割算法整体结构图；
[0041]
附图3为本发明分割识别方框图；
[0042]
附图4为本发明分水岭算法步骤流程图；
[0043]
附图5为本发明数据增强步骤的原图；
[0044]
附图6为本发明数据增强步骤的效果图；
[0045]
附图7为本发明vgg卷积神经网络流程图；
[0046]
附图8为本发明卷积过程示意图；
[0047]
附图9为本发明最大池化过程示意图；
[0048]
附图10为本发明包含山景资源的图片经过区域分割后得到的区域示意图；
[0049]
附图11为本发明经过曲线轮廓提取后得到的曲线轮廓图；
[0050]
附图12为本发明经过曲线轮廓分类后得到的输出结果示意图。
具体实施方式
[0051]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合幅图及实施例，对本发明进一步详细说明。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了同步示出本发明的示例来提供对本发明的更好理解。本发明绝不限于下面提出的任何具体配置，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本发明造成不必要的模糊。
[0052]
本发明提供一种能够智能识别山景资源，辅助城乡规划设计的方法及其应用系统。
[0053]
一、系统组成
[0054]
如图1所示，一种山景资源智能识别方法及其系统，该系统由一个样本库、三个模块与11个数据连接组成：
[0055]
1、一个样本库：
[0056]
即图中
①
图片样本库，指未经筛选分类的包含山景资源信息的图片集；
[0057]
2、三个模块：
[0058]
(1)区域分割模块，用于图片中有效信息的分割，包括：
[0059]
②
分割模型训练：通过一种基于图片分割算法的深度学习模型，对图片中的山景资源信息进行识别与分割训练；
[0060]
具体的，本发明在图片样本库中选择图片样本，输入图片分割算法深度学习模型中，利用darknet
‑
53特征提取网络，获得自动分割图片中的山景资源信息的模型参数。
[0061]
⑦
区域分割：基于分割模型训练参数的图片山景信息自动分割，用于自动分割图片中的山景资源，形成分割区域。
[0062]
本发明的区域分割模块，如图2所示，图2的右半部分为yolo v3预测网络结构图，左侧主干网络的最后一个特征层输出后经过5次卷积分为两路，右支路进行分类识别和回
归识别，上支路进行上采样，上采样会使得特征层的宽高得到扩张，将会与主干网络倒数第三层的输出结果进行堆叠，利用构建出的特征金字塔可以进行多尺度特征融合，提取出更有效的特征，接下来将主干网络倒数第五层的输出与主干网络后两层进行堆叠、卷积、上采样后的结果进行堆叠，这样就分别输出13
×
13、26
×
26、52
×
52大小的特征层来进行识别，特征层的深度均为3
×
((1+4)+1)＝18，其中3为特征层种类，第一个1为判断山的置信度(confidence)，置信度表示如(1)式：
[0063]
confidence＝p(disease)
×
iou
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0064]
p(disease)表示目标框内含有山的概率，iou(交并比)为真实方框和预测方框的交集与其并集的比值，通过置信度来选择合适的边框对山目标进行标记，再通过非极大抑制(non
‑
maximum suppression，nms)最终选出置信度最高的方框。4为山目标的位置信息(tx,ty,tw,th)。第二个1为所要识别的山景资源总类数。实际目标的识别方框参数可以写为(2)式：
[0065][0066]
其中，(cx,cy)是特征层小网格的左上角坐标，在yolo v3中每个小网格在特征层中的宽和高均为1，(aw,ah)为预设的先验框映射到特征层中的宽和高，w和h为特征层的大小，最终得到的方框坐标为(bx,by,bw,bh)。识别方框效果如图3所示。
[0067]
(2)轮廓提取模块：即图中
⑧
轮廓曲线提取，指通过一种基于曲线提取算法的山景轮廓提取，提取山景资源轮廓，形成轮廓曲线。
[0068]
轮廓提取模块中，将图片转换为灰度梯度级图像，在图像灰度梯度空间逐渐增加一个灰度阈值，每当它大于一个阈值时就把当时的二值图像与前一时刻的二值图像进行逻辑抑或操作，从而确定出灰度局部极大值的位置。根据所有灰度极大值的集合就可确定分水岭。步骤如下(图4)：
[0069]
1)当前待处理图像为f(x,y)，灰色梯度图像为g(x,y)。
[0070]
2)灰色梯度图像g(x,y)中的局部极小值像素用p1,p2,...,pr表示，g(pi)为与pi位置对应的像素坐标集合。
[0071]
3)n表示灰度阈值，t[n]代表(u,v)像素几集合，g(u,v)<n。
[0072]
4)对pi所在区域，gn(pi)为一幅二值图。
[0073]
5)t[n]中的连通组元集合用s表示。
[0074]
6)当s∩g(n
‑
1)里包含g(n
‑
1)中一个以上的连通组元时，需要在s中建分水岭。
[0075]
曲线提取通过下式计算：
[0076]
g(x,y)＝grad(f(x,y))＝{[f(x,y)
‑
f(x
‑
1,y)]2[f(x,y)
‑
f(x,y
‑
1)]2}0.5
[0077]
式中，f(x,y)表示原始图像，grad{.}表示梯度运算。
[0078]
(3)山景资源分类模块，用于图片的识别与分类，包括：
[0079]
③
自动标注：根据自然界的客观山景资源类型，提炼出包括提取包含笔架山、文笔山、马鞍山、骆驼山、天阙、纱帽山、柱山、屏山、凤凰山、莲花山、五峰山、印山、玉几山、鱼山、
笏山等15种山景类型，并提取山景信息的区域集；
[0080]
④
轮廓提取：指通过一种基于曲线提取算法的山景轮廓提取，提取山景资源轮廓，形成轮廓曲线；具体方法同图中
⑧
。
[0081]
⑤
数据增强：指通过一种基于曲线增强算法的轮廓曲线数据增强，对现有数据集中轮廓曲线加噪等方式，将现有轮廓曲线的数据量增强到原来15倍；
[0082]
对于数据集比较少的情况，本发明可以用到数据增强，扩充数据集，在进行神经网路模型训练，从而提高模型识别的准确率。
[0083]
数据增强其实就是让图片变得更加多样。比如说例如图5所示，原图是一条山形曲线，如果不使用数据增强的话这个曲线就只是一个曲线，每次训练的曲线都是这样的样子的，但是我们实际生活中山形是多样的。
[0084]
因此本发明可以通过旋转随机范围角度、缩放和水平翻转等方式使得图像变得更加多种多样，如下图6所示。
[0085]
实现方法：
[0086]
1)随机角度翻转：rotation_range＝30，在30度之间随机翻转；
[0087]
2)随机宽度偏移：width_shift_range＝0.1，宽度偏移为原图0.1倍；
[0088]
3)随机垂直偏移：height_shift_range＝0.1，高度偏移为原图0.1倍；
[0089]
4)随机剪裁：shear_range＝0.2，剪切强度(逆时针方向的剪切变换角度)；
[0090]
5)随机放大：zoom_range＝0.2，随机缩放的幅度，若为浮点数，则相当于[lower,upper]＝[1
‑
zoom_range,1+zoom_range]；
[0091]
6)随机水平翻转：horizontal_flip＝true，进行随机水平翻转。
[0092]
⑥
分类模型训练：指通过一种基于曲线分类算法的深度学习模型，对大量轮廓曲线进行分类训练；
[0093]
本发明的深度学习模型采用vgg卷积神经网络，其13层卷积层和5层池化层负责进行特征的提取，最后的3层全连接层负责完成分类任务。
[0094]
卷积核：
[0095]
conv的stride为1，padding为1。
[0096]
maxpooling的size为2，stride为2。
[0097]
⑨
轮廓曲线分类：基于分类模型训练参数的轮廓曲线自动分类，对轮廓曲线自动分类，形成分类结果。
[0098]
流程图见图7。
[0099]
(1)卷积
[0100]
image为需要进行卷积的图片，而convolved feature为卷积后得到的特征图(见图8)。图中左上角的3x3矩阵即为filter，image为5x5大小的一维图像，filter为3x3大小的一维矩阵。卷积过程是：filter与image对应位置相乘再相加之和，得到此时中心位置的值，填入第一行第一列，然后在移动一个格子(stride＝1)，继续与下一个位置卷积
…
最后得到是3x3x1的矩阵。
[0101]
卷积后的结果矩阵维度＝(image矩阵维数
‑
filter矩阵维数+2xpad)/2+1
[0102]
宽width：3＝(5
‑
3+2x0)/1+1
[0103]
高height：3＝(5
‑
3+2x0)/1+1
[0104]
经过padding填充，那么卷积后图片大小不会发生改变，如5x5的图像大小，padding＝1变成7x7，再用3x3的filter进行卷积，那么卷积后的宽高为(7
‑
3+2x1)/1+1＝7。
[0105]
(2)最大池化(max pooling)
[0106]
最大池化就是取filter对应区域内最大像素值替代该像素点值，其作用是降维。在这里，池化使用的滤波器都是2*2大小，因此池化后得到的图像大小为原来的1/2。图9为最大池化过程。
[0107]
(3)卷积计算过程
[0108]
1)输入图像尺寸为224x224x3，经64个通道为3的3x3的卷积核，stride为1，padding＝1填充，卷积两次，再经relu激活，输出的尺寸大小为224x224x64；
[0109]
2)经最大化池化max pooling，滤波器为2x2，步长为2，图像尺寸减半，池化后的尺寸变为112x112x64；
[0110]
3)经128个3x3的卷积核，两次卷积，relu激活，图像尺寸变为112x112x128；
[0111]
4)max pooling池化，尺寸变为56x56x128；
[0112]
5)经256个3x3的卷积核，三次卷积，relu激活，图像尺寸变为56x56x256
[0113]
6)max pooling池化，图像尺寸变为28x28x256；
[0114]
7)经512个3x3的卷积核，三次卷积，relu激活，图像尺寸变为28x28x512
[0115]
8)max pooling池化，图像尺寸变为14x14x512；
[0116]
9)经512个3x3的卷积核，三次卷积，relu，图像尺寸变为14x14x512
[0117]
10)max pooling池化，图像尺寸变为7x7x512；
[0118]
11)然后flatten()，将数据拉平成一维向量，变成512x7x7＝25088。
[0119]
12)再经过两层1x1x4096，一层1x1x1000的全连接层(共三层)，经relu激活；
[0120]
13)最后通过softmax输出1000个预测结果。
[0121]
3、11个数据连接，包括：
[0122]
连接a：拍摄得到新图片，将图片补充到
①
中；
[0123]
连接b：拍摄得到新图片，输入到
⑦
中；
[0124]
连接c：将
①
中输出的图片样本，输入
②
，进行分割模型训练；
[0125]
连接d：将
②
中的输出参数，输入
⑦
，完成区域分割模块；
[0126]
连接e：将
⑦
中输出的区域，输入
⑧
，进行轮廓曲线提取；
[0127]
连接f：将
⑧
中输出的轮廓曲线，输入
⑨
，进行轮廓曲线分类；
[0128]
连接g：将
①
中输出的图片样本，输入
③
，进行自动标注；
[0129]
连接h：将
③
中输出的区域，输入
④
，进行轮廓曲线提取；
[0130]
连接i：将
④
中输出的轮廓曲线，输入
⑤
，进行数据增强；
[0131]
连接j：将
⑤
中输出的大量轮廓曲线，输入
⑥
，进行分类模型训练；
[0132]
连接k：将
⑥
中的输出参数，输入
⑨
，完成山景资源分类模块；
[0133]
连接l：输出分类结果。
[0134]
二、操作步骤
[0135]
本发明是通过以下技术方案来实现：
[0136]
步骤一：收集照片影像、古图和数字高程模型(dem)等包含山景信息图像资料，建立图片样本库；
[0137]
步骤二：在图片样本库中选择图片样本，输入图片分割算法深度学习模型中，利用darknet
‑
53特征提取网络，获得自动分割图片中的山景资源信息的模型参数；
[0138]
步骤三：根据现实中对于山景资源的描述，对图片样本库进行筛选与分类，包括15种不同的类型，得到包含有效图片信息的区域；
[0139]
15种类型包括：笔架山、文笔山、马鞍山、骆驼山、天阙、纱帽山、柱山、屏山、凤凰山、莲花山、五峰山、印山、玉几山、鱼山、笏山。
[0140]
步骤四：将得到的包含有效图片信息的区域输入曲线提取算法中，利用分水岭分割方法，得到轮廓曲线；
[0141]
曲线提取通过下式计算：
[0142]
g(x,y)＝grad(f(x,y))＝{[f(x,y)
‑
f(x
‑
1,y)]2[f(x,y)
‑
f(x,y
‑
1)]2}0.5
[0143]
式中，f(x,y)表示原始图像，grad{.}表示梯度运算。
[0144]
步骤五：将得到的轮廓曲线输入曲线增强算法中，对现有数据集中轮廓曲线进行加噪等操作，将现有轮廓曲线的数据量增强到原来15倍，得到大量曲线轮廓线；
[0145]
通过以下两种方法实现数据增强：方法1为对提取出来的曲线图像进行随机裁剪、旋转、缩放和翻转等操作；方法2为对现有数据集中曲线加噪，每条曲线的纵坐标加上一个该纵坐标点0.1倍的随机数。
[0146]
步骤六：将得到的大量曲线轮廓线输入图片分类算法深度学习模型中，利用vgg模型，训练模型自动分类轮廓曲线，得到模型参数；
[0147]
步骤七：将拍摄的图片输入由步骤二中的模型参数构成的图片山景资源自动分割系统中，得到包含有效图片信息的区域；
[0148]
步骤八：将得到的包含有效图片信息的区域输入曲线提取算法中，利用分水岭分割方法，得到轮廓曲线；
[0149]
步骤九：将得到的轮廓曲线输入由步骤六中的模型参数构成的轮廓曲线自动分类系统，得到分类结果。
[0150]
发明实验效果图
[0151]
输入一张包含山景资源信息的图片，系统首先通过区域分割模块，提取图片中包含有效信息的区域(如图9)；其次通过轮廓曲线提取模块，将包含有效信息的区域转换为轮廓曲线(如图10)；最后，通过山景资源分类模块，将轮廓曲线分类，输出分类结果(如图11)。
[0152]
以上仅仅是本发明的优选实施例，本发明还可以被其他的具体形式实现，而不脱离其精神和本质特征。上述实施例在所有方面被看作是示例性的而非限定性的，不应被视作对本发明的限制。在不脱离本发明上述基本技术思想的前提和精神下，本发明还可以做出多种形式的修改，替换或变更，来获得与本发明类似的效果。本发明的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明内。