机场湿滑道面抗滑能力的检测模型和检测方法与流程

1.本发明涉及机场沥青道面抗滑和人工智能技术领域，尤其是涉及一种基于场景图分割和多模态的检测模型和基于模型的机场湿滑道面抗滑能力检测方法。


背景技术：

2.机场沥青道面的安全性能很大程度上取决于天气状况，因为湿滑的道面会引起道面摩擦力减小，从而导致碰撞的风险。所以，及时的道面湿度状况反馈对于安全驾驶非常重要，如对于实时的导航规划和自动驾驶，及时的刹车系统的调整从而减少刹车距离，从而提高驾驶的安全性。传统的道面湿度状况可以通过侵入式的嵌入道面的传感器或者非侵入式的安装在道面上的传感器来测量。但是，侵入式的传感器装置容易受到道面交通的破坏，维护和替换的难度很大；而安装于道面之上的非侵入式传感器则维护成本比较高，而且随着时间的推移，极容易损坏。
3.随着深度学习在图像识别领域的发展和应用，本发明使用了图像和视频数据源，充分利用了图像里蕴含的丰富信息，提出了一种场景图分割和多模态的机场湿滑道面抗滑能力检测方法和系统，能够使用视频抓取的机场道面画面和测量的湿度数据，训练出图像分割模型和天气湿度预测模型，从而根据模型，可以输入未知的机场图片，预测出当前的天气湿度状况。该预测结果能够对机场的驾驶起到指导作用，对于无人驾驶场景，能够针对天气状况对速度以及制动系统作调整，从而在湿滑道面上，减少制动距离，提高驾驶的安全性。


技术实现要素：

4.本发明提供一种基于场景图分割和多模态的机场湿滑道面抗滑能力检测模型的训练方法，包括如下步骤：
5.s1：通过高速相机收集机场在不同的天气状况下的高清照片并测量机场的湿度得到湿度状态；
6.潮湿状态分为5个级别，分别为0-极干燥，1-干燥，2-稍潮湿，3-一般潮湿，4-极潮湿；
7.s2：图像标注
8.图像的标注分两个方向同时进行，一个方向是分割标注，另一个是湿度标注；
9.s3：在分割标注方向，使用labelme软件，通过多边形描出图像上的道面、天空、飞机、绿化四类物体的轮廓，然后保存为json格式的文件；
10.s4：在湿度标注方向，把照片和s1采集的湿度数据按照级别分别放在0到4这5个文件夹里，图片根据当时拍摄的湿度等级放入对应的文件夹，则标记完成；
11.s5：使用s3标注的图像，训练一个图像分割模型(apsegnet)；
12.s6：通过s3标注的图像和s4标注的图像对应的道面湿度，进行多模态场景图像道面湿度预测模型训练，得到一个湿度预测模型(aphumidnet)。
13.本发明还提供一种上述方法构建的机场湿滑道面抗滑能力检测模型。
14.本发明还提供一种基于上述模型的机场湿滑道面抗滑能力检测方法，具体步骤如下：
15.(1)通过高速摄像头拍待检测机场道面的场景图像，图像尺寸512x512，加载apsegnet图像分割模型，通过分割模型来分割出道面、天空、飞机、绿化四类物体，然后加载湿度预测型模型，将分割的物体的图像输入到湿度预测模型，预测道面湿度状态；
16.(2)通过预测到的湿度状态得到对应的影响因子，最后得到机场的当前抗滑力状态下的bpn值；
17.当前抗滑力状态下的bpn值＝干燥条件下的抗滑力bpn
×
影响因子(a)(11)。
18.除此之外，本发明还提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述检测方法步骤；和一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述检测方法步骤。
19.本发明的一种基于机场场景图像分割模型(apsegnet)和湿度预测模型(aphumidnet)的机场道面湿度的预测方法和系统，能够对机场的道面进行湿度检测，由于湿度不同，对于道面的抗滑能力有所影响，那么可以计算新的图像中道面抗滑因子并反馈给驾驶系统，进行速度调整或者刹车系统的调整，以便达到较短的刹车距离，保证驾驶安全。本发明的技术优点集中体现为：(1)使用的图像分割模型(apsegnet)架构，对于机场场景图，该编码器-解码器架构的模型可以更好地将场景图的特征进行像素级别的分不同尺寸的提取，然后解码器部分将特征进行尺寸还原，从而一步一步地实现像素级别的分割，进而将道面、天空、飞机、绿化四个类别实现精确的像素级别的分割。(2)采用下采样模块，能够对图进行特征提取，在尺寸变小的情况下，根据道面、天空、飞机、绿化的颜色和纹理分布，实现图的特征最大程度的保留；采用上采样模块，则是将尺寸小的特征还原，但是又保证了特征图不会失真，最终还原到原来的图像大小，并且达到了像素级别的精确分割。(3)对于机场场景图，采用移动窗口分块多层感知机，能够通过对场景图的特征图进行移动窗口分块操作，在各个窗口进行特征的信息交换和融合，从全局上分辨道面、天空、飞机、绿化的不同类别，实现精确的分割。(4)对于机场场景图，采用补丁嵌入模块，能够把场景图的特征图进行尺寸减少，但是主要的颜色和纹理特征并不损失，从而为后面的分割做好准备。(5)对于机场场景图，采用了横向和纵向的移动窗口，能让特征提取的卷积函数更加聚焦在特征图的特定位置，如：带有白云的天空的明显位置，长有植物的绿化带等，进而引入更加完备的特征图的位置信息。(6)对于机场场景图，深度卷积能有效地把道面、天空、飞机、绿化各个层的特征进行有效分离，在不同的层次上充分利用相同位置的有效信息。(7)湿度预测的模型aphumidnet能够对提取的道面、天空、绿化和掩膜的飞机的向量，采用多模态的特征融合方式，可以在不同角度融合道面、天空、绿化和掩膜的飞机的特征，该特征所表示的向量包含了道面、天空、绿化之间的一些联系，如：天空的位置在最上面、绿化环绕着道面；该特征也会充分考虑进去道面湿度和绿化的颜色以及天空所展示出来的景象之间的联系，如:雨天绿化体现出来更加鲜亮的颜色等。
附图说明
20.图1为本发明的总体流程示意图；
21.图2为场景图分割模型(apsegnet)的结构示意图；
22.图3为卷积下采样和上采样模块的原理图；
23.图4为移动窗口分块多层感知机结构示意图；
24.图5为补丁嵌入结构示意图；
25.图6为横向窗口移动原理图；
26.图7为纵向窗口移动原理图；
27.图8为深度卷积原理图；
28.图9为apsegnet分割的机场场景图效果图；
29.图10为湿度检测模型(humidetnet)的结构示意图。
具体实施方式
30.下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
31.实施例1
32.一种基于场景图分割和多模态的机场湿滑道面抗滑能力检测模型的训练方法，包括如图1所示步骤，具体的流程如下：
33.s1：通过高速相机收集机场在不同的天气状况下的高清照片，不同的天气状况包含：晴朗、小雨、大雨、霜、雪，这些不同的天气状况反映出不同的道面湿滑程度及状态。
34.为了标记图片和道面湿度的对应关系，采样照片的同时需要采集道面湿度数据，湿度数据通过湿度测量计来测量并记录。
35.潮湿状态分为5个级别，分别为0-极干燥，1-干燥，2-稍潮湿，3-一般潮湿，4-极潮湿。将5个级别分别与湿度测量计测量的具体结果进行一一对应。
36.湿度是表示空气中水汽含量和湿润程度的气象要素。相对湿度用空气中实际水汽压与当时气温下的饱和水汽压之比的百分数表示，取整数。
37.5个级别的潮湿状态对应的相对湿度指标参数分别为：
38.0-极干燥《20％
39.1-干燥20-40％
40.2-稍潮湿40％-60％
41.3-一般潮湿60％-80％
42.4-极潮湿80％以上。
43.训练apsegnet模型时候，在位于华北的3个机场分别采集了晴天、小雨、大雨、霜、雪天气的场景图片共5000张，每种天气情况1000张，对采集的图片做基本的统一尺寸512
×
512处理，采集照片的同时测试湿度。
44.s2：图像标注
45.图像的标注分两个方向同时进行，一个方向是分割标注，另一个是湿度标注。
46.s3：在分割标注方向，使用labelme软件，通过多边形描出图像上的道面、天空、飞机、绿化四类物体的轮廓，然后保存，就可以将标注结果保存为json格式的文件，该文件包
含了该图片的每类物体的包围轮廓坐标点。
47.s4：在湿度标注方向，把图片和s1采集的湿度数据按照级别分别放在0到4这5个文件夹里，图片根据当时拍摄的湿度等级放入对应的文件夹，则标记完成。
48.s5：使用s3标注的图像，训练一个图像分割模型(apsegnet)，该模型能分割出图像中的道面、天空、飞机、绿化四类物体，保存该模型。训练采用小批量随机梯度下降法作为训练的优化算法。超参数值如下：权重衰减因子＝0.0002，动量＝0.9，学习率＝0.01，小批量数＝16。
49.当训练达到100个代(epoch)或者损失函数达到0.00001的时候,停止训练。
50.s6：通过s3标注的图像和s4标注的图像对应的道面湿度，进行多模态场景图像道面湿度预测模型训练，得到一个湿度预测模型(aphumidnet)，保存该模型。训练采用小批量随机梯度下降法作为训练的优化算法。超参数值如下：权重衰减因子＝0.0003，动量＝0.9，学习率＝0.005，小批量数＝32，当训练达到100个代(epoch)或者损失函数达到0.00001的时候,停止训练。
51.步骤s5中的apsegnet是一种基于编码器-解码器架构的模型。下面以机场场景图像的分割为例对模型进行详细的说明。
52.如图2所示，采集的机场场景图像的尺寸为[3,h,w]，其中，3表示rgb三个通道，h表示宽度，w表示高度。在图中左边的编码器部分，输入图像首先经过一个卷积下采样模块，尺寸变为[c1,h/2,w/2]，即通道变为c1，宽度和高度变为原来的1/2，结果记为a1。然后通过一个移动窗口分块多层感知机的下采样，尺寸变为[c2,h/4,w/4]，其结果记为a2。紧接着一个卷积下采样，尺寸变为[c3,h/8,w/8]，结果记为a3。再通过一个移动窗口分块多层感知机的下采样模块，尺寸变为[c4,h/16,w/16]，其结果记为a4。最后再经过一个卷积下采样，尺寸变为[c5,h/32,w/32]，其结果记为a5。解码器部分和编码器部分基本对称，只不过换成了上采样。编码器的输出a5首先经过一个卷积上采样模块，尺寸变为[c4,h/16,w/16]，这里通道数变为c4，宽度和高度变为原来的2倍，其结果记为b4。然后编码器的输出a4和b4进行向量相加，作为下一个模块移动窗口分块多层感知机-上采样的输入，输出结果尺寸为[c3,h/8,w/8]，其结果记为b3。然后该输出和对应的编码器的输出a3进行向量相加，作为下一个模块卷积上采样的输入，输出结果尺寸为[c2,h/4,w/4]，其结果记为b2。b2再和对应的编码器输出a2进行向量相加，作为下一个模块移动窗口分块多层感知机-上采样的输入，输出结果尺寸为[c1,h/2,w/2]，其结果记为b1。b1和对应的编码器的输出a1进行向量相加，作为下一个模块卷积上采样的输入，最后解码器的输出尺寸为[4,h,w]。该解码器输出尺寸和编码器的图像输入尺寸的宽度和高度一致，表示图像的每一个像素都进行了类别判定，4表示最终分割的类别是4类(道面、天空、飞机、绿化)。
[0053]
对于机场场景图，使用上述的基于编码器-解码器架构的模型，可以更好地将场景图的特征进行像素级别的分不同尺寸的提取，然后解码器部分将特征进行尺寸还原，从而一步一步地实现像素级别的分割，从而将道面、天空、飞机、绿化四个类别实现精确的像素级别的分割。
[0054]
在上述方案的基础上，如图3所示，卷积下采样和上采样模块都是由一个卷积块、一个批归一化和一个激活块组成。卷积块的卷积核(kernel)大小为3
×
3，步长(stride)为1，填充(padding)为1。对于下采样模块，每个激活块后接一个窗口大小为2
×
2的最大池化
块；然后对于上采样模块，每个激活块后接一个双线性插值块。对于机场场景图，采用下采样模块，能够对图进行特征提取，在尺寸变小的情况下，根据道面、天空、飞机、绿化的颜色和纹理分布，实现图的特征最大程度的保留；采用上采样模块，则是将尺寸小的特征还原，但是又保证了特征图不会失真，最终还原到原来的图像大小，但是达到了像素级别的精确分割。
[0055]
在上述方案的基础上，移动窗口分块多层感知机的结构如图4所示，输入特征图大小为[c,w,h],其中c为通道数，w为宽度，h为高度。首先经过一个补丁嵌入块，输出尺寸为[w/2
×
h/2，2c]，记为m。经过矩阵变形，尺寸变为[2c,w/2,h/2]。然后，经过一个横向的移动窗口，输出尺寸为[w/2
×
h/2,2c]。然后，经过全连接层1，尺寸大小不变。后面，接着是深度卷积块，输出尺寸不变。紧接着是激活函数，不改变尺寸。再接着矩阵变形，尺寸大小变为[2c,w/2,h/2]。后面紧跟着一个纵向移动窗口块，输出大小变为[w/2
×
h/2,2c]。再接着全连接层2，输出大小还是[w/2
×
h/2,2c]，记为n。将m和n进行向量相加，得到移动窗口分块多层感知机的输出，尺寸为[w/2
×
h/2,2c]。对于机场场景图，采用移动窗口分块多层感知机，能够通过对场景图的特征图，进行移动窗口分块操作，在各个窗口进行特征的信息交换和融合，从全局上分辨道面、天空、飞机、绿化的不同类别，实现精确的分割。
[0056]
在上述方案的基础上，上述补丁嵌入块的结构如图5所示，输入特征图尺寸为[c,w,h]，其中c为通道数，w为宽度，h为高度。经过投影卷积后，尺寸变为[2c,w/2,h/2]，相当于通道数变为两倍，宽度和高度都变为原来的1/2。接下来执行矩阵扁平化，尺寸变为[2c,w/2
×
h/2]，相当于从3个维度变成2个维度。然后执行矩阵变形，尺寸变为[w/2
×
h/2,2c]。最后经过批归一化，输出尺寸为[w/2
×
h/2,2c]。对于机场场景图，采用补丁嵌入模块，能够把场景图的特征图进行尺寸减少，但是主要的颜色和纹理特征并不损失，从而为后面的分割做好准备。
[0057]
在上述方案的基础上，上述移动窗口在横向和纵向的工作原理图分别如图6和图7所示。通过移动窗口操作，移动通道上的横向或者纵向的特征数据，这会帮助后续的卷积等函数聚焦在特征图的特定位置，从而引入更多的特征图块的位置信息。如图6所示，假设将原来的特征图分为5
×
5共计25个特征图块，将其分别标号为1到25，执行横向窗口移动后，相当于将1，2列移到了3,4,5列的右边，特征图变成如图6右边所示；如图7所示，执行纵向窗口移动后，相当于将下面3列的数据移动到最上面，特征图变成如图7右边所示。这将帮助创建一种随机的窗口，从而沿横向和纵向坐标引入位置信息。对于机场场景图，采用了横向和纵向的移动窗口，能让特征提取的卷积函数更加聚焦在特征图的特定位置，如：带有白云的天空的明显位置，长有植物的绿化带等，从而引入更加完备的特征图的位置信息。
[0058]
在上述方案的基础上，图8所示为上述深度卷积块的原理图，这是一个分通道的卷积，就是每个卷积核对应输入的每一个通道。深度卷积能够使得每个层的特征都分开，有效地充分地利用相同空间位置上不同层的有效信息。对于机场场景图，深度卷积能有效地把道面、天空、飞机、绿化各个层的特征进行有效分离，在不同的层次上充分利用相同位置的有效信息。
[0059]
所以，移动窗口分块多层感知机(图4的结构)，计算公式如下：
[0060]
m＝tokenize(x
in
)
ꢀꢀ
(1)
[0061]
t
mt
＝matrixtransform(m)
ꢀꢀ
(2)
[0062]
x
shift
＝shiftw(t
mt
)
ꢀꢀ
(3)
[0063]
y＝gelu(dwconv(fc1(x
shift
)))
ꢀꢀ
(4)
[0064]ymt
＝matrixtransform(y)
ꢀꢀ
(5)
[0065]yshift
＝shifth(y
mt
)
ꢀꢀ
(6)
[0066]
n＝fc2(y
shift
)
ꢀꢀ
(7)
[0067]
output＝m+n
ꢀꢀ
(8)
[0068]
以上公式中：tokenize表示补丁嵌入，mattixtransform表示矩阵变形，shiftw表示移动窗口计算(横向)，shifth表示移动窗口计算(纵向)，fc1和fc2表示全连接层，dwconv表示深度卷积，gelu表示激活函数。x
in
表示移动窗口分块多层感知机的输入向量，m表示补丁嵌入的输出，t
mt
表示矩阵变形的结果，x
shift
表示横向移动窗口计算的结果，y表示全连接、深度卷积和激活后的结果，y
mt
表示第二次矩阵变形的结果，y
shift
表示纵向移动窗口计算的结果，m表示n表示第二个全连接计算的结果。
[0069]
图9所示表示的是机场场景图的图像分割效果左侧是照片，右侧的是分割后的效果图，通过分割，道面、天空、飞机、绿化四类物体分别以不同的颜色或者样式从原图中识别出来。于是，对应地，可以把这些物体从原图上分别切割出来，具体就是根据像素匹配切割出具体的物体。
[0070]
在上述方案的基础上，步骤s6中湿度预测模型(aphumidnet)的流程如图10所示，从上述机场场景图分割的图片，得到道面、天空、飞机、绿化四类物体的分割部分，然后，对其中的飞机图片进行掩膜，使得道面、天空、绿化物体中含有飞机的部分都显示为黑色，这是为了排除飞机图片对后面道面、天空、绿化物体的湿度检测的干扰。于是得到分割的道面、天空、绿化物体，其中，飞机显示为黑色的掩膜。为了提取道面、天空、绿化的图片的特征，采用预训练的resnet深度残差网络(deep residual network)，resnet采用了残差学习来解决深度学习退化问题，预训练的resnet深度残差网络(deep residual network)模型来源于resnet(https://arxiv.org/abs/1512.03385v1)；其提出了残差学习的思想，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。
[0071]
具体的，将分割的图片输入resnet，并且取全连接层前的倒数第二层的输出向量作为提取的图片特征向量；于是可以分别得到天空、道面和绿化的特征向量，尺寸为[c,w,h]，其中c为通道数，w为宽度，h为高度。为了充分融合道面、天空和绿化的特征，进行后续的湿度分类判断，这里采用了多模态融合的方法，来充分融合道面、天空和绿化在不同角度的特征。将天空特征向量记为a，道面特征向量记为b，绿化特征向量记为c。将道面特征向量进行转置，得到d，尺寸为[h,w]，然后a和d进行向量相乘，得到e，尺寸为[w,w]。对e进行softmax计算，得到f，尺寸为[w,w]，记为f。将绿化的特征向量c和f进行向量相乘，得到g，尺寸为[w,h]。为了达到分类的目的，后面接上一个全连接层，将向量转换为要分类的类别数classes,这里classes＝5,经过softmax函数后，得到5个类别的概率输出，分别是0-极干燥，1-干燥，2-稍潮湿，3-一般潮湿，4-极潮湿。计算公式为式(9)：
[0072][0073]
对于分割的道面、天空、绿化物体和掩膜的飞机，采用resnet来进行特征提取，这
是一个预训练的经典模型，能够把图像的像素纹理，具体到道面、天空、绿化的表面的水滴或者湿润部分的特征提取到向量，从而最大程度地保持了图像的特征。
[0074]
对于提取的道面、天空、绿化和掩膜的飞机的向量，采用多模态的特征融合方式，可以在不同角度融合道面、天空、绿化和掩膜的飞机的特征，该特征所表示的向量包含了道面、天空、绿化之间的一些联系，如天空的位置在最上面、绿化环绕着道面；该特征也会充分考虑进去道面湿度和绿化的颜色以及天空所展示出来的景象之间的联系，如雨天绿化体现出来更加鲜亮的颜色。
[0075]
该湿度预测模型(aphumidnet)通过使用某机场对这些机场场景图的分割图片集作为数据集进行训练，取得极好的效果。我们使用精确度来衡量训练的效果，如一个样本的真实类别是2，如果预测出来的类别是2，就是t(true),否则就是f(false)，那么精确度的计算则为式(10)：
[0076]
精确度(accuracy)＝t/(t+f)
×
100％
ꢀꢀ
(10)
[0077]
aphumidnet模型对这些机场场景图分割然后融合并进行湿度预测，有非常好的湿度级别预测效果，达到精确度84.3％，能够对飞机的速度起到指导作用。由于湿度不同，对于道面的抗滑能力有所影响，那么可以计算新的图像中道面抗滑因子并反馈给驾驶系统，进行速度调整或者刹车系统的调整，以便达到较短的刹车距离，保证驾驶安全。
[0078]
使用上述的方法，可以训练出一个基于场景图分割和多模态的机场湿滑道面抗滑能力检测模型。
[0079]
实施例2
[0080]
一种基于实施例1训练的模型的机场湿滑道面抗滑能力检测方法，如图1所示，具体步骤如下：
[0081]
(1)对于新的未知的机场道面驾驶场景，通过高速摄像头拍下机场道面的场景图像，图像尺寸512x512，加载步骤s5保存的apsegnet图像分割模型，通过分割模型来分割出道面、天空、飞机、绿化四类物体，然后加载步骤s6得到的湿度预测型模型，将分割的物体的图像输入到湿度预测模型，预测新的图片中道面湿度状态。
[0082]
(2)由于湿度不同，对于道面的抗滑能力有所影响，通过预测到的湿度状态得到对应的影响因子，最后得到机场的当前抗滑力状态下的bpn值并反馈给驾驶系统，进行速度调整或者刹车系统的调整，以便达到较短的刹车距离，保证驾驶安全。
[0083]
通常的抗滑力是由摆式仪试验在晴朗干燥的天气得到的，在摆式仪的摆锤底面装一橡胶块，当摆锤从一定高度自由下摆时，滑块面同试验表面接触。由于两者间的磨擦而损耗部分能量，使摆锤只能回摆一定高度。表面磨擦阻力越大，回摆高度越小，从摆式仪试验可得到磨擦摆值bpn。天气湿度越大，抗滑力越小，具体的影响因子如表1所示：
[0084]
表1道面潮湿状态与影响因子指标的关系表
[0085]
道面的潮湿状态影响因子(a)0-极干燥1.21-干燥1.02-稍潮湿0.763-一般潮湿0.554-极潮湿0.41
[0086]
那么可以通过公式计算当前抗滑力状态值：
[0087]
当前抗滑力状态下的bpn值＝干燥条件下的抗滑力bpn
×
影响因子(a)
ꢀꢀ
(11)
[0088]
计算得到当前抗滑力状态下的bpn值结果则传入驾驶系统，进行速度调整或者刹车系统的调整，以便达到较短的刹车距离，保证驾驶安全。
[0089]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。