一种基于U型多维多尺度融合神经网络的地下目标多分类检测方法

一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法
技术领域
1.本发明涉及探地雷达信号处理领域，尤其涉及一种u型多维多尺度融合神经网络的地下目标多分类检测方法。


背景技术：

2.gpr作为一种无损检测技术，被广泛应用于地下目标的检测和定位。电磁波在地下传播，在介质交界面发生反射和折射，接收天线接收多道反射回波，经过信号处理组成b-scan图像。由于b-scan图像庞大且背景等无用信息占据图像绝大部分的空间，因此从复杂的b-scan中手动分割目标标签会耗费大量的精力和时间。随着全卷积网络的出现，这一问题可以得到解决。
3.目前对于目标检测与识别有很多研究，但是传统的算法需要大量的样本进行训练，而实际的城市道路勘测中，往往只能得到较少的有用数据。同时，传统算法的模型层次越来越深，在卷积过程中逐渐丢失图像的底层信息，此时传统的算法难以达到要求。
4.然而，采用编码器-解码器结构的神经网络，例如fcn，u-net，将传统cnn在卷积层之后的全连接层替换为卷积层，对最后一个卷积层得到的特征图进行上采样或者转置卷积的操作，从而得到像素级细节的分割图片。但是由于这类模型在维度以及融合的方法上较为单一，导致丢失了感兴趣区域的边界，无法做到准确分割。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有方案存在的缺陷，例如：现有的深度学习目标检测模型需要大量的数据进行训练而实际探测中并无法得到大量的目标数据，在实际中需要大量精力以及时间筛选，并且分割效果并不准确。本发明提供一种多维多尺度地下目标多分类检测的方法，用于方便使用人员对接收到的地下数据进行快速的识别与分类，以达到兼具准确性与时效性的目标。
6.基于上述目标，本发明体提供riunet神经网络的地下目标多分类检测方法，其特征在于，包括：
7.(1)对已得到的地下目标信息进行预处理生成图像数据集；
8.(2)对生成的图像数据集中的检测目标进行边框和类别的标注；
9.(3)搭建riunet模型，该模型包括三个部分：骨干网络(backbone)、转置卷积上采样以及多尺度特征拼接；
10.(4)将(2)中所得原图与掩膜图放入(3)中所构建模型进行训练，模型通过对图像训练并与掩模图对比验证得到损失率并更新模型各部分权重，最终保存模型权重完成训练且该模型可将b-scan图像中的目标特征进行分割并分类；
11.(5)将用于测试的b-scan图像输入(4)中模型得到目标结果图；
12.(6)对(5)中目标结果图使用基于形态学的目标定位算法实现目标的定位，并将定
位的目标在原图上进行标记；
13.可选的，(1)中：
14.所述的地下目标多分类检测方法包含若干形状的空洞与管道；
15.所述预处理，包括对所述地下目标图像进行转换、裁切；
16.所述图像数据集中训练集和测试集可以相互独立，也可以用相同的数据集进行训练与测试观察训练的效果。
17.可选的，(2)中所述利用数据集进行标记，得到数据集的掩膜图的过程为：
18.将生成图像数据集导入至labelme中进行目标的分类以及标记目标的轮廓；
19.将生成的json文件转化为包含背景与目标的掩膜图，将图像数据集与掩膜图对应后则生成训练集。
20.可选的，(3)中：
21.将数据集图像输入riunet网络的输入端，进行数据增强、自适应图像移动、自适图像缩放以及归一化处理；
22.进入骨干网络对输入图像进行特征提取，在特征提取的同时利用残差进行跳层连接对特征图进行融合并输出，与此同时将输出的特征图信息输入特征拼接层中进行不同尺度的特征提取。跳层连接将原始层结构中的特征信息与增加深度后提取了更细节的特征信息进行融合。这是一种在深度维度上的拼接融合，有利于保存目标的多种特征信息且能加快收敛速度；
23.在特征拼接层中对从骨干网络得到的特征信息进行多尺度融合，不同于跳层连接在深度上的融合，该层在微观结构中采取从宽度上对输入特征图进行不同感受野的信息提取后聚类用以增加特征的多样性。而在宏观上，特征提取层连接着编码层与解码层，这同时让特征拼接层在宏观的结构上起到了尺度融合的作用；
24.将上述输出的特征图输入至解码层与转置卷积后的特征图进行拼接后对图像信息进行一次特征提取，转置卷积中则对提取得到的特征信息进行特征上采样用以还原图像信息。
25.可选的，(4)中：
26.训练次数epoch为50，batch size为4，每个epoch所使用的迭代次数steps_per_epoch为200，优化器采用adam算法，学习率设置为1e-5，根据二元交叉熵损失函数(binary crossentropy)进行计算，损失函数表达式为：
[0027][0028]
通过反向传播方式求得对应梯度，进而更新权重，经过与手工标记得到的掩膜图验证后，得到riunet模型的权重。并通过使用基准真相(ground truth)进行验证，保证最终训练所得模型的准确性。
[0029]
可选的，(5)中将测试图像输入训练好的模型得到目标分类结果图，结果图为n张分类的图，在这里n为3，每张图都分为两类：目标与后景。由于分类目标背景中无可用信息遂舍去，只保留管道与空洞两类图片。
[0030]
可选的，(6)中所述图像使用二值化处理，采用otsu阈值分割算法，把大于某个阈值的像素灰度设为灰度极大值255，把小于这个值的像素灰度设为灰度极小值0，图像呈现
为黑白效果。采用图像形态学操作求得图像每个连通区域的左上角坐标、长、宽、面积。随后使用所得到的连通区域的信息在原图上进行目标的框选。
[0031]
可选的，阈值分割的像素可以根据最终得到的图像的清晰程度选择阈值大小；
[0032]
可选的，已经得到连通区域的信息，可以根据实际情况使用得到的连通区域的信息排除二值化后细小的连通区域所带来的目标位置的误判。
[0033]
本发明的有益效果在于：本发明提出的riunet模型针对探地雷达地下目标的多分类检测方法，是一种使用极少的训练图像集而得到十分有效且准确的目标识别方法，能极大的减轻人工去识别目标所带来的巨大的工作量以及提高识别的效率并且具有良好的识别率。
附图说明
[0034]
图1为根据本发明实施例的一种地下目标多分类检测的整体流程图；
[0035]
图2为根据本发明实施例的riunet模型的地下目标多分类检测方法的神经网络图；
[0036]
图3为根据本发明模型输出的多分类图片；
[0037]
图4为根据本发明实施例的形态学处理中的图片；
[0038]
图5为根据本发明实施例的标记结果图。
[0039]
图6为根据本发明实施例的损失率图。
具体实施方式
[0040]
为更清楚地体现本发明的目的、技术方案与优点，下面结合附图和实施例对本发明内容做进一步阐述，但显然，所描述实施例不是对本发明的限定。
[0041]
本发明实施例提供一种riunet神经网络的地下目标多分类检测方法，包括：
[0042]
s10，获取地下目标图像并进行预处理生成图像数据集。其中需要说明的是：
[0043]
获取的地下目标b-scan图像的来源为在江苏省泰州市的若干个街区利用频率为200mhz的探地雷达采集得到；
[0044]
预处理包括进行图片格式的转换、图片大小的裁切；
[0045]
s11，对图片标记包括对检测目标进行边框和类别的标注；数据集的划分：将数据集划分为其中训练集，测试集。数据集分为管道、空洞、背景等3个类别。
[0046]
s12，搭建riunet模型，该模型包括三个部分：特征提取骨干网络
[0047]
(backbone)、转置卷积上采样以及特征拼接；
[0048]
riunet神经网络检测模型的过程如图2所示，包括：
[0049]
s20，将数据集图像输入riunet网络的输入端，进行数据增强、自适应图像旋转、自适图像缩放以及归一化处理。其中数据增强使用了随机缩放、随机裁剪、随机排布；其中自适应图像缩放尺寸大小为512*512像素。
[0050]
s21，进入骨干网络对输入图像进行特征提取，在特征提取的同时利用残差进行跳层连接对特征图进行融合并输出，其中骨干网络特征提取过程使用了4个残差模块将输入的512*512*1的图像变为16*16*512的特征图；再通过最大池化以及卷积操作得到8*8*1024的特征图用以解码部分进行转置卷积并且将每一层特征图输入特征拼接层。
[0051]
s22，在特征拼接层中，将从骨干网络得到的特征图根据对应解码层所需要的特征图通道数而改变每一特征拼接层内参数的大小，因此使用了6个大小不同但感受野相同的特征拼接层将骨干网络中的特征提取并拼接至解码部分。
[0052]
s23，进入解码部分，应用转置卷积上采样逐步将还原特征信息，与此同时将从特征拼接层得到的不同尺度上的视觉信息特征图进行拼接融合，用于增强还原特征信息的细节，随后将拼接融合后得到的特征信息进一步特征提取后再进行转置卷积。
[0053]
s24，针对所述需要训练的深度学习网络环境，使用一种为深度学习提供一整套解决方案的软件库进行部署。可选的，搭建所述网络所基于的软件环境为：keras 2.6.0、pandas 1.4.3、opencv 4.6.0.66、tensorflow 2.6.0、cudnn 8.2.1、python 3.9.12、numpy 1.22.3。
[0054]
s13，根据所述数据集进行训练，得到riunet神经网络检测训练好的模型，参数设置如下：
[0055]
初始学习率为1e-5，batch-size为4，每个epoch所使用的迭代次数steps_per_epoch为200，优化器采用adam算法，采取梯度下降法，根据二元交叉熵损失函数(binary crossentropy)进行计算，通过反向传播方式求得对应梯度，进而更新权重，经过与手工标记得到的掩膜图验证后，得到riunet模型的权重。并通过使用基准真相(ground truth)进行验证，保证最终训练所得模型的准确性。
[0056]
s14，将测试集图片输入到上述训练好的网络中，每一张输入图片将得到所分类个数张图片，在本次设计中为3类，即得到三张对应图片，分别为空洞和管道其中背景也为一类。
[0057]
上述实例所述图像如图3所示。
[0058]
s15，将所述图像中目标进行处理并标记到原图。步骤为：
[0059]
第一，图像二值化处理。采用otsu阈值分割算法，把大于某个阈值的像素灰度设为灰度极大值255，把小于这个值的像素灰度设为灰度极小值0，图像呈现为黑白效果，图像形态学处理。
[0060]
第二，采用图像形态学操作求得图像每个连通区域的左上角坐标、长、宽、面积。随后使用所得到的连通区域的信息在原图上进行目标的框选。
[0061]
上述实例二值化所得图像如图4所示
[0062]
上述实例主形态学处理后所得结果如图5所示。
[0063]
本发明提出了一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法，通过搭建的riunet网络，利用实际得到的少量的真实数据进行训练从而得到训练好的模型。根据实际测试，本发明使用70张图像进行训练，最后展示的结果表明不仅能准确的识别目标还有一定的泛化能力。表明本发明提出的地下目标多分类检测方法能够满足地下目标分类，还能有较高的准确度。同时，本发明所述的模型可以适用于其它类型目标进行语义分割，该方法具有弥补训练样本少的缺点、提升执行效率并且网络模型小可以移植部署在硬件的特点。
[0064]
最后需要说明的是：以上所采用实施例仅用以说明本发明的技术方案，显然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同替换，仍属于发明所涵盖的范围。