一种基于深度学习的矿山落石检测方法和装置与流程

1.本发明涉及一种基于深度学习的矿山落石检测方法和装置，属于矿山安全驾驶技术领域。


背景技术：

2.目前无人驾驶技术已经运用到了矿区作业中，由于自动驾驶矿卡行驶作业的区域具备地形复杂、障碍物复杂多样等特征，所以矿区无人驾驶面临着很多挑战，其中，如何准确检测障碍物信息是无人驾驶感知系统的一个主要挑战，无人驾驶感知系统需要保证无人矿卡在行驶过程中可以有效避开各种障碍物，进而避免安全风险，确保矿卡的安全与作业任务的顺利执行。区别于其他场景，矿区多落石，会给矿区无人驾驶带来巨大的安全隐患，因此，矿区落石检测是无人驾驶感知系统的一个重要任务，有效的落石检测结果可以大大提升矿区无人驾驶的安全性。
3.矿区落石检测具有障碍物较小，障碍物与地面相似度高，数据收集困难等特点，目前落石检测方法主要有基于传统图像检测的方法以及光传感器测量等方法，这些方法虽然能够检测到部分落石，但是在检测效果和应用场景上存在一定的局限性。在公开号为cn105809679b的中国发明专利中，公开了一种基于视觉分析的山区铁路边坡落石检测方法，其首先识别铁轨区域，然后对铁轨区域内图像进行分割，检测出前景目标，最后通过深度学习对目标进行分类，剔除干扰目标，最终获得落石检测结果；该方法虽然能够实现落石检测，但是操作步骤较为繁杂，检测耗时较长，不适用于无人驾驶的实时感知系统。在公开号为cn102169192a的中国发明专利中，公开了一种使用光传感器的无接触落石检测装置，该装置可以对动态落石进行检测，但是不能检测静态落石，而静态落石对矿区落石检测至关重要，因此该装置无法完全满足矿区场景的落石检测需求。


技术实现要素：

4.为了解决现有技术中存在的问题，本发明提出了一种基于深度学习的矿山落石检测方法和装置，利用包括特征搜索模块和特征注意力模块的落石检测模型处理矿山图像，提升矿山图像中背景与落石的特征差异，实现快速、有效的落石识别效果。
5.为解决上述技术问题，本发明采用了如下技术手段：
6.第一方面，本发明提出了一种基于深度学习的矿山落石检测方法，包括如下步骤：
7.获取矿山图像；
8.对矿山图像进行裁剪，得到裁剪后的矿山图像；
9.将裁剪后的矿山图像输入训练好的落石检测模型；
10.输出训练好的落石检测模型得到的矿山落石检测结果，其中，所述矿山落石检测结果包括落石类型和落石坐标。
11.结合第一方面，进一步的，所述落石检测模型包括依次连接的特征搜索模块、特征注意力模块和特征识别模块，其中，所述特征搜索模块包括主干网络和空洞卷积，所述主干
网络由多个block结构组成，每个block结构包括2个1
×
1的卷积层和1个3
×
3的卷积层；所述特征注意力模块包括3个自注意力模块。
12.结合第一方面，进一步的，所述落石检测模型的训练方法为：
13.获取落石数据集并进行数据扩充，获得扩充后的落石数据集；
14.利用标注工具对扩充后的落石数据集进行数据标注，获得标注后的落石数据集；
15.将标注后的落石数据集输入落石检测模型，利用特征搜索模块从标注后的落石样本图像中提取不同尺度的特征，并进行特征融合，获得落石样本图像的多尺度融合特征；
16.利用特征注意力模块对多尺度融合特征进行增强处理，获得落石样本图像的空间注意力特征；
17.利用特征识别模块对空间注意力特征进行分类处理，获得落石样本图像的落石检测结果；
18.根据落石样本图像的落石检测结果计算模型损失值；
19.基于模型损失值，利用adam优化器对落石检测模型中的网络参数进行迭代优化，直到满足预设迭代次数，获得训练好的落石检测模型。
20.结合第一方面，进一步的，获取落石数据集并进行数据扩充的方法为：
21.利用摄像设备采集矿山场景中的真实落石图像，形成落石数据集；
22.将落石数据集中每一幅真实落石图像及其语义分割图输入生成对抗网络，获取满足判别概率的合成落石图像；
23.利用真实落石图像和合成落石图像作为落石样本图像组成扩充后的落石数据集。
24.结合第一方面，进一步的，所述生成对抗网络包括生成模型和判别模型，所述生成模型由卷积模块和反卷积模块对称的堆叠组成，所述判别模型由卷积模块堆叠组成；所述卷积模块包括2个3x3的第一卷积层，每个第一卷积层后连接1个relu和1个步长为2、2x2的最大池化层；所述反卷积模块包括1个2x2的反卷积层和2个3x3的第二卷积层，每个第二卷积层后连接1个relu。
25.结合第一方面，进一步的，获得落石样本图像的空间注意力特征的方法为：
26.利用特征注意力模块沿着通道轴对多尺度融合特征分别进行平均池化和最大池化处理，获得平均池化特征和最大池化特征；
27.将平均池化特征和最大池化特征拼接获得通道注意力特征；
28.利用卷积层对通道注意力特征进行卷积处理，获得落石样本图像的空间注意力特征。
29.结合第一方面，进一步的，所述通道注意力特征的表达式如下：
[0030][0031]
其中，f'
n
表示通道注意力特征，m
c
表示一维的通道注意力特征图，m
c
∈r
c
×1×1，r为实数空间，c表示落石样本图像的通道数，f
n
表示多尺度融合特征，表示element
‑
wise相乘运算；
[0032]
所述空间注意力特征的表达式如下：
[0033][0034]
其中，f”n
表示空间注意力特征，m
s
∈r1×
h
×
w
，h表示落石样本图像的高度，w表示落石
样本图像的宽度。
[0035]
结合第一方面，进一步的，所述模型损失值的计算公式如下：
[0036]
fl(pt)＝
‑
α(1
‑
pt)
γ
log(pt)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0037]
其中，fl(pt)表示模型损失值，pt表示落石样本图像的落石检测结果与标注一致的概率，α和γ为超参数，α,γ≥0。
[0038]
结合第一方面，进一步的，所述方法还包括：
[0039]
利用模型服务器对训练好的落石检测模型进行优化加速。
[0040]
第二方面，本发明提出了一种基于深度学习的矿山落石检测装置，包括：
[0041]
图像采集模块，用于获取矿山图像；
[0042]
图像裁剪模块，用于对矿山图像进行裁剪，得到裁剪后的矿山图像；
[0043]
模型训练模块，用于训练落石检测模块；
[0044]
落石检测模块，用于将裁剪后的矿山图像输入训练好的落石检测模型，得到矿山落石检测结果；
[0045]
结果输出模块，用于输出训练好的落石检测模型得到的矿山落石检测结果；其中，所述矿山落石检测结果包括落石类型和落石坐标。
[0046]
采用以上技术手段后可以获得以下优势：
[0047]
本发明提出了一种基于深度学习的矿山落石检测方法和装置，利用训练好的落石检测模型对矿山图像进行特征提取和特征识别，实现针对矿区特性的实时、准确的落石检测效果。在落石检测过程中，本发明利用特征搜索模块充分融合不同level的特征，增强提取特征的表达能力，避免单一特征由于采样过深导致落石目标消失的问题，同时，本发明利用特征注意力模块聚焦矿山图像中的落石目标，提升落石与矿山背景之间的特征差异，解决落石与矿山背景较为相似的问题，从而提高落石检测的准确性。
[0048]
在模型训练阶段，本发明基于u型对称网络构建生成模型，利用生成对抗网络对落石数据集进行有效的小样本数据扩充，能够解决矿山落石检测数据不足的问题，提高模型学习效果。本发明还可以对落石检测模型进行优化加速，从而提高模型的检测速度，满足矿山场景中的实时检测需求。
附图说明
[0049]
图1为本发明一种基于深度学习的矿山落石检测方法的步骤流程图；
[0050]
图2为本发明实施例中落石检测模型的结构示意图；
[0051]
图3为本发明实施例中特征搜索模块中block结构的结构示意图；
[0052]
图4为本发明实施例中落石检测模型训练方法的步骤流程图；
[0053]
图5为本发明实施例中生成对抗网络的结构示意图；
[0054]
图6为本发明实施例中获取空间注意力特征的流程图；
[0055]
图7为本发明实施例中落石检测结果的示意图。
具体实施方式
[0056]
下面结合附图对本发明的技术方案作进一步说明：
[0057]
本发明提出了一种基于深度学习的矿山落石检测方法，如图1所示，具体包括如下
步骤：
[0058]
步骤a、获取矿山图像。本发明可以在无人矿卡上或者矿山特定位置安装相机，并调整相机角度，在无人矿卡在矿山行驶过程中利用相机实时获取矿山图像。
[0059]
步骤b、对矿山图像进行裁剪，得到裁剪后的矿山图像。由于本发明主要检测地面上的落石，因此可以根据相机拍摄角度、拍摄范围等对拍摄的矿山图像进行图像裁剪，去除冗余部分，最大程度的保留地面部分的图像，从而降低后续落石检测的难度，提升检测速度。
[0060]
步骤c、将裁剪后的矿山图像输入训练好的落石检测模型，从而得到矿山落石检测结果。
[0061]
步骤d、输出训练好的落石检测模型得到的矿山落石检测结果。
[0062]
矿山落石检测结果主要包括落石类型和落石坐标。在本发明实施例中，落石类型按照影响车辆行驶的体积来分类，具体包括小障碍物(20立方厘米以下)、中障碍物(20立方厘米～50立方厘米)和大障碍物(50立方厘米以上)；如果落石为规则多边形，则采用落石各个边角的坐标作为落石坐标，如果落石不是规则多边形，则在落石边缘线上随机选取多个位置坐标作为落石坐标。
[0063]
如图2所示，本发明落石检测模型包括依次连接的特征搜索模块、特征注意力模块和特征识别模块。在矿山场景中落石相比其他车辆及行人等障碍物，尺寸较小，属于小障碍物检测，因此本发明利用特征搜索模块提取矿山图像不同尺度的特征，并进行特征融合，充分融合不同level的特征能够增强提取特征的表达能力，避免单一特征由于采样过深导致小目标消失的问题，能够实现落石前景和背景特征的有效提取。同时，考虑到落石与矿山背景较为相似的特点，本发明利用特征注意力模块可以对目标区域有效聚焦的特点对矿山图像中落石所在区域进行充分关注，将不同尺度特征的特征注意力都聚焦在落石前景部分，进一步增强落石特征，提升落石与矿山背景特征差异的表达，为后续的落石检测识别提供支撑。最后，本发明利用特征识别模块融合不同尺度的特征，进行落石类型和落石坐标的有效识别。
[0064]
特征搜索模块的主干网络由33个基础单元block结构组成，每个block结构包括2个1
×
1的卷积层和1个3
×
3的卷积层，如图3所示。由于落石尺度较小，为了防止模型下采样导致落石特征丢失的影响，在主干网络最后一层采用空洞卷积操作，扩大模型感受野，实现特征有效提取。
[0065]
特征注意力模块包括3个自注意力模块，利用特征搜索模块输出的多尺度融合特征的空间相互关系可以生成一个空间注意力图，进而将不同尺度特征的特征注意力都聚焦在落石前景部分。
[0066]
如图4所示，落石检测模型的训练方法包括如下步骤：
[0067]
步骤1、获取落石数据集并进行数据扩充，获得扩充后的落石数据集。
[0068]
步骤101、利用摄像设备采集矿山场景中的真实落石图像，形成落石数据集。
[0069]
步骤102、由于落石场景数据较难收集，而深度学习需要大量样本数据进行训练才可以得到理想的效果，因此，本发明需要对采集到的小样本数据(落石数据集)进行数据扩充处理。
[0070]
传统将目标随机复制在背景图中的方法由于前景和背景拍摄于不同环境等因素，
会给数据带来前景和背景的域不一致问题，生成的数据不够真实，难以在后续检测阶段得到理想的检测效果。本发明方法采用生成对抗技术来进行数据扩充，将落石数据集中每一幅真实落石图像及其语义分割图输入生成对抗网络，获取满足判别概率的合成落石图像，能够减小合成落石图像与真实落石图像之间的差距，实现风格一致性转化。
[0071]
在本发明实施例中，生成对抗网络的结构如图5所示，生成对抗网络主要包括生成模型和判别模型，生成模型由卷积模块(左侧)和反卷积模块(右侧)对称的堆叠组成，卷积模块包括2个3x3的第一卷积层，每个第一卷积层后连接1个relu(线性整流函数)和1个步长为2、2x2的最大池化层，最大池化层用于下采样，在每次下采样之后可以将特征通道数量加倍；反卷积模块包括1个2x2的反卷积层和2个3x3的第二卷积层，每个第二卷积层后连接1个relu，反卷积层在上采样的同时将特征通道数量减半，然后与卷积模块中对应第一卷积层的特征图串联，最终输出合成特征图像。生成模型一共包括34个卷积层。判别模型由卷积模块堆叠组成，卷积模块的结构与生成模型的相同，判别模型一共包括21个卷积层。
[0072]
生成模型的输入为真实落石图像f及其语义分割图i，生成模型的输出为合成落石图像g，判别模型的输入为真实落石图像f和合成落石图像g，判别模型的输出为合成落石图像g被判别为真实落石图像f的概率。利用生成模型生成合成落石图像，利用判别模型判别前景和背景的域是否一致，经过在真实落石图像上训练，可以得到域一致性模型，从而可以用以生成前景和背景域一致的合成落石图像。
[0073]
步骤103、利用真实落石图像和合成落石图像作为落石样本图像组成扩充后的落石数据集。
[0074]
步骤2、利用标注工具对扩充后的落石数据集进行数据标注，标注出每一幅落石样本图像中落石的位置坐标和落石类型，获得标注后的落石数据集。把标注后的落石数据集划分成训练落石样本图像、验证落石样本图像和测试落石样本图像，用于后续的模型训练。
[0075]
步骤3、将标注后的落石数据集输入落石检测模型，利用特征搜索模块从标注后的落石样本图像中提取不同尺度的特征，并进行特征融合，获得落石样本图像的多尺度融合特征。
[0076]
步骤4、利用特征注意力模块对多尺度融合特征进行增强处理，获得落石样本图像的空间注意力特征，如图6所示。
[0077]
步骤401、利用特征注意力模块沿着通道轴对多尺度融合特征分别进行平均池化和最大池化处理，获得平均池化特征和最大池化特征。
[0078]
步骤402、将平均池化特征和最大池化特征拼接获得通道注意力特征，通道注意力特征的表达式如下：
[0079][0080]
其中，f'
n
表示通道注意力特征，m
c
表示一维的通道注意力特征图，m
c
∈r
c
×1×1，r为实数空间，c表示落石样本图像的通道数，f
n
表示多尺度融合特征，表示element
‑
wise相乘运算.
[0081]
步骤403、利用卷积层对通道注意力特征进行卷积处理，获得落石样本图像的空间注意力特征，空间注意力特征的表达式如下：
[0082]
[0083]
其中，f”n
表示空间注意力特征，m
s
∈r1×
h
×
w
，h表示落石样本图像的高度，w表示落石样本图像的宽度。
[0084]
通过注意力机制将特征图中落石存在的区域特征进行了凸显，背景特征进行了有效抑制，从而提升落石的检测能力。
[0085]
步骤5、利用特征识别模块对空间注意力特征进行分类处理，获得落石样本图像的落石检测结果，落石检测结果如图7所示。
[0086]
步骤6、根据落石样本图像的落石检测结果计算模型损失值，计算公式如下：
[0087]
fl(pt)＝
‑
α(1
‑
pt)
γ
log(pt)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0088]
其中，fl(pt)表示模型损失值，pt表示落石样本图像的落石检测结果与标注一致的概率，α和γ为超参数，α,γ≥0。
[0089]
在公式(6)中，α(1
‑
pt)
γ
组成了交叉熵损失的调制因子，调制因子可以降低易分样本对损失的贡献，而增加难分样本的损失贡献，通过挖掘困难样本提升样本的召回率。
[0090]
步骤7、基于模型损失值，利用adam优化器对落石检测模型中的网络参数进行优化处理，并重复步骤3～7，直到满足预设迭代次数，获得训练好的落石检测模型。在本发明实施例中，模型迭代300个epoch。
[0091]
为了提升本发明方法的检测速度，本发明还可以利用模型服务器对训练好的落石检测模型进行优化加速，将模型进行并行加速，可以联同数据采集模块构建实时的落石检测系统。在本发明实施例中，采用nvidia公司的tensorrt7.0对模型进行优化加速，最终将落石检测模型的推理速度降至10ms，从而实现实时的落石检测效果。
[0092]
本发明还提出了一种基于深度学习的矿山落石检测装置，包括图像采集模块、图像裁剪模块、模型训练模块、落石检测模块和结果输出模块，其中，图像采集模块用于获取矿山图像，具体步骤与本发明方法的步骤a一致；图像裁剪模块用于对矿山图像进行裁剪，得到裁剪后的矿山图像，具体步骤与本发明的步骤b一致；模型训练模块用于训练落石检测模块，其具体步骤与本发明方法的模型训练步骤一致；落石检测模块用于将裁剪后的矿山图像输入训练好的落石检测模型，得到矿山落石检测结果；结果输出模块用于输出训练好的落石检测模型得到的矿山落石检测结果，矿山落石检测结果包括落石类型和落石坐标。
[0093]
与现有技术相比，本发明方法和装置主要针对静态落石进行检测，可以通过落石检测模型对矿山图像进行特征提取和特征识别，获取静态落石的落石类型和落石坐标，实现准确的落石检测效果，此外，本发明方法和装置的检测速度更快，可以满足矿山场景中的实时检测需求。
[0094]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。