基于自适应空间特征融合的排爆机器人危险品检测方法

1.本发明属于视觉检测技术领域，涉及一种基于自适应空间特征融合的排爆机器人危险品检测方法及其应用。


背景技术：

2.近年来，机器人技术突飞猛进，在工业生产、救援救灾等领域均有机器人的身影，排爆机器人作为安防领域的机器人受到诸多关注。目前投入使用的排爆机器人主要依赖于机器人计算机视觉系统回传的视频影像，再由排爆人员通过键盘或者遥控器远程控制排爆机器人完成爆炸物的抓取、转移、引爆等操作，其精度和效率会受到回传视频影像的质量、排爆人员对设备的熟练程度以及回传视频影像和操作之间的时间误差等因素的影响。而作为一种可以在危险环境下代替人类工作的机器人，其对精准度有更高的要求。因此进一步提升排爆机器人的智能化程度是提升其精准度的关键。
3.排爆机器人的智能化在于机器人能够通过计算机视觉系统感知周围环境，并根据所获取的信息自主的做出决策并进行下一步操作，其中排爆机器人感知周围环境的关键在于如何让其快速准确的检测识别危险物。随着人工智能技术的不断发展，深度学习算法越来越受到重视，目前已逐渐成为图像识别领域的研究热点。深度学习领域的卷积神经网络技术能够自动的提取图像的特征信息，这些信息具有良好的图像表达能力，因此在目标检测与识别问题中展现出了良好的性能。因此，将深度学习应用于排爆机器人计算机视觉模块从而进行危险物的检测识别，不仅可以提高危险物的检测的精度与速度，而且还可以提高排爆机器人对周围环境的自主感知能力，进而提升排爆机器人的智能化程度。尽管如此，将该技术应用于排爆机器人危险物检测时仍存在以下缺陷：
4.第一，由于深度学习是数据驱动型技术，其优异的性能往往依赖于大规模带标签的数据，但是当前并没有公开可使用的危险物数据集。
5.第二，当使用现有的深度学习模型进行危险物检测时，其检测精度和速率较低。
6.因此，开发一种能够获取大量危险物数据集且检测精度高、检测速率快的排爆机器人危险品检测方法极具现实意义。


技术实现要素：

7.本发明的目的在于克服现有用于排爆机器人危险物检测的深度学习算法无危险物数据集可用、检测精度较低且检测速率较慢的缺陷，提供一种能够获取大量危险物数据集且检测精度高、检测速率快的排爆机器人危险品检测方法。
8.为实现上述目的，本发明提供如下技术方案：
9.基于自适应空间特征融合的排爆机器人危险品检测方法，应用于电子设备(具体可在电子设备的gpu中运行)，包括以下步骤：
10.(1)构建危险物数据集，具体为从互联网抓取数据获取初始危险物数据集，对初始危险物数据集进行清洗后再对其进行标注，最后对标注完成的数据集进行数据增强即得危
险物数据集；
11.(2)使用步骤(1)得到的危险物数据集训练危险物检测模型，其训练过程即以已知类别的物品图像为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限(反复迭代，直到模型的损失函数值趋于稳定，即达到训练上限)，所述危险物检测模型是以mobilenetv3作为主干提取网络，采用asff特征融合策略的yolov4模型；
12.(3)获取排爆机器人采集到的待检测品照片后将其输入步骤(2)训练得到的危险物检测模型即得待检测品的对应类别。
13.本发明的基于自适应空间特征融合的排爆机器人危险品检测方法，通过爬虫软件抓取数据，清洗、标注及数据增强即可获取相当数量的危险物数据集，以便后续用于模型训练，模型以yolov4作为基础网络结构(yolov4相比于sdd、faster r
‑
cnn此类深度学习网络模型，具有检测速度快、检测精度高的优势)，并根据排爆机器人作业的特殊性，提出以下改进策略：(1)采用mobilenetv3作为主干特征提取网络，降低网络的参数数量，提高网络检测的效率(目标检测算法主要用于危险物的检测，其结果将为机器人的后续操作提供重要的判别依据，其检测效率至关重要)，能够降低模型占用内存的数量，降低部署的要求，进而实现在简易电子设备中部署模型的目的；(2)采用asff特征融合策略，使网络学习其他层次对特征进行空间滤波的方式以保留并组合有用的信息，提高模型提取特征的质量，提升模型的检测精度(深度学习模型的检测检测危险物的准确率将直接影响排爆机器人后续操作的精度，因此，模型的检测精度也很重要)。本发明的基于自适应空间特征融合的排爆机器人危险品检测方法通过以上处理即可实现对待检测品的快速分类(即危险品检测)。
14.作为优选的技术方案：
15.如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，所述从互联网抓取数据获取初始危险物数据集具体是利用python语言的scrapy框架通过指定关键字的方式在互联网网站上爬取数据即得初始危险物数据集。本发明的保护范围并不仅限于此，当然本领域技术人员也可采用其他合适的手段完成数据抓取工作。
16.如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，所述对初始危险物数据集进行清洗是指使用结构相似性指数(ssim)去除初始危险物数据集中的重复数据；
17.所述标注是指使用labelimg可视化图形标注软件，按照pasal voc2007的数据集的格式标注图片并存储所生成的xml文件。本发明的保护范围并不仅限于此，数据清洗及标注也可采用其他合适的手段进行，甚至可人工处理，但人工处理效率过低，建议采用软件处理以提高效率。
18.如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，所述数据增强是指分别采用平移、镜像翻转、增强色彩、增强亮度、弱化亮度以及遮挡等策略对标注完成的数据集进行增强。本发明的保护范围并不仅限于此，数据增强手段本领域技术人员可根据实际情况选择。
19.如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，上述危险物数据集存在类别分布不平衡的情况，其主要原因在于数据是通过网络爬虫的方式获取的，针对不同类别的危险物其素材的获取难度不同。在真实生存环境中亦是如此，如炸弹发展
年代较为久远，其图像采集素材较为丰富，而烟花类危险物由于其外观特点较为单一，图像多样性差，多样性素材获取难度大，不可避免的会造成数据量少的现象。综上，由于不同危险物图像获取的难易程度差距较大，不可避免会造成数据集中不同类别数据量不平衡的现象。各类别数据分布不平衡会导致检测模型无法均衡学习各类别危险物的特征，进而对检测性能产生影响。因此，有效解决自建危险物数据集的不平衡问题可以增强模型性能，提升危险物检测的精度。
20.为了平衡模型对不同样本数量的类别的学习程度，本技术引入了类别平衡损失函数用于替代原来的分类损失函数以缓解类别不平衡问题，具体地，类别平衡损失函数的公式具体如下：
[0021][0022][0023]
其中k表示类别，w
cls
[k]表示类别k的权重因子，n
k
表示类别k的数据量，p
ik
表示样本i被所生成的模型预测为类别k的概率，y
ik
表示第i个样本的真实标签，α表示用于控制w
cls
[k]的增长速度，α∈[0,1)，其主要随着类别k的样本数量的大小而变化。
[0024]
如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，所述物品的类别包括手雷(antitank_grenade)、子弹(bullet)、烟花类危险物(firecrackers_fireworks)、煤气类危险物(gas_canisters)、地雷(landmine)、炸弹(military_shells)、木柄手榴弹(stick_grenade)、定时炸弹(timebomb)。当然本发明的物品的类别的设置并不仅限于此，本领域技术人员可根据实际情况合理设置，如可设置为非危险品、爆炸品、压缩气体和有毒气体、易燃液体、易燃固体和遇水自燃物资、有机物和有机过氧化物、毒害物、放射性物资以及腐蚀品等，也可采用现有的分类标准进行分类(如国际海运危险货物规则的六类爆炸品)。
[0025]
本发明还提供一种电子设备，包括一个或多个处理器、一个或多个存储器、一个或多个程序、用于从互联网抓取数据的数据抓取设备以及用于获取待检测品照片的图像采集装置；
[0026]
所述一个或多个程序被存储在所述存储器中，当所述一个或多个程序被所述处理器执行时，使得所述电子设备执行如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法。
[0027]
有益效果：
[0028]
(1)本发明的基于自适应空间特征融合的排爆机器人危险品检测方法，首次提出并构建了危险物数据集，且构建过程是基于软件完成的，效率较高，通过该数据集即可进行模型的训练、验证与测试；
[0029]
(2)本发明的基于自适应空间特征融合的排爆机器人危险品检测方法，其次提出将深度学习应用于排爆机器人计算机视觉系统，为排爆机器人的智能化研究提供新的研究思路；
[0030]
(3)本发明的基于自适应空间特征融合的排爆机器人危险品检测方法，采用轻量化网络设计，以mobil3 netv3作为网络的主干特征提取网络，能够进一步降低模型的卷积
计算量和参数数量，降低模型占用内存的数量，降低部署的要求，进而实现在简易电子设备中部署模型的目的；
[0031]
(4)本发明的基于自适应空间特征融合的排爆机器人危险品检测方法，通过针对排爆机器人工作场景的特殊性，通过改良现有的深度学习算法，提高算法在危险物检测时的精度和效率，具有鲁棒性好的特点，极具应用前景。
附图说明
[0032]
图1为本发明的基于自适应空间特征融合的排爆机器人危险品检测方法的检测过程的示意图；
[0033]
图2为本发明的危险物检测模型的训练的示意图；
[0034]
图3为实施例1(对应图中的改进yolov4)和对比例1(对应图中的改进yolov4)检测精度的对比示意图。
具体实施方式
[0035]
下面结合附图，对本发明的具体实施方式做进一步阐述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0036]
实施例1
[0037]
一种基于自适应空间特征融合的排爆机器人危险品检测方法，应用于电子设备，包括以下步骤：
[0038]
(1)构建危险物数据集：
[0039]
(1.1)从互联网抓取数据获取初始危险物数据集，具体为：利用python语言的scrapy框架通过指定关键字的方式在互联网网站上爬取数据即得初始危险物数据集；
[0040]
(1.2)对初始危险物数据集进行清洗后再对其进行标注，具体为：使用结构相似性指数去除初始危险物数据集中的重复数据后，再使用labelimg可视化图形标注软件，按照pasal voc2007的数据集的格式标注图片并存储所生成的xml文件；
[0041]
(1.3)对标注完成的数据集进行数据增强即得危险物数据集，具体为：分别采用平移、镜像翻转、增强色彩、增强亮度、弱化亮度以及遮挡策略对标注完成的数据集进行增强；
[0042]
(2)使用步骤(1)得到的危险物数据集训练危险物检测模型，其训练过程即以已知类别的物品图像为输入，以物品的对应类别(物品的类别包括手雷、子弹、烟花类危险物、煤气类危险物、地雷、炸弹、木柄手榴弹和定时炸弹)概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限，危险物检测模型是以mobilenetv3作为主干提取网络，采用asff特征融合策略的yolov4模型(即改进yolov4模型)且危险物检测模型中的分类损失函数被类别平衡损失函数替换，类别平衡损失函数的公式具体如下：
[0043][0044][0045]
其中k表示类别，w
cls
[k]表示类别k的权重因子，n
k
表示类别k的数据量，p
ik
表示样本i被所生成的模型预测为类别k的概率，y
ik
表示第i个样本的真实标签，α表示用于控制w
cls
[k]的增长速度，α∈[0,1)；
[0046]
(3)获取排爆机器人采集到的待检测品照片后将其输入步骤(2)训练得到的危险物检测模型即得待检测品的对应类别。
[0047]
对比例1
[0048]
一种排爆机器人危险品检测方法，其与实施例1步骤基本相同，不同在于，危险物检测模型是yolov4模型。
[0049]
实施例1与对比例1的检测精度的对比示意如图1所示，由图1可以看出，本发明的改进yolov4模型对各个类别的危险物的检测精度都有提升，
[0050]
对比例2
[0051]
一种排爆机器人危险品检测方法，其与实施例1步骤基本相同，不同在于，危险物检测模型是采用asff特征融合策略的yolov4模型且危险物检测模型中的分类损失函数被与实施例1相同的类别平衡损失函数替换。
[0052]
实施例1、对比例1和对比例2的检测结果如表1所示，从表1可以看出，本发明的模型的map、fps与原始算法比较有较大的提升。
[0053]
表1
[0054] 对比例1对比例2实施例1相关策略是否采用是否采用是否采用损失函数设置
‑
√√特征融合策略
‑
√√轻量化特征提取网络
‑‑
√map85.5％91.2％87.7％fps785692
[0055]
实施例2
[0056]
一种电子设备，包括一个或多个处理器、一个或多个存储器、一个或多个程序、用于从互联网抓取数据的数据抓取设备以及用于获取待检测品照片的图像采集装置；
[0057]
一个或多个程序被存储在存储器中，当一个或多个程序被处理器执行时，使得电子设备执行如实施例1所述的基于自适应空间特征融合的排爆机器人危险品检测方法。
[0058]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应该理解，这些仅是举例说明，在不违背本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改。