一种基于目标检测的煤矿异物剔除方法与流程

本发明涉及机器视觉技术领域，尤其是一种基于目标检测的煤矿异物剔除方法。

背景技术：

在煤矿开采的过程中，井下职工餐食大多用塑料袋带包装。这些塑料袋、火腿肠皮、矿泉水瓶和在生产过程中产生的一些比如材料包装纸箱、小木块、编织袋、细铁丝、碎砖头、烂棉丝等生产垃圾，时常会随运输系统混入原煤中。由于塑料袋、包装纸箱等特别轻，漂浮在煤上面，很容易将跳汰机筛子的筛孔堵住，影响产品精煤产品分级。小木块、碎砖头由于比重与煤相近造成无法分离，便直接进入洗精块煤中，有些铁丝、螺栓等还可能绕到设备中损坏机器，这些垃圾在选煤厂原煤洗选过程中是最令人头疼的事。

因此选煤厂不得不在原煤皮带入口、入洗皮带机头、跳汰机出口、精煤出口等处安排人工捡杂，费时费工费力。即便如此，由于这些煤矿异物混合在原煤中，粘上煤灰后色泽与原煤无异，肉眼难以在第一时间辨识出异物，漏检的几率非常大。

技术实现要素：

本发明人针对上述问题及技术需求，提出了一种基于目标检测的煤矿异物剔除方法，本发明的技术方案如下：

一种基于目标检测的煤矿异物剔除方法，该方法包括：

通过布设在煤矿产线上方的相机获取煤矿实时图像；

将煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，异物热点图标示煤矿实时图像中异物所在区域；

根据异物热点图对煤矿实时图像进行分割切片并输出异物热点切片图，异物热点切片图是煤矿产线中异物所在区域的图像；

将异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果；

将异物热点图和各个异物类型检测结果合成煤矿异物检测图谱，煤矿异物检测图谱标识煤矿产线中异物所在区域及其对应的异物类型；

根据煤矿异物检测图谱利用异物类型对应的除杂设备剔除煤矿产线中相应区域的异物。

其进一步的技术方案为，将煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，包括：

使用双线性插值法将煤矿实时图像进行缩放得到尺寸变换后的煤矿实时图像；尺寸变换后的煤矿实时图像依次经过异物分割卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第一最大上池化层、第一反卷积网络、第二最大上池化层、第二反卷积网络、第三最大上池化层以及第三反卷积网络后输出异物热点图；

其中，第一卷积网络包括一个卷积层，第二卷积网络包括6个卷积层，第三卷积网络包括5个卷积层，第一反卷积网络包括3个反卷积层，第二反卷积网络包括3个反卷积层，第三反卷积网络包括1个反卷积层；第一卷积网络、第二卷积网络和第三卷积网络中的各个卷积层采用relu作为激活函数。

其进一步的技术方案为，异物分割卷积神经网络中的第一卷积网络包括第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16；

异物分割卷积神经网络中的第二卷积网络依次包括第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层以及第七卷积层，第二卷积层的卷积核的尺寸为1*3、通道数为32，第三卷积层的卷积核的尺寸为3*1、通道数为32，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的个数为3*3、通道数为16，第六卷积层的卷积核的个数为3*3、通道数为64，第七卷积层的卷积核的个数为3*3、通道数为64；

异物分割卷积神经网络中的第三卷积网络依次包括第八卷积层、第九卷积层、第十卷积层、第十一卷积层以及第十二卷积层，第八卷积层的卷积核的尺寸为1*3、通道数为128，第九卷积层的卷积核的尺寸为3*1、通道数为128，第十卷积层的卷积核的尺寸为1*1、通道数为64，第十一卷积层的卷积核的尺寸为3*3、通道数为64，第十二卷积层的卷积核的尺寸为1*1、通道数为256。

其进一步的技术方案为，第一反卷积网络依次包括第一反卷积层、第二反卷积层以及第三反卷积层，第一反卷积层的卷积核的尺寸为2*2、通道数为128，第二反卷积层的卷积核的尺寸为3*3、通道数为64，第三反卷积层的卷积核的尺寸为3*3、通道数为64；

第二反卷积网络依次包括第四反卷积层、第五反卷积层以及第六反卷积层，第四反卷积层的卷积核的尺寸为2*2、通道数为64，第五反卷积层的卷积核的尺寸为3*3、通道数为16，第六反卷积层的卷积核的尺寸为3*3、通道数为16；

第三反卷积网络包括第七反卷积层，第七反卷积层的卷积核的尺寸为1*1、通道数为2。

其进一步的技术方案为，异物分割卷积神经网络中的各个最大池化层和各个最大上池化层的规格相同，池化核的尺寸均为2*2、步长均为2。

其进一步的技术方案为，将异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果，包括：

使用双线性插值法将异物热点切片图进行缩放得到尺寸变换后的异物热点切片图；尺寸变换后的异物热点切片图依次经过异物分类卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第三最大池化层、第四卷积网络、第四最大池化层、第五卷积网络、全局平均池化层、全连接层和输出层后输出对应的异物类型检测结果；

其中，第一卷积网络包括一个卷积层，第二卷积网络包括2个卷积层，第三卷积网络包括5个卷积层，第四卷积网络包括5个卷积网络，第五卷积网络包括3个卷积层，各个卷积网络中的卷积层均采用relu作为激活函数，输出层采用softmax作为激活函数。

其进一步的技术方案为，异物分类卷积神经网络中的第一卷积网络包括第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16；

异物分类卷积神经网络中的第二卷积网络依次包括第二卷积层和第三卷积层，第二卷积层的卷积核的尺寸为3*1、通道数为32，第三卷积层的卷积核的尺寸为1*3、通道数为32；

异物分类卷积神经网络中的第三卷积网络依次包括第四卷积层、第五卷积层、第六卷积层、第七卷积层和第八卷积层，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的尺寸为3*3、通道数为16，第六卷积层的卷积核的尺寸为3*3、通道数为64，第七卷积层的卷积核的尺寸为3*1、通道数为64，第八卷积层的卷积核的尺寸为1*3、通道数为64；

异物分类卷积神经网络中的第四卷积网络依次包括第九卷积层、第十卷积层、第十一卷积层、第十二卷积层和第十三卷积层，第九卷积层的卷积核为3*3、通道数为64，第十卷积层的卷积核为3*3、通道数为64，第十一卷积层的卷积核为3*3、通道数为256，第十二卷积层的卷积核的尺寸为3*1、通道数为256，第十三卷积层的卷积核的尺寸为1*3、通道数为256；

异物分类卷积神经网络中的第五卷积网络依次包括第十四卷积层、第十五卷积层和第十六卷积层，第十四卷积层的卷积核的尺寸为3*3、通道数为128，第十五卷积层的卷积核的尺寸为3*3、通道数为128，第十六卷积层的卷积核的尺寸为3*3、通道数512。

其进一步的技术方案为，异物分类卷积神经网络中的各个最大池化层的规格相同，池化核的尺寸均为2*2、步长均为2。

其进一步的技术方案为，通过布设在煤矿产线上方的相机获取煤矿实时图像，包括：

通过布设在煤矿产线上方不同位置处的若干个相机分别获取各自视野范围内的煤矿子图像；

将各个相机获取到的煤矿子图像合并生成全画幅的煤矿实时图像。

本发明的有益技术效果是：

本申请公开了一种基于目标检测的煤矿异物剔除方法，通过使用异物分割卷积神经网络和异物分类卷积神经网络进行煤矿异物智能检测，对各级选煤生产线中的各类异物进行实时检测定位和精准识别分类，可以实现自动化的精确异物剔除，异物分割卷积神经网络和异物分类卷积神经网络专为煤矿异物场景定制，具有体量小、实时性强、检测精度高等特点，同时，经过二次筛检，极大地降低了误检率，异物剔除准确度很高。

附图说明

图1是本申请的基于目标检测的煤矿异物剔除方法的方法流程图。

图2是本申请中异物分割卷积神经网络的结构图。

图3是本申请中异物分类卷积神经网络的结构图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于目标检测的煤矿异物剔除方法，请参考图1所示的流程，该方法包括如下步骤：

1、通过布设在煤矿产线上方的相机获取煤矿实时图像，煤矿产线中除了包括煤块和各类异物，比如金属丝、塑料制品等等。在实际应用时，单一相机的视野范围往往很难覆盖煤矿产线的全部区域，因此通常通过多个相机来获取煤矿实时图像，则通过布设在煤矿产线上方不同位置处的若干个相机分别获取各自视野范围内的煤矿子图像，然后将各个相机获取到的煤矿子图像合并生成全画幅的煤矿实时图像。

2、将煤矿实时图像输入到异物分割卷积神经网络中进行异物区域检测定位并输出异物热点图，异物热点图标示煤矿实时图像中异物所在区域。

本申请中异物分割卷积神经网络的结构如图2所示，其对煤矿实时图像的处理过程如下：

首先使用双线性插值法将煤矿实时图像进行缩放得到尺寸变换后的煤矿实时图像，在本申请中，尺寸变换后的煤矿实时图像的尺寸为2048*512。

尺寸变换后的煤矿实时图像依次经过异物分割卷积神经网络中的第一卷积网络、第一最大池化层(maxpooling层)、第二卷积网络、第二最大池化层、第三卷积网络、第一最大上池化层(maxunpooing层)、第一反卷积网络、第二最大上池化层、第二反卷积网络、第三最大上池化层以及第三反卷积网络后输出异物热点图。

其中，第一卷积网络包括一个卷积层为第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16。

第二卷积网络包括6个卷积层，依次分别为第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层以及第七卷积层，其中，第二卷积层的卷积核的尺寸为1*3、通道数为32，第三卷积层的卷积核的尺寸为3*1、通道数为32，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的个数为3*3、通道数为16，第六卷积层的卷积核的个数为3*3、通道数为64，第七卷积层的卷积核的个数为3*3、通道数为64。

第三卷积网络包括5个卷积层，依次为第八卷积层、第九卷积层、第十卷积层、第十一卷积层以及第十二卷积层，其中，第八卷积层的卷积核的尺寸为1*3、通道数为128，第九卷积层的卷积核的尺寸为3*1、通道数为128，第十卷积层的卷积核的尺寸为1*1、通道数为64，第十一卷积层的卷积核的尺寸为3*3、通道数为64，第十二卷积层的卷积核的尺寸为1*1、通道数为256。

上述第一卷积网络、第二卷积网络和第三卷积网络中的各个卷积层采用relu作为激活函数。

第一反卷积网络包括3个反卷积层，依次为第一反卷积层、第二反卷积层以及第三反卷积层，第一反卷积层的卷积核的尺寸为2*2、通道数为128，第二反卷积层的卷积核的尺寸为3*3、通道数为64，第三反卷积层的卷积核的尺寸为3*3、通道数为64。

第二反卷积网络包括3个反卷积层，依次为第四反卷积层、第五反卷积层以及第六反卷积层，第四反卷积层的卷积核的尺寸为2*2、通道数为64，第五反卷积层的卷积核的尺寸为3*3、通道数为16，第六反卷积层的卷积核的尺寸为3*3、通道数为16。

第三反卷积网络包括1个反卷积层为第七反卷积层，第七反卷积层的卷积核的尺寸为1*1、通道数为2。

另外，各个最大池化层和各个最大上池化层的规格相同，池化核的尺寸均为2*2、步长均为2。

3、根据异物热点图对煤矿实时图像进行分割切片并输出异物热点切片图，异物热点切片图是煤矿产线中异物所在区域的图像。

4、将异物热点切片图输入异物分类卷积神经网络进行异物类型检测得到每个异物热点切片图对应的异物类型检测结果。

本申请中异物分类卷积神经网络的结构如图3所示，其对煤矿实时图像的处理过程如下：

首先，使用双线性插值法将异物热点切片图进行缩放得到尺寸变换后的异物热点切片图。在本申请中，尺寸变换后的异物热点切片图的尺寸为128*128。

尺寸变换后的异物热点切片图依次经过异物分类卷积神经网络中的第一卷积网络、第一最大池化层、第二卷积网络、第二最大池化层、第三卷积网络、第三最大池化层、第四卷积网络、第四最大池化层、第五卷积网络、全局平均池化层(averagepool)、全连接层(2-dfullyconnectedlayer)和输出层(softmaxlayer)后输出对应的异物类型检测结果，比如输出异物类型检测结果为煤块、金属、塑料等等，如图3所示的举例情况。

其中，第一卷积网络包括一个卷积层为第一卷积层，第一卷积层的卷积核的尺寸为3*3、通道数为16。

第二卷积网络包括2个卷积层依次为第二卷积层和第三卷积层，第二卷积层的卷积核的尺寸为3*1、通道数为32，第三卷积层的卷积核的尺寸为1*3、通道数为32。

第三卷积网络包括5个卷积层，依次为第四卷积层、第五卷积层、第六卷积层、第七卷积层和第八卷积层，第四卷积层的卷积核的尺寸为3*3、通道数为16，第五卷积层的卷积核的尺寸为3*3、通道数为16，第六卷积层的卷积核的尺寸为3*3、通道数为64，第七卷积层的卷积核的尺寸为3*1、通道数为64，第八卷积层的卷积核的尺寸为1*3、通道数为64。

第四卷积网络包括5个卷积网络，依次为第九卷积层、第十卷积层、第十一卷积层、第十二卷积层和第十三卷积层，第九卷积层的卷积核为3*3、通道数为64，第十卷积层的卷积核为3*3、通道数为64，第十一卷积层的卷积核为3*3、通道数为256，第十二卷积层的卷积核的尺寸为3*1、通道数为256，第十三卷积层的卷积核的尺寸为1*3、通道数为256。

第五卷积网络包括3个卷积层，依次为第十四卷积层、第十五卷积层和第十六卷积层，第十四卷积层的卷积核的尺寸为3*3、通道数为128，第十五卷积层的卷积核的尺寸为3*3、通道数为128，第十六卷积层的卷积核的尺寸为3*3、通道数512。

上述各个卷积网络中的卷积层均采用relu作为激活函数，输出层采用softmax作为激活函数。各个最大池化层的规格相同，池化核的尺寸均为2*2、步长均为2。

需要说明的是，上述异物分割卷积神经网络和异物分类卷积神经网络

5、将异物热点图和各个异物类型检测结果合成煤矿异物检测图谱，煤矿异物检测图谱标识煤矿产线中异物所在区域及其对应的异物类型。

6、根据煤矿异物检测图谱利用异物类型对应的除杂设备剔除煤矿产线中相应区域的异物。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。