一种基于多光谱技术的煤矸石快速检测的方法与装置与流程

本发明属于煤矸石多光谱图像检测领域，具体是一种基于多光谱技术的煤矸石快速检测的方法与装置。

背景技术：

从第一次工业革命起，煤炭在人类能源中一直扮演重要角色。根据《bp世界能源统计年鉴》，2018年全球煤炭消费量增长1.4％，产量增长4.3％，它们增速均创五年新高；此外，煤炭的消耗在一次能源中的占比仍高达27.2％。这意味着，在现有的能源模式下，人将长期从事煤炭开采工作。在煤的开采过程中，会不可避免的参入热值低或不可燃烧的石头。它不仅降低煤的燃烧效率，而且会增加对空气的污染(矸石含有正金属)。因此将矸石从煤中分离是煤炭开采的重要一部分。煤和矸石的自动化分离的前提是准确的实现煤矸石的检测。目前，尽管已有部分关于煤矸石检测的报道，但其都是基于可见光成像，易受环境光纤和灰尘影响，检测精度有待提升。例如专利201910715211.6基于视频图像检测煤矸石，尽管其实现了矸石的检测，但是基于视频的检测，其只利用可见光的部分波段，检测精度有待提升。

多光谱成像技术就是把入射的全波段或宽波段的光信号分成若干个窄波段的光束，然后把它们分别成像在相应的探测器上，从而获得不同光谱波段的图像。相比于只有rgb三个波段的可见光图像，多光谱可以获得更丰富的煤和矸石特征。此外，多光谱的波段宽，受可见光的影响相对小很多。因此发明一种基于多光谱技术的煤矸石快速检测方法和装置。

技术实现要素：

本发明提供了一种基于多光谱技术的煤矸石快速识别和检测的方法与装置，旨在实现煤矸石的快速高效、准确的识别和检测。

为实现上述目的，本发明提出种基于多光谱技术的煤矸石快速识别和检测的方法与装置，设计一个煤和矸石多光谱数据采集系统，采集煤和矸石的多光谱图像，然后利用图像融合技术将多个光谱图像融合成一个光谱图像，最后利用构建一个基于卷积神经网络煤矸石检测模型，检测每张经融合后的光谱图像中煤矸石的位置。

进一步地，具体包括以下步骤：

s1、设计一个煤和矸石多光谱数据采集系统，煤和矸石的多光谱数据采集系统包括硬件系统和软件系统，硬件系统包括多光谱成像仪、滤光片、镜头、高能光源、电脑以及设备之间的连接设备，软件系统为上位机及光谱成像仪配置软件；

s2、利用搭建的多光谱成像技术获取煤和矸石的原始多光谱数据，对每个波段的多光谱数据归一化处理；构建一个数据融合模型，将选出的最能表达煤和矸石差异的3光谱图像作为基图像，并将剩余图像与基图像融合；

s3、基于卷积神经网络理论，构建一个轻量、高效的煤和矸石的光谱图像检测模型；标注每张融合后的光谱图像，并作为检测模型的目标输出，将融合后的多光谱图像作为检测模型的输入，训练检测模型；最后将训练好的煤矸石检测模型用于煤矸石检测。

进一步地，所述步骤s1中的各设备的连接与工作方式如下：

本发明基于多光谱成像技术，其成像波段宽，必须配备波段较宽的光源设备，高能光源的作用是为系统提供光源；煤或矸石反射的波段较宽光由滤光片过滤后，经镜头在多光谱成像仪的成像传感器上成像；多光谱成像仪中的煤和矸石的光谱数据由usb数据线传到传送到电脑，以便下一步的处理和检测。

进一步地，所述步骤s2归一化的计算和光谱图像的融合方法如下：

令每一个波段的多光谱图像数据为p，其中，每个光谱图像的分辨率为w×h，即光谱图像的长为w高为h：

p′数据归一化后光谱图像的每个像素值；多光谱图像融合方法采用一种高效且计算量较小的图像融合，如下：

式(2)、(3)和(4)中，bp′为基图像，p′是多光谱的一个波段，p″为融合后的多光谱图像。

优选的，所述步骤s3中的基于多光谱图像的煤矸石检测过程如下：

s3.1利用labelimg分别标注融合后的多光谱图，给每张光谱图像中的每个煤块或矸石打标签和坐标信息；

s3.2改进yolo-v3，构建一个适用于煤矸石多光谱图像快速在线检测模型；

s3.3将利用labelimg获取的标注信息转换成检测模型目标输出的数据类型；

s3.4将融合后的光谱图像最为检测模型的输入，把类型转换后的标注数据作为输出目标，训练检测模型；

s3.5训练好的检测模型用于煤矸石在线检测。

本发明的技术方案中，具有以下有益效果：(1)本发明基于多光谱成像技术检测煤矸石，并构建一个煤矸石多光谱图像采集系统；相比于传统rgb图像检测，多光谱具有更宽波带，获取更多的煤和矸石差异特征，具有更高的检测精度；(2)本发明改进yolo-v3模型，创建一个更适于煤矸石多光谱图像检测模型，有优秀的检测精度，能实现煤矸石的实时监测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例提供的一种基于多光谱的煤矸石检测示意流程图；

图2是本发明实施例提供的一种煤矸石多光谱图像采集系统原理图；

图3是本发明实施例提供的一种改进yolo-v3的多光谱煤矸石检测模型；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1是本申请一实施例提供的一种基于多光谱的煤矸石检测流程示意图。如图1所示，该移动流量预测方法包括步骤s1～s3。

s1、搭建一个煤和矸石多光谱数据采集系统，系统原理图如图2所示，硬件系统包括多光谱成像仪、滤光片、镜头、高能光源、电脑以及设备之间的连接设备；

多光谱成像技术的成像波段宽，必须配备波段较宽的光源设备，高能光源的作用是为系统提供光源；为减少环境的干扰，本发明采用双光源为多光谱提供必要的光；系统的工作如：

首先打开光源，照射待检测煤矸石，煤矸石反射宽波段的光，经带通滤光片过滤，只允许特定波长的光通过镜头进入光谱成像仪，并由光谱成像仪成像；多光谱成像仪的曝光时间设置和工作由计算机控制经usb3.0数据线控制，同时光谱采成像仪会把采集的煤或矸石的光谱图像数据经usb3.0数据线传到电脑中，以便下一步的融合和检测。

s2、利用搭建的多光谱成像技术获取煤和矸石的原始多光谱数据，对每个波段的多光谱数据归一化处理；构建一个数据融合模型，将选出的最能表达煤和矸石差异的3光谱图像作为基图像，并将剩余图像与基图像融合；

令每一个波段的多光谱图像数据为p，其中，每个光谱图像的分辨率为w×h，即光谱图像的长为w高为h：

p′数据归一化后光谱图像；多光谱图像融合方法采用一种高效且计算量较小的图像融合，如下：

式(6)、(7)和(8)中，bp′为基图像，p′是多光谱的一个波段，p″为融合后的多光谱图像。

s3、构建一个轻量、高效的煤和矸石的光谱图像检测模型；标注每张融合后的光谱图像，并作为检测模型的目标输出，将融合后的多光谱图像作为检测模型的输入，训练检测模型；最后将训练好的煤矸石检测模型用于煤矸石检测，具体实现步骤如下：

s3.1利用labelimg分别标注融合后的多光谱图，给每张光谱图像中的每个煤块或矸石打标签和坐标信息；

s3.2改进yolo-v3，构建一个适用于煤矸石多光谱图像快速在线检测模型；yolo-v3的改进部分如图3所示，具体如下：

1)针对多光谱的光谱图的分辨率，改进的检测模型的输入为400*200*3；

2)设计一个基于稠密连接的特征提框架以代替yolo-v3中的残差连接，提高模型的效率；

3)为进一步提高煤矸石的检测速度，改进的yolo-v3的特征图采用两种刻度，分别是40*20*14和20*10*14；

其中，在稠密连接中，卷核大小均为3*3，步长为1；池化采用最大池化法，池化核大小为2*2，步长2；激活函数采用relu，原理如：

式9中，pi,j为卷积后特征图中像素点值。

s3.3将利用labelimg获取的标注信息转换成检测模型目标输出的数据类型；

s3.4将融合后的光谱图像最为检测模型的输入，把类型转换后的标注数据作为输出目标，训练检测模型；

s3.5训练好的检测模型用于煤矸石在线检测。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。