一种放顶煤过程中的煤矸石质量计算方法及系统与流程

1.本发明涉及煤炭检测技术领域，特别是涉及一种放顶煤过程中的煤矸石质量计算方法及系统。


背景技术：

2.目前的煤矸识别多采用综采工作面的煤岩界面识别及图像灰度信息。然后由于各煤矿及采区的矸石性质差异、放顶煤过程的煤粉干扰、采煤工作面的光照条件等问题对采集图像的灰度信息影响很大，导致上述方法准确性差、稳定性差。因此，传统放顶煤控制过程中顶煤采出率低、出煤含矸率高成为目前急需解决的技术难题。


技术实现要素：

3.本发明的目的是提供一种放顶煤过程中的煤矸石质量计算方法及系统，可以准确计算出放顶煤过程中的煤矸石质量。
4.为实现上述目的，本发明提供了如下方案：
5.一种放顶煤过程中的煤矸石质量计算方法，包括：
6.对历史图像进行预处理，得到预处理后的图像；所述历史图像为历史放顶煤过程含有煤矸石的图像；
7.对所述预处理后的图像中的煤矸石进行标注，得到标注数据集；
8.通过所述标注数据集训练残差膨胀卷积神经网络模型，得到煤矸石标注模型；
9.通过所述煤矸石标注模型标注放顶煤过程图像中的煤矸石，得到煤矸石标注图像；
10.根据所述煤矸石标注图像计算煤矸石质量。
11.可选地，所述对历史图像进行预处理，得到预处理后的图像，具体包括：
12.对所述历史图像进行灰度化，得到灰度化后的图像；
13.对所述灰度化后的图像进行retinex图像增强，得到增强后的图像；
14.对所述增强后的图像进行滤波，得到预处理后的图像。
15.可选地，所述对所述预处理后的图像中的煤矸石进行标注，得到标注数据集，具体包括：
16.对所述预处理后的图像进行优化阈值处理，得到优化阈值处理后的图像；
17.利用密度变化法和孔洞填充法对所述优化阈值处理后的图像进行去噪，得到去噪后的图像；
18.对所述去噪后的图像进行修正，得到修正后的图像；
19.对所述修正后的图像中的煤矸石进行标注，得到标注数据集。
20.可选地，所述残差膨胀卷积神经网络模型包括编码器、连接器和解码器；
21.所述编码器包括一个残差模块和四个膨胀卷积模块；
22.所述连接器连接所述编码器和所述解码器；
23.所述解码器包括四个膨胀残差模块、四个上采样层和一个输出卷积模块。
24.可选地，所述根据所述煤矸石标注图像计算煤矸石质量，具体包括：
25.根据所述煤矸石标注图像计算煤矸石体积；
26.根据所述煤矸石体积计算煤矸石质量。
27.可选地，所述根据所述煤矸石标注图像计算煤矸石体积，具体包括：
28.根据所述煤矸石标注图像计算煤矸石的长宽比、矩形度和圆形度；
29.根据所述长宽比、所述矩形度和所述圆形度计算煤矸石初始体积；
30.根据煤矸石的称重体积对所述初始体积进行拟合校正，得到煤矸石体积。
31.一种放顶煤过程中的煤矸石质量计算系统，包括：
32.预处理模块，用于对历史图像进行预处理，得到预处理后的图像；所述历史图像为历史放顶煤过程含有煤矸石的图像；
33.第一标注模块，用于对所述预处理后的图像中的煤矸石进行标注，得到标注数据集；
34.模型训练模块，用于通过所述标注数据集训练残差膨胀卷积神经网络模型，得到煤矸石标注模型；
35.第二标注模块，用于通过所述煤矸石标注模型标注放顶煤过程图像中的煤矸石，得到煤矸石标注图像；
36.计算模块，用于根据所述煤矸石标注图像计算煤矸石质量。
37.可选地，所述预处理模块具体包括：
38.灰度化单元，用于对所述历史图像进行灰度化，得到灰度化后的图像；
39.图像增强单元，用于对所述灰度化后的图像进行retinex图像增强，得到增强后的图像；
40.滤波单元，用于对所述增强后的图像进行滤波，得到预处理后的图像。
41.可选地，所述第一标注模块具体包括：
42.优化阈值处理单元，用于对所述预处理后的图像进行优化阈值处理，得到优化阈值处理后的图像；
43.去噪单元，用于利用密度变化法和孔洞填充法对所述优化阈值处理后的图像进行去噪，得到去噪后的图像；
44.修正单元，用于对所述去噪后的图像进行修正，得到修正后的图像；
45.标注单元，用于对所述修正后的图像中的煤矸石进行标注，得到标注数据集。
46.可选地，所述计算模块具体包括：
47.第一计算单元，用于根据所述煤矸石标注图像计算煤矸石体积；
48.第二计算单元，根据所述煤矸石体积计算煤矸石质量。
49.根据本发明提供的具体实施例，本发明公开了以下技术效果：
50.本发明公开了一种放顶煤过程中的煤矸石质量计算方法及系统，方法包括：对历史图像进行预处理，得到预处理后的图像；所述历史图像为历史放顶煤过程含有煤矸石的图像；对所述预处理后的图像中的煤矸石进行标注，得到标注数据集；通过所述标注数据集训练残差膨胀卷积神经网络模型，得到煤矸石标注模型；通过所述煤矸石标注模型标注放顶煤过程图像中的煤矸石，得到煤矸石标注图像；根据所述煤矸石标注图像计算煤矸石质
量。本发明根据对图像中的煤矸石进行标注得到的标注数据集训练残差膨胀卷积神经网络模型，得到煤矸石标注模型，根据煤矸石标注模型得到煤矸石标注图像，再根据煤矸石标注图像计算煤矸石质量，实现对放顶煤过程中的煤矸石质量准确计算。
附图说明
51.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明实施例1提供的放顶煤过程中的煤矸石质量计算方法流程图；
53.图2为本发明实施例1提供的图像预处理示意图；
54.图3为本发明实施例1提供的数据集标注方法过程图；
55.图4为本发明实施例1提供的残差膨胀卷积神经网络模型结构图；
56.图5(a)为本发明实施例1提供的残差模块结构图；
57.图5(b)为本发明实施例1提供的残差膨胀卷积混合模块结构图；
58.图6(a)为本发明实施例1提供的膨胀率为1时的示意图；
59.图6(b)为本发明实施例1提供的膨胀率为2时的示意图；
60.图6(c)为本发明实施例1提供的膨胀率为4时的示意图。
具体实施方式
61.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.本发明的目的是提供一种放顶煤过程中的煤矸石质量计算方法及系统，可以准确计算出放顶煤过程中的煤矸石质量。
63.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
64.实施例1
65.图1为本发明实施例1提供的放顶煤过程中的煤矸石质量计算方法流程图，如图1所示，方法包括：
66.步骤101：对历史图像进行预处理，得到预处理后的图像；所述历史图像为历史放顶煤过程含有煤矸石的图像。其中，步骤101具体包括：
67.步骤1011：对所述历史图像进行灰度化，得到灰度化后的图像。
68.步骤1012：对所述灰度化后的图像进行retinex图像增强，得到增强后的图像。
69.步骤1013：对所述增强后的图像进行滤波，得到预处理后的图像。
70.步骤102：对所述预处理后的图像中的煤矸石进行标注，得到标注数据集。其中，步骤102具体包括：
71.步骤1021：对所述预处理后的图像进行优化阈值处理，得到优化阈值处理后的图
像。
72.步骤1022：利用密度变化法和孔洞填充法对所述优化阈值处理后的图像进行去噪，得到去噪后的图像。
73.步骤1023：对所述去噪后的图像进行修正，得到修正后的图像。
74.步骤1024：对所述修正后的图像中的煤矸石进行标注，得到标注数据集。
75.步骤103：通过所述标注数据集训练残差膨胀卷积神经网络模型，得到煤矸石标注模型。在本实施例中，所述残差膨胀卷积神经网络模型包括编码器、连接器和解码器。
76.所述编码器包括一个残差模块和四个膨胀卷积模块。
77.所述连接器连接所述编码器和所述解码器。
78.所述解码器包括四个膨胀残差模块、四个上采样层和一个输出卷积模块。
79.步骤104：通过所述煤矸石标注模型标注放顶煤过程图像中的煤矸石，得到煤矸石标注图像。
80.步骤105：根据所述煤矸石标注图像计算煤矸石质量。其中，步骤105具体包括：
81.步骤1051：根据所述煤矸石标注图像计算煤矸石体积。
82.步骤1052：根据所述煤矸石体积计算煤矸石质量。
83.在本实施例中，步骤1051具体包括：
84.根据所述煤矸石标注图像计算煤矸石的长宽比、矩形度和圆形度；
85.根据所述长宽比、所述矩形度和所述圆形度计算煤矸石初始体积；
86.根据煤矸石的称重体积对所述初始体积进行拟合校正，得到煤矸石体积。
87.以下对本发明的原理进行具体说明：
88.步骤一：基于频域变换的retinex方法去除煤矸粉尘污染
89.将工业本安相机安装在采煤支架上方合适位置处，采集场景图像视频。由于煤矸粉尘的影响，图像对比度较低，边缘轮廓及景物特征模糊。而频域变换后粉尘信息集中在低频部分，可通过低频滤波去除粉尘噪声。过程如下：
90.放顶煤图像f(x,y)进行傅里叶变换得到频域图像s(x,y)，其中低频在中间，高频在外围，再将频域图像采用retinex理论增强。
91.retinex理论分解图像为反射物体图像r(x,y)和入射光图像l(x,y)，计算公式为：
92.s(x，y)＝r(x，y)
×
l(x，y)
93.入射光图像l(x,y)比较缓慢，对应傅里叶变换后的低频部分，反射物体图像r(x,y)对应傅里叶变换后的高频部分。图像中的粉尘污染存在于低频部分，通过高斯滤波去除低频噪声。
94.再进行傅里叶反变换，去除外界光源的强度影响，粉尘造成的颜色及方向影响，得到处理后的图像。图2为本发明实施例1提供的图像预处理示意图。
95.步骤二：基于图像分析的煤矸石数据集标注
96.采集各矿放顶煤场景图像，生成煤矸数据集。阈值化方法获得煤矸石的基本信息，利用邻域密度变换方法去除煤矸石伪目标，再利用孔洞填充去除煤矸石目标内部噪声，最后进行边界修正，形成煤矸石目标标注数据。过程如下：
97.1、像素邻域密度变换方法
98.密度变换统计邻域内密度百分比，可以有效去除噪声，保留矸石目标。
99.将步骤一得到的除尘图像进行优化阈值处理，得到阈值图像f
b
(x，y)。经过密度过滤器去除噪声。在图像中，统计邻域a*a范围中的像素值为1的像素个数，其中a为奇数，通常为3或5。如果像素个数大于预设阈值，则像素值设置为255。小于阈值，则作为噪声去除，实际过程可据图像进行调节。得到去除噪声后的图像g(x，y)：
[0100][0101]
其中，x和y为图像像素的行和列，i和j为邻域a*a的行和列，t为阈值，t＝70％。
[0102]
2、煤矸石内部孔洞填充
[0103]
密度变换方法去除图像中孤立细小的噪声，会加大煤矸石内部噪声，为进一步去除矿石目标内部噪声，减少修改任务量，需要采用孔洞填充方法将图像中煤矸石目标内部的孔洞进行填充。
[0104]
3、边界修正
[0105]
阈值分割的基础上，由密度变换和孔洞填充结合的优化方法去除图像噪声。参照原图中的煤矸石目标信息，使用软件工具photoshop进行修正，优化分割结果。结合软件工具的矸石边缘检测结果，得到标注数据集。图3为本发明实施例1提供的数据集标注方法过程图。
[0106]
步骤三：训练残差膨胀卷积神经网络模型
[0107]
针对放顶煤图像背景噪声多、目标多、边界信息弱等特点，设计残差膨胀卷积神经网络模型进行煤矸石边界分割。图4为本发明实施例1提供的残差膨胀卷积神经网络模型结构图，如图4所示，左侧为编码器，由一个残差模块和四个膨胀卷积模块组成，实现下采样。右侧为解码器，由四个膨胀残差块、四个上采样层以及最后一个输出普通卷积模块成，最后一个普通卷积模块是1*1的卷积核和sigmoid激活函数，其他模块的卷积层由批量归一化bn、非线性激活函数relu及3*3卷积核组成。连接器由两个普通卷积模块组成，用于编码和解码部分间信息传播路径，信息在深层与浅层之间传播，有利于解码部分更好地恢复图像。
[0108]
图5(a)为本发明实施例1提供的残差模块结构图，图5(b)为本发明实施例1提供的残差膨胀卷积混合模块结构图。如图5(a)所示，残差模块，可以防止梯度的消失，提高训练的性能。而且煤矸石图像存在薄弱的边缘以及明显的纹理特征，下采样的过程中会丢失一些矿石的边缘信息，使用残差模块可以增加矿石内部纹理特征。如图5(b)所示，残差膨胀卷积混合模块，即卷积模板间用零元素填充，增加感受野的大小，防止细小特征的丢失。通过设置膨胀率r，使图像膨胀到相应尺寸。图6(a)、图6(b)和图6(c)为不同膨胀率时的示意图。
[0109]
最后通过步骤二得到的标注数据集训练残差膨胀卷积神经网络模型，得到煤矸石标注模型。
[0110]
本发明中残差膨胀卷积神经网络模型有以下优点：
[0111]
本发明将残差结构的普通卷积换成不同膨胀率的膨胀卷积，能够提取到更多的区域特征信息。另外在编码器-解码器结构中加入连接器，网络结构变成编码器-连接器-解码器结构，相当于桥梁，两部分间的信息传递更加容易。
[0112]
步骤四：建立煤矸石二维平面信息与体积的关系模型，计算煤矸石质量
[0113]
对于采集的放顶煤现场的刮板输送机图像视频数据，由步骤三得到的煤矸石标注模型进行图像中的煤矸石分割，获得每块煤矸石的边界，然后计算煤矸石长宽比、矩形度和圆形度等指标，通过上述指标确定煤矸石形态，建立煤矸石体积模型，利用煤矸石称重体积校正矸石体积模型，通过校正后的体积模型计算煤矸石质量。过程如下：
[0114]
1、计算煤矸石几何形态
[0115]
计算每块煤矸石的周长c和面积s，通过椭圆长短轴公式拟合出煤矸石的最大半径ax和最小半径bx:
[0116][0117][0118]
通过煤矸石最大半径和最小半径计算煤矸石的块度值d：
[0119][0120]
煤矸石的长宽比r可以反映煤矸石的长宽形状，计算公式如下：
[0121][0122]
其中，w
mer
为煤矸石最小外接矩形的宽，l
mer
为煤矸石最小外接矩形的长。
[0123]
煤矸石的矩形度f是煤矸石面积与最小外接矩形的比值，比值越接近1，与矩形越接近。计算公式如下：
[0124][0125]
其中，s
mer
为最小外接矩形的面积。
[0126]
圆形度g是煤矸石接近椭球的指标量度，计算公式如下：
[0127][0128]
2、煤矸石体积建模
[0129]
如果煤矸石的长宽比、圆形度和矩形度接近1，说明煤矸石表面形态接近圆形，利用如下公式计算煤矸石体积：
[0130]
v＝α1axbx2[0131]
如果煤矸石的长宽比、圆形度和矩形度接近0.6，说明煤矸石表面形态接近饼形，利用如下公式计算煤矸石体积：
[0132]
v＝α2ds
[0133]
如果煤矸石的长宽比、圆形度和矩形度远小于1，说明煤矸石表面形态接近长方体，利用如下公式计算煤矸石体积：
[0134]
v＝α3axbxd
[0135]
其中，α1、α2和α3为体积的拟合校正系数。通过进行刮板输送机煤矸输送物理实验，将刮板机上煤矸石分别称重得到称重体积，利用称重体积进行拟合校正，得到体积的拟合校正系数α1、α2和α3。
[0136]
使用煤矸石标注模型得到图像中煤矸石面积的累积量，根据面积的累积量以及上述体积公式得到煤矸石的累计体积。最后根据煤矸石体积和密度的关系计算出煤矸石质量。
[0137]
实施例2
[0138]
本实施例提供了一种放顶煤过程中的煤矸石质量计算系统，包括：
[0139]
预处理模块，用于对历史图像进行预处理，得到预处理后的图像；所述历史图像为历史放顶煤过程含有煤矸石的图像。
[0140]
第一标注模块，用于对所述预处理后的图像中的煤矸石进行标注，得到标注数据集。
[0141]
模型训练模块，用于通过所述标注数据集训练残差膨胀卷积神经网络模型，得到煤矸石标注模型。
[0142]
第二标注模块，用于通过所述煤矸石标注模型标注放顶煤过程图像中的煤矸石，得到煤矸石标注图像。
[0143]
计算模块，用于根据所述煤矸石标注图像计算煤矸石质量。
[0144]
在本实施例中，所述预处理模块具体包括：
[0145]
灰度化单元，用于对所述历史图像进行灰度化，得到灰度化后的图像；
[0146]
图像增强单元，用于对所述灰度化后的图像进行retinex图像增强，得到增强后的图像；
[0147]
滤波单元，用于对所述增强后的图像进行滤波，得到预处理后的图像。
[0148]
在本实施例中，所述第一标注模块具体包括：
[0149]
优化阈值处理单元，用于对所述预处理后的图像进行优化阈值处理，得到优化阈值处理后的图像；
[0150]
去噪单元，用于利用密度变化法和孔洞填充法对所述优化阈值处理后的图像进行去噪，得到去噪后的图像；
[0151]
修正单元，用于对所述去噪后的图像进行修正，得到修正后的图像；
[0152]
标注单元，用于对所述修正后的图像中的煤矸石进行标注，得到标注数据集。
[0153]
进一步地，所述计算模块具体包括：
[0154]
第一计算单元，用于根据所述煤矸石标注图像计算煤矸石体积；
[0155]
第二计算单元，根据所述煤矸石体积计算煤矸石质量。
[0156]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0157]
(1)本发明建立了煤矸石图像数据自动标注方法，通过煤矸石图像数据集自动标注，快捷标注出图像中的煤矸石及其边界，减少人工标注工作量，提高标注的准确度。而且此标注方法也适用于其它场景图像的数据标注。
[0158]
(2)本发明建立了二维图像中煤矸石边界分割模型，解决放顶煤图像背景噪声多、目标多、边界信息弱等问题，适用于不同采煤工作面图像中的煤矸石分割。
[0159]
(3)本发明建立了煤矸石图像信息与体积的关系模型。提取煤矸石的几何特征，并
进行三维形态描述，最后与物理称重的体积进行拟合得到煤矸石的体积模型。即本发明通过实验，修正少量被淹没煤矸石的体积信息，使测量的煤矸石体积含量接近真实数据，实现对放顶煤过程煤矸石含量的精确检测识别。
[0160]
(4)本发明将深度学习理论引入到煤矸石混合度识别研究中，增强了图像中煤矸石识别的鲁棒性。引入工作面顶板中煤矸成型理论，建立矸石和煤块的平面与体积关系模型；引入数理统计方法，建立矸石掩埋关联关系，建立人工智能技术与岩石理论、统计方法结合的智能放煤应用新思路，为放顶煤开采的自动化和智能化提供了理论和技术。相比传统"见矸关窗"的放煤方法，显著减少混矸及夹矸等现象对放煤过程的影响，提高了顶煤放出效益，减少了煤炭资源浪费。
[0161]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0162]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。