一种基于深度学习技术的煤的破坏类型快速识别方法及装置与流程

本发明属于煤矿安全技术领域，具体来说涉及一种煤的破坏类型快速识别方法，同时还涉及该基于深度学习技术的煤的破坏类型快速识别装置。

背景技术：

我国是全球最大的产煤国，煤炭消费量居世界首位。作为主体能源和重要工业原料，煤炭在我国一次性能源消费结构中的比重占60％以上，预计到2050年仍将维持在50％以上。因此，在很长一段时期内，煤炭仍将占据能源消费结构的主导地位。据统计，中国95％以上煤矿为井工开采，随着开采深度的增加，煤矿安全开采面临的问题日趋严峻，在各类煤矿事故中煤与瓦斯突出尤为严重。同时，我国主要产煤矿区地质构造条件普遍复杂，构造煤、软分层等较为发育，使得煤与瓦斯突出的发生具备了客观条件。

煤的破坏类型是指煤体结构受构造应力作用后的破坏程度，根据煤的物理、力学性质和特征等，《煤与瓦斯突出矿井鉴定规范》(aq1024-2006)中将煤的破坏类型分为5种，ⅰ类(非破坏煤)、ⅱ类(破坏煤)、ⅲ类(强烈破坏煤)、ⅳ类(粉碎煤)和ⅴ类(全粉煤)，并从光泽、构造与构造特征、节理性质、节理面性质和硬度等方面进行了详细描述。工程实践表明：煤的结构类型变化往往与地质构造关系密切，构造煤发育区往往是瓦斯突出的危险区，已成为共识，尤其是韧性变形的构造煤，由于特殊的物理和化学结构决定了其高含气量和低透气性的特征，是煤与瓦斯突出的危险带。而变形较弱的脆性系列构造煤，裂隙发育、连通性好、渗透率较高，分布范围较大，是较好的瓦斯储层。现行《煤矿安全规程》、《防治煤与瓦斯突出细则》、《煤矿瓦斯等级鉴定办法》等均将煤的破坏类型作为判定煤与瓦斯突出危险性的主要指标之一，但在实际应用时多数是依据煤的宏观物理特征，通过工程技术人员井下观察辨别煤的破坏类型，判定结果受人员经验、知识结构等影响较大，存在很大的主观性和误差。

图像识别技术是利用计算机对图像进行处理、分析，以识别各种不同模式的目标和对象的技术。传统图像的识别流程主要分了2步：特征提取和识别。特征的提取是从原始像素点中提取更高级的特征，如方向梯度直方图(hog)、线性反投影(lbp)等，然后使用特征训练分类器进行识别图像，常使用的分类器有支持向量机(svm)、逻辑回归(lr)等，其特征提取缺乏自适应性，如果选择的特征不具备代表性，识别模型准确率会大大降低。

技术实现要素：

本发明的目的在于克服上述缺点而提供的一种能实现定量、安全、快速、准确的识别煤的破坏类型的基于深度学习技术的煤的破坏类型快速识别方法。

本发明的另一目的在于提供该基于深度学习技术的煤的破坏类型快速识别装置。

本发明的一种基于深度学习技术的煤的破坏类型的识别方法，包括以下步骤：

(1)采集煤的破坏类型图像：煤矿井下拍摄煤层图像，图像中要求无遮挡物(如工字钢、锚网等)，并手动标记其破坏类型，建立煤的破坏类型图像识别数据库，使用图片增强技术扩充数据库中图像数量；

(2)图像预处理：图像数据以红绿蓝(rgb)色彩模式表示，将步骤(1)采集的煤的破坏类型图像尺寸归一化到224×224×3大小矩阵中，像素值归一化到均值为0、方差为1的标准正态分布上；

(3)构建煤的破坏类型图像识别模型：煤的破坏类型图像识别模型是基于深度学习的残差卷积神经网络图像识别模型，包括输入层、卷积层、池化层、全连接及输出层5种结构，由1个输入层、49层卷积层、2层池化层、1层全连接层和1个输出层构成；

(4)训练煤的破坏类型图像识别模型：使用步骤(2)中80％的数据作为训练集，训练步骤(3)构建的破坏类型图像识别模型，利用反向传播和优化器更新模型中每层的权重，直至模型的损失函数(lossfunction)收敛，停止模型训练，此时使用步骤(2)中未参与模型训练的数据验证模型准确率，当模型准确率高于93％，召回率高于85％时输出煤的破坏类型图像识别模型，否则，重复步骤(1)-(4)；

(5)煤的破坏类型图像识别：对待识别的煤的破坏类型图像使用步骤(2)的方法进行图像预处理后，输入到步骤(4)训练好的煤的破坏类型图像识别模型中进行识别(检测)，获得煤的图像所属的破坏类型(ⅰ、ⅱ、ⅲ、ⅳ、ⅴ五种类型)。

上述的一种基于深度学习技术的煤的破坏类型的识别方法，其中：步骤(1)中的图像增强技术，包括图像水平翻转、随机旋转变换、随机裁剪、添加高斯噪声及图像亮度调节，用于扩充数据库中图像数量时对每张图像至少使用2种以上的图像增强技术扩充煤的破坏类型图像识别数据库量。

上述的一种基于深度学习技术的煤的破坏类型的识别方法，其中：步骤(2)的图像预处理，将图像尺寸归一化为224×224×3的矩阵，可根据步骤(4)训练模型使用计算机的计算性能进一步优化尺寸，包括64×64×3、128×128×3等。

上述的一种基于深度学习技术的煤的破坏类型的识别方法，其中：步骤(3)的煤的破坏类型图像识别模型为优化选择残差神经网络-101(resnet-101)或残差神经网络-152(resnet-152)改进设计煤的破坏类型图像识别模型结构。

本发明的一种基于深度学习技术的煤的破坏类型快速识别装置，包括中央处理器、识别模型程序、储存单元、音频单元、显示单元、输出\输出(i\o)单元、图像采集、电源、防爆装置以及总线系统；中央处理器与储存单元互相连接，储存单元包括硬盘和内存，硬盘主要用于存储拍摄检测煤层图像与识别模型程序(装置在运行时，识别模型程序被载入到内存被中央处理器运行)；图像采集、i\o单元、显示单元分别与中央处理器互连，数据互相流通；中央处理器与音频单元单相连接，电源通过总线系统为装置提供电源，总线系统用于连接所有功能单元。

上述的一种基于深度学习技术的煤的破坏类型快速识别装置，其中：中央处理器用于运算与控制，调用图像采集获取待检测识别煤层图像，执行储存单元识别模型程序，即方法中步骤(2)图像预处理与步骤(4)训练输出煤的破坏类型图像识别模型，通过显示单元输出检测结果及类型信息。

上述的一种基于深度学习技术的煤的破坏类型快速识别装置，其中：识别模型程序储存在存储单元中，后续可通过i\o单元优化升级迭代煤的破坏类型图像识别模型，提高识别准确率。

本发明与现有技术相比，具有明显的有益效果，从以上技术方案可知：本发明基于煤的破坏类型图像信息建立煤的破坏类型识别模型，并将模型内化于便携式设备装置中，煤层破坏类型识别模型利用深度学习图像识别技术，比传统图像识别准确度高、自适应强；便于现场人员实时、高效识别煤的破坏类型，解决了传统人工主观目测识别方式存在的主观性和误差，有利煤矿的安全生产。本发明通过采集大量的煤层图像信息建立图像库，使用深度学习图像识别技术建立煤的破坏类型识别模型，识别准确率能高于93％。同时将待检测的煤层图像保存在便携式装备中，使得检测结果可追溯、可复检，有利于指导矿山安全生产。本发明利用深度学习图像识别技术，构建煤的破坏类型图像识别模型，能实现定量、安全、快速、准确的识别煤的破坏类型，并嵌入到便携式识别装置中，在矿井下快速、准确识别煤的破坏类型，有效预防煤与瓦斯突出事故。

附图说明

图1本发明识别方法的流程图；

图2为卷积神经网络提取卷积特征图示例；

图3为基于卷积神经网络的煤的破坏类型识别模型结构图；

图4基为于深度学习技术的煤的破坏类型识别装置结构示意图。

图中标记：

101、煤的破坏类型图像识别数据库；111、待检测图像；102、图像预处理；103、卷积神经网络结构；104、煤的破坏类型识别模型；105、煤的破坏类型识别(检测)结果；201、煤的图像；202、卷积特征图；310、批量归一化操作；320、线性整流(relu)激活函数；330、卷积块；340、特征卷积块；350、softmax激活函数；s330、conv型卷积块结构；s350、identity型卷积块结构；400、总线；410、中央处理器；420、识别模型；430、储存单位；440、音频单位；450、显示单位；460、i/o单元；461、识别模式升级接口；470、图片采集；480、电源；490、防爆装置。

具体实施方式

以下结合附图及较佳实施例，对依据本发明提出的基于深度学习技术的煤的破坏类型快速识别方法及装置具体实施方式、结构、特征及其功效，详细说明如后。

参见图1，本发明的一种基于深度学习技术的煤的破坏类型的识别方法，包括以下步骤：

(1)采集煤的破坏类型图像：煤矿井下拍摄煤层图像111，图像中要求无遮挡物(如工字钢、锚网等)，并且清晰、无过曝光现象，明暗适宜，图像需有较好的节理、断口信息，并手动标记其破坏类型，将图像所属破坏类型进行“独热编码”(one-hot编码)建立煤的破坏类型图像识别数据库101，对每张图像使用对水平翻转、随机旋转变换、随机裁剪、添加高斯噪声及图像亮度调节等图片增强技术至少2种以上，扩充数据库中图像数量，使得每种煤的破坏类型图像数据不低于5000张；

(2)图像预处理102：图像数据以红绿蓝(rgb)色彩模式表示，步骤(1)采集到的图像库中图像尺寸大小不一致，不便于后续运算与煤的破坏类型图像识别模型的建立，所以将所有煤的破坏类型图像尺寸归一化到224×224×3大小矩阵中，即是将图像高度和宽度均采样到244、且将像数值从分布为[0,255]归一化为均值为0、方差为1的标准正态分布上，按下式分别计算rgb每个通道归一化后像数值：

上式中表示rgb每个通道的均值与方差；在需要可视化图像与特征图时，可利用上式将归一化后像素值还原到[0,255]上才可以正常显示图像；

(3)构建煤的破坏类型图像识别模型：煤的破坏类型图像识别模型是基于深度学习的残差卷积神经网络图像识别模型，包括输入层、卷积层、池化层、全连接层及输出层5种结构，由1层输入层、49层卷积层、2层池化层、1层全连接层和1层输出层构成；

煤的破坏类型图像识别模型是基于深度学习的残差卷积神经网络-101(resnet-101)或残差神经网络-152(resnet-152)图像识别模型，包括输入层(inputlayer)、卷积层(convolutionallayer)、池化层(poolinglayer)、全连接层(fullyconnectedlayers)、输出层(outputlayer)。输入层是图像经过图像预处理后的三维矩阵；卷积层，在煤层图像上进行卷积操作，即实现在图像上以窗口滑动进行局部特征的提取与整合，通过多层卷积组合使模型具有足够的表达能力和泛化能力；池化层主要功能进一步压缩卷积层提取到的特征；参见图2(卷积特征图是像数值矩阵还原到[0,255]上的展示结果)，卷积神经网络的卷积层与池化层从图像抽取的局部特征，可输出对于的卷积特征图。224×224×3的煤层图像经过一个7×7，通道数64，步长2的卷积核，得到64个122×122×3的特征图像，在卷积特征图中，显示了更多的亮度、纹理、节理等信息，在实际卷积计算过程中为加快计算像素值是被归一化到均值为0，方差为1的矩阵。全连接层可以将高维度的卷积层与池化层降维到1维数组。在深度学习中将卷积层、池化层、全连接层3种结构称为隐藏层。

参见图3，结合表1卷积神经网络结构103，基于残差训练的卷积神经网络结构为残差(resnet)的卷积神经网络的优化变形，是由卷积残差块构建的一个深度网络，在较深网络层中加入一种“捷径”的结构，即是图3中s330和s340卷积块结构。为解决深度网络梯度消失问题，提高卷积神经网络的准确率，本实施例卷积神经网络由1层输入层和1层输出层及52层隐藏层。52层隐藏层由49层卷积层(即表中conv1卷积层、conv2_x、conv3_x、conv3_x、conv4_x4个卷积块)，2层池化层(global-average-pooling)，1层全连接层构成(表中dense)。表中输出尺寸是以本实例图像大小(224×224×3)计算得出，例如，在第一个卷积层(conv1)经过卷积运算后网络层输出特征图尺寸为112×112×64的特征矩阵。进一步可以理解，表中①部分卷积块对应图3中330和340的组合，模型是逐层特征提取的过程，每层的输出都可以为经过特征提取后的数据。

表1煤的破坏类型的卷积神经网络结构

注：①②③④中的“×·”表示重复。

图3中310批量归一化(batchnormalization)，在模型的网络层得到特征图，均需要归一化处理，对隐藏层所有数据都进行归一化处理的计算开销太大，故采用小批数据在网络层的输出进行归一化处理。形成了均值为0，方差为1的正态分布，目的是为后续进行的非线性变换的线性区拉动，增大导数值，增强反向传播信息流动性，加快训练收敛速度。

图3中320与350为激活函数，用于加入非线性因素。在本发明中，使用线性整流(relu)和归一化指数函数(softmax)两种激活函数。

relu:f(x)＝max(0，x)

softmax：f(x)＝1/(1+e^-x)

上式中x表示每层网络提取到特征图在该层网络上的加权值，线性整流(relu)用在隐藏层中增大了网络的稀疏性。当x<0时，该层的输出为0，训练完成后为0的神经元越多，稀疏性越大，提取出来的特征就约具有代表性，泛化能力越强。归一化函数(softmax)用在全连接层中，用于计算图像识别所属标签的概率；

(4)训练煤的破坏类型图像识别模型104：步骤(3)构建的煤的破坏类型图像识别模型在每层结构中存在权值与偏置2个参数，需要利用步骤(2)的数据训练求解最优参数，煤的破坏类型图像识别模型是卷积神经网络，它是一种输入到输出的映射，卷积网络训练的目的寻找到最优的参数使得模型预测输出与真实值误差最小，使用下式损失函数衡量该种误差：

j(w，b；x，y)＝1/2||hw，b(x)-y||²

w,b是所有网络层的参数权值矩阵与偏置项矩阵，y为图像真实所属类别，hw,b是网络运算预测所属类型，||||是向量的l1范数；使用步骤(2)中80％的数据作为训练集，利用反向传播和优化器更新模型中每层的参数，卷积神经网络的训练过程分为两个阶段：第一个阶段是前向传播阶段，数据由低层次向高层次传播的阶段,计算相应的实际输出；在此阶段信息从输入层经过逐级的变换，传送到输出层，这个过程也是网络在完成训练之后正常执行时执行的过程：第二阶段是后向传播阶段，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练即反向传播算法链式求导，计算损失函数对每个权重的偏导数，然后使用梯度下降法对权重进行更新，直至模型的损失函数(lossfunction)收敛，结束训练此时使用步骤(2)中未参与模型训练的数据验证模型准确率，当模型准确率高于93％，召回率高于85％时输出训练模型，即是煤的破坏类型图像识别模型，否则，重复步骤(1)-(4)；

(5)煤的破坏类型图像识别：对待识别的煤的破坏类型图像使用步骤(2)的方法进行图像预处理后，输入到步骤(4)训练好的煤的破坏类型图像识别模型打包为一个计算机程序模块，该程序模块有一个图像识别输入接口与输出接口，可存储在任意计算机设备上使用，对需要识别(检测)的煤的破坏类型图像，计算机调用程序图像识别输入接口输入数据，经过程序运算可以在输出接口输出该煤的图像所属的破坏类型105(ⅰ、ⅱ、ⅲ、ⅳ、ⅴ五种类型)。

参见图4，一种基于深度学习技术的煤的破坏类型快速识别装置，包括中央处理器410、识别模型420、储存单元430、音频单元440、显示单元440、输出\输出(i\o)单元460、图像采集470、电源480、防爆装置以及总线系统400；中央处理器与储存单元互相连接，储存单元包括硬盘和内存，硬盘主要用于存储拍摄检测煤层图像与识别模型程序(装置在运行时，识别模型程序被载入到内存被中央处理器运行)；图像采集、i\o单元、显示单元分别与中央处理器互连，数据互相流通；中央处理器与音频单元单相连接，电源通过总线系统为装置提供电源，总线系统用于连接所有功能单元。其中i\o单元460由控制输入、模型导入、结果导出、图片导出、模型升级、其他i\o等6部分组成；图像采集470由高清摄像头与光源组成。

请图像采集(470)中必须使用高清摄像头，由于矿井环境较暗，故配备了光源，也称闪光灯，用于采集到特征清晰的煤层图像；i\o单元(460)是装置的输入、输出交互中心，主要的输出信号包括装置控制、调正图像采集、识别模型的导入及模型升级(461)等功能、主要输出包括识别记录导出、采集到图，识别模型程序储存在存储单元中，后续可通过i\o单元优化升级迭代煤的破坏类型图像识别模型，提高识别准确率。片导出等；显示单元(440)为装置提供显示功能；音频单元(440)提供装置的报警、提示功能；存储单元(430)用于存储建立的煤的破坏类型识别模型程序和采集到图片；中央处理器(410)是装置的控制、运算中心，利用接口和集成电路连接装置各个部分，接收用户通过i\o单元(460)传入控制信号，调整图像采集单元(470)采集图像并存储到存储单元(430)运行存储单元(430)中的识别模型程序(420)对采集到的煤的图像识别其所属破坏类型，并通过控制显示单元(440)和音频单元(440)与用户交互，即方法中步骤(2)图像预处理与步骤(4)训练输出煤的破坏类型图像识别模型，通过显示单元输出检测结果及类型信息。

整个便携式识别装置外部具有防爆装置(490)，用于防护装置电池自身爆炸等危险因素及保护装置运行，同时不影响装置散热功能。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。