一种基于多源信息融合的放煤设备与控制方法与流程

本发明涉及放煤设备与控制领域，特别是涉及一种基于多源信息融合的放煤设备与控制方法。

背景技术：

目前综放开采仍普遍采用人工放煤方式，放煤的智能化是制约智能化综放开采的主要技术瓶颈。由于井下放煤环境存在照度低、粉尘大、电磁/振动信号干扰多等特点，虽然国内外对智能放煤进行了长期的探索，但目前为止尚未取得关键突破。现阶段关注较多的是利用射线进行煤矸识别或者通过煤矸下落冲击支架尾梁产生的振动信号差别来进行识别，一个设备通常只有一种识别传感器，识别手段单一。利用射线的煤矸识别，容易受外界辐射干扰，且识别设备笨重，不便于在狭小的支架后尾梁下有限的空间内使用，而且识别过程具有辐射性，保护不当的话会危害工人身体健康。振动信号识别方法也主要存在识别精度差、易受干扰、无法定量给出煤矸混合度的问题。现阶段的振动信号识别方法仅能对放煤、放矸两个阶段进行区分，无法对煤矸混合比例进行判别，是典型的“见矸关门”原则，最近的研究发现当混矸率为10％～15％时，才可使综放开采顶煤回收率达到最大化，这就要求在煤矸识别时，要对煤矸混合度值给出定量精准判断，否则会造成较大的顶煤损失。

由于支架尾梁处空间狭小，无法安设大型设备，且放煤过程中煤尘大，采煤机、刮板运输机等设备噪音大，导致现有的智能放煤技术最主要的缺点就是识别精度差，无法适应井下恶劣、复杂的环境。此外，现有技术还存在设备成本高、体积大、安设不方便、无法定量给出煤矸混合度的缺点。

技术实现要素：

本发明的目的是提供一种基于多源信息融合的放煤设备与控制方法，能够融合图像、声音以及振动识别技术，实现对煤矸混合度值给出定量、精准地判断。

为实现上述目的，本发明提供了如下方案：

一种基于多源信息融合的放煤设备，包括：液压支架、后刮板、图像采集装置、声音振动采集装置以及多源信息融合与处理装置；

所述液压支架设置在采煤的工作面处；所述液压支架的掩护梁与煤层接触；所述液压支架的掩护梁收回插板、打开尾梁时用于开始放煤；

所述后刮板的进煤口设置在所述液压支架的掩护梁下面；所述后刮板用于将顶煤和矸石运出所述工作面；

所述图像采集装置设置在所述液压支架的底座上，且正对所述后刮板；所述图像采集装置用于采集所述后刮板上顶煤和矸石的图像信息；

所述声音振动采集装置设置在所述液压支架的掩护梁上；所述多源信息融合与处理装置设置在所述液压支架的底座上；

所述声音振动采集装置用于采集空气中的声音信息以及所述液压支架的掩护梁的振动信息；

所述多源信息融合与处理装置分别与所述图像采集装置、所述声音振动采集装置以及所述液压支架的掩护梁上的插板以及尾梁连接；所述多源信息融合与处理装置用于根据所述图像信息、声音信息以及振动信息确定煤矸混合度指标，并判断所述煤矸混合度指标是否超过混合度阈值；当超过混合度阈值时，控制所述液压支架的掩护梁打开插板、关闭尾梁，实现关闭放煤口，停止放煤；所述煤矸混合度指标包括煤矸堆积体面积混合度和体积混合度。

可选的，所述图像采集装置包括：相机模块、补光模块、防尘模块、视角调整模块以及图像信息传输模块；

所述相机模块正对所述后刮板设置；

所述防尘模块设置在所述相机模块上；

所述补光模块与所述相机模块同侧面设置；

所述视角调整模块通过云台与所述多源信息融合与处理装置以及所述相机模块连接；所述视角调整模块用于调整所述相机的旋转角度，使所述相机模块通过旋转角度跟踪拍摄区域；

所述图像信息传输模块分别与所述相机模块连接；所述图像信息传输模块用于将所述相机模块采集的图像信息传输至所述多源信息融合与处理装置。

可选的，所述相机模块为ccd相机、tof相机、结构光相机、红外相机或立体双目相机。

可选的，所述补光模块为可见光补光灯或红外光补光灯。

可选的，所述图像信息传输模块为天线。

可选的，所述声音振动采集装置包括：声音信息感知模块、振动信息采集模块以及声音振动信息传输模块；

所述声音信息感知模块用于采集空气中的声音信息；

所述振动信息采集模块用于所述液压支架的掩护梁的振动信息；

所述声音振动信息传输模块分别与所述声音信息感知模块、振动信息采集模块以及所述多源信息融合与处理装置连接；所述声音振动信息传输模块用于将所述声音信息以及所述振动信息传输至所述多源信息融合与处理装置。

可选的，所述声音振动信息传输模块为天线。

可选的，所述多源信息融合与处理装置包括数据显示模块、按键输入控制模块、数据处理模块、数据输出模块以及多源信息接收模块；

所述多源信息接收模块分别与所述图像采集装置以及所述声音振动采集装置连接；所述多源信息接收模块用于接收所述所述图像信息、所述声音信息以及所述振动信息；

所述数据处理模块与所述多源信息接收模块连接；所述数据处理模块用于将所述图像信息、所述声音信息以及所述振动信息进行数据融合确定煤矸混合度指标，并判断所述煤矸混合度指标是否超过混合度阈值；

所述数据输出模块与所述数据处理模块连接；所述数据输出模块用于当超过混合度阈值时，控制所述液压支架的掩护梁打开插板、关闭尾梁，实现关闭放煤口，停止放煤；

按键输入控制模块与所述数据处理模块连接用于设置所述混合度阈值；

所述显示模块与所述输入控制模块连接；所述显示模块用于将所述混合度阈值进行显示。

一种基于多源信息融合的放煤设备的控制方法，包括：

获取收回插板、打开尾梁的开始放煤的指令；

根据所述开始放煤的指令进行放煤；

利用mdnet目标跟踪算法，使相机模块通过角度旋转自动跟踪拍摄区域，获取后刮板上运送的顶煤和矸石的图像信息；

利用声音振动采集装置用于采集空气中的声音信息以及液压支架的掩护梁的振动信息；

根据所述图像信息、声音信息以及所述振动信息，基于遗传算法优化的bp神经网络多源信息融合算法确定煤矸混合度指标；

判断所述煤矸混合度指标是否超过混合度阈值；

当所述煤矸混合度指标超过所述混合度阈值时，控制所述液压支架的掩护梁打开插板、关闭尾梁，停止放煤；

当所述煤矸混合度指标没有超过所述混合度阈值时，返回利用mdnet目标跟踪算法，使相机模块通过角度旋转自动跟踪拍摄区域，获取后刮板上运送的顶煤和矸石的图像信息的步骤，直至所述煤矸混合度指标超过所述混合度阈值。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明所提供的一种基于多源信息融合的放煤设备与控制方法，通过将后刮板上顶煤和矸石的图像信息、空气中的声音信息以及所述液压支架的掩护梁的振动信息融合处理确定煤矸混合度指标，并判断所述煤矸混合度指标是否超过混合度阈值；当超过混合度阈值时，控制所述液压支架的掩护梁打开插板、关闭尾梁，实现关闭放煤口，停止放煤。融合了多种识别手段，且识别原理简单、设备体积小，有效提高了设备的识别精度以及设备对井下恶劣、复杂环境的适应性；采用分体式设计，多源信息融合与处理装置可为多套图像采集装置、声音振动采集装置服务，大大降低了成本，为综放工作面智能放煤提供了新的思路。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种基于多源信息融合的放煤设备第一结构示意图；

图2为本发明所提供的一种基于多源信息融合的放煤设备第二结构示意图；

图3为本发明所提供的图像采集装置结构示意图；

图4为本发明所提供的声音振动采集装置结构示意图；

图5为本发明所提供的多源信息融合与处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于多源信息融合的放煤设备与控制方法，能够融合图像、声音以及振动识别技术，实现对煤矸混合度值给出定量、精准地判断。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的一种基于多源信息融合的放煤设备第一结构示意图，图2为本发明所提供的一种基于多源信息融合的放煤设备第二结构示意图，如图1和图2所示，本发明所提供的一种基于多源信息融合的放煤设备，包括：液压支架、后刮板5、图像采集装置6、声音振动采集装置8以及多源信息融合与处理装置7。

所述液压支架设置在采煤的工作面处；所述液压支架的掩护梁1与煤层接触；所述液压支架的掩护梁1收回插板3、打开尾梁2时用于开始放煤；

所述后刮板5的进煤口设置在所述液压支架的掩护梁1下面；所述后刮板5用于将顶煤和矸石运出所述工作面；

所述图像采集装置6设置在所述液压支架的底座4上，且正对所述后刮板5；所述图像采集装置6用于采集所述后刮板5上顶煤和矸石的图像信息；所述图像采集装置6通过焊接固定在所述液压支架的底座4上，液压支架的底座4用于将液压支架承受的来自于顶板的压力传递到底板，同时用于固定图像采集装置6。

所述声音振动采集装置8设置在所述液压支架的掩护梁1上；所述多源信息融合与处理装置7设置在所述液压支架的底座4上；声音振动采集装置8通过强磁铁固定在所述液压支架的掩护梁1上，所述液压支架的掩护梁1用于阻止采空区冒落的矸石涌入工作面，同时用于固定声音振动采集装置8。多源信息融合与处理装置7通过焊接固定在液压支架的底座4上。

所述声音振动采集装置8用于采集空气中的声音信息以及所述液压支架的掩护梁1的振动信息。

所述多源信息融合与处理装置7分别与所述图像采集装置6、所述声音振动采集装置8以及所述液压支架的掩护梁1上的插板3以及尾梁2连接；所述多源信息融合与处理装置7用于根据所述图像信息、声音信息以及振动信息确定煤矸混合度指标，并判断所述煤矸混合度指标是否超过混合度阈值；当超过混合度阈值时，控制所述液压支架的掩护梁1打开插板3、关闭尾梁2，实现关闭放煤口，停止放煤；所述煤矸混合度指标包括煤矸堆积体面积混合度和体积混合度。

图3为本发明所提供的图像采集装置6结构示意图，如图3所示，所述图像采集装置6包括：相机模块9、补光模块10、防尘模块11、视角调整模块12以及图像信息传输模块13。

所述相机模块9正对所述后刮板5设置。所述相机模块9为ccd相机、tof相机、结构光相机、红外相机或立体双目相机。相机模块9具有图像采集、深度信息感知、电子防抖功能。

所述防尘模块11设置在所述相机模块9上；防尘模块11可以保证相机模块9的清洁，采用仿生学设计，模拟眼睑，通过舵机控制实现防尘模块11的打开与关闭，保证相机模块9在不使用的时候与外界环境分隔开，防止粉尘积聚在相机模块9上，防尘模块11还具有风刀，通过高压风流清除相机模块9上的粉尘。

所述补光模块10与所述相机模块9同侧面设置；所述补光模块10为可见光补光灯或红外光补光灯。所述补光模块10用于增加图片采集环境的光照强度，提升图片采集质量。

所述视角调整模块12通过云台与所述多源信息融合与处理装置7以及所述相机模块9连接；所述视角调整模块12用于调整所述相机的旋转角度，使所述相机模块9通过旋转角度跟踪拍摄区域；云台可以实现相机模块9的角度旋转，利用预设的mdnet目标跟踪算法，让相机模块9通过角度旋转自动跟踪拍摄区域，保证相机模块9采集的图片始终是后刮板5上运送的煤和矸石。

所述图像信息传输模块13分别与所述相机模块9连接；所述图像信息传输模块13用于将所述相机模块9采集的图像信息传输至所述多源信息融合与处理装置7。所述图像信息传输模块13为天线，利用5g(或4g、wifi、蓝牙)将相机模块9采集的图像信息传输至多源信息融合与处理装置7，至此完成图像采集工作。

图4为本发明所提供的声音振动采集装置8结构示意图，如图4所示，所述声音振动采集装置8包括：声音信息感知模块13、振动信息采集模块14以及声音振动信息传输模块15。

所述声音信息感知模块13用于采集空气中的声音信息；声音信息感知模块13具有声音信息采集、主动式声音降噪功能，通过预设的lms自适应滤波器降噪算法实现主动式声音降噪。

所述振动信息采集模块14用于所述液压支架的掩护梁1的振动信息；所述振动信息采集模块14具有振动信息采集、主动式振动降噪功能，通过预设的基于改进prony算法的降噪算法实现主动式振动降噪。

所述声音振动信息传输模块15分别与所述声音信息感知模块13、振动信息采集模块14以及所述多源信息融合与处理装置7连接；所述声音振动信息传输模块15用于将所述声音信息以及所述振动信息传输至所述多源信息融合与处理装置7。所述声音振动信息传输模块15为天线，利用5g(或4g、wifi、蓝牙)将声音信息感知模块13采集的声音信息以及振动信息采集模块14采集的振动信息传输至多源信息融合与处理装置7，至此完成声音振动信号采集工作。

图5为本发明所提供的多源信息融合与处理装置7结构示意图，如图5所示，所述多源信息融合与处理装置7包括数据显示模块16、按键输入控制模块17、数据处理模块18、数据输出模块19以及多源信息接收模块20；

所述多源信息接收模块20分别与所述图像采集装置6以及所述声音振动采集装置8连接；所述多源信息接收模块20用于接收所述所述图像信息、所述声音信息以及所述振动信息；

所述数据处理模块18与所述多源信息接收模块20连接；所述数据处理模块18用于将所述图像信息、所述声音信息以及所述振动信息进行数据融合确定煤矸混合度指标，并判断所述煤矸混合度指标是否超过混合度阈值；数据处理模块18利用预设的基于遗传算法优化的bp神经网络多源信息融合算法对来自于相机模块9采集的图像信息、声音信息感知模块13采集的声音信息以及振动信息采集模块14(14)采集的振动信息进行数据融合，得到煤矸混合度指标。

数据处理模块18具有煤矸堆积体三维重建功能，通过预设的sgbm三维重建算法实现煤矸堆积体的三维重建，利用图像采集装置6采集到的图像信息进行煤矸堆积体的三维重建。

数据处理模块18具有面积混合度和体积混合度计算功能，通过预设的基于拓扑学单纯同调理论的混合度计算算法实现面积混合度和体积混合度的计算，重建与预设的混合度阈值进行比较，如果超出预设的混合度阈值，则通过数据输出模块19利用光纤线输出关闭放煤口的信号，否则输出保持放煤口打开状态的信号。至此完成多源信息融合与处理工作。

所述数据输出模块19与所述数据处理模块18连接；所述数据输出模块19用于当超过混合度阈值时，控制所述液压支架的掩护梁1打开插板3、关闭尾梁2，实现关闭放煤口，停止放煤；

按键输入控制模块17与所述数据处理模块18连接用于设置所述混合度阈值；

所述显示模块16与所述输入控制模块连接；所述显示模块16用于将所述混合度阈值进行显示。

所述多源信息融合与处理装置7采用lvds技术将多套声音振动采集装置8、图像采集装置6进行多源信息的数据传输，数据传输完成后利用scsi技术实现多源信息的数据存储，数据储存完成后利用fpga构建多源信息的数据缓冲区，数据缓冲区利用时分复用技术实现对多源信息的实时数据处理，实现多通道信息融合与处理功能，可在每台液压支架上装备图像采集装置6、声音振动采集装置8，而相邻5～10个液压支架上只装备一个多源信息融合与处理装置7，可以利用5g(或4g、wifi、蓝牙)接收并处理相邻5～10个液压支架的相机模块9采集的图像信息、声音信息感知模块13采集的声音信息以及振动信息采集模块14采集的振动信息，从而实现一个多个液压支架装备的图像采集装置6、声音振动采集装置8共用一个多源信息融合与处理装置7。

本发明所提供的一种基于多源信息融合的放煤设备的控制方法，包括：

s1，获取收回插板3、打开尾梁2的开始放煤的指令；

s2，根据所述开始放煤的指令进行放煤；

s3，利用mdnet目标跟踪算法，使相机模块9通过角度旋转自动跟踪拍摄区域，获取后刮板5上运送的顶煤和矸石的图像信息；

s4，利用声音振动采集装置8用于采集空气中的声音信息以及液压支架的掩护梁1的振动信息；

s5，根据所述图像信息、声音信息以及所述振动信息，基于遗传算法优化的bp神经网络多源信息融合算法确定煤矸混合度指标；

s6，判断所述煤矸混合度指标是否超过混合度阈值；

s7，当所述煤矸混合度指标超过所述混合度阈值时，控制所述液压支架的掩护梁1打开插板3、关闭尾梁2，停止放煤；

s8，当所述煤矸混合度指标没有超过所述混合度阈值时，返回s3，直至所述煤矸混合度指标超过所述混合度阈值。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。