基于视觉时序的运输机煤流智能监测方法与系统与流程

本技术涉及井下智能视频监控，尤其涉及一种基于视觉时序的运输机煤流智能监测方法与系统。

背景技术：

1、当前在煤矿井下工作面部署的视频监控系统实现了对井下作业工况的“远程可视化”能力，一定程度上解决了人工远程可视化监控、工作面作业自动化管控问题。但是，目前的“可视化”能力与行业发展要求的“智能化”要求仍有很大差距。因此如何有效、高效的完成采煤工艺中各个环节的智能化感知与自动化控制并最终实现智能化无人采煤，是推进煤矿智能化进程的关键核心问题。井下综采/综放工作面复杂场景中“煤流智能监测”，是当前采煤工作面智能化建设内容的重要组成部分。

2、目前在综采/综放工作面生产过程中，运输机煤流监测方式主要还是依靠人工肉眼感知运输机上煤流状态，完成煤流状态的预估，进而实现煤流状态预估后的相应操作。煤流状态主要分为三种状态：空载负荷状态、正常负荷状态、满负荷状态。在综采工作面满负荷煤流状态时，人工操作降低采煤机行进速度，甚至停止采煤机工作，调节运输机速度直至负荷状态正常。在综放满负荷煤流状态时，人工操作放煤顶板，降低放煤速度，调节运输机速度直至负荷状态正常。而在运输机空载负荷状态和正常负荷状态时，现阶段生产过程中往往一直保持运输机满速运行。

3、依靠人工肉眼判断煤流状态进而采取控制措施这种方式属于“远程可视化干预”采煤范畴，不属于智能化无人采煤范畴。当前这种煤流监测方式，首先未能解放人力，也不能减少操作工人的劳动强度，未真正实现工作面作业自动化，同时由于人工对关联设备的反复启停控制操作，严重影响工作面采煤生产效率；其次，系统不具备针对工作面生产工况进行动态、实时感知能力，从而导致未能根据煤流状态实时智能感知结果形成自动决策、相关联设备自主联动的闭环系统；最后，在这种生产方式下，如果工作面运输机长时间处于空载负荷状态运行，将会造成井下宝贵能耗的不必要浪费，势必增加工作面生产作业成本。

4、除了人工肉眼感知外，现阶段也提出了多种利用其它设备感知煤流的方案。接触式方案通过在刮板运输机上安装特定装置完成煤流量数据的采集。该类装置在实际生产过程中容易受到运输机抖动、煤块挤压等因素影响，导致系统传感器容易损坏，从而影响系统的整体可靠性。该方案实施过程中，特定装置容易在复杂工况条件下易受损，且工程实施难度大，导致系统可靠性不高。非接触式方案通过超声波扫描、激光扫描、视觉检测等方法完成感知，避免了接触式检测设备的限制因素。超声波扫描、激光扫描方法通过波的反射特性，将反射信号转换为煤流横截面、体积等信息，实现煤流量估计。在实际应用过程中，超声波扫描响应速度慢，当运输机高速运行时测量误差较大；激光扫描所需的硬件成本高，测量精度受安装位置、现场复杂环境影响较大，而且激光点云数据在传输过程中需要高带宽通讯网络，处理过程中需要高性能计算资源；视觉检测方法，往往利用视觉智能感知算法针对实时监控视频图像进行分析，自动检测获得关键目标对象，如大块煤、矸石等，并基于检测结果信息进行煤流状态的自动判断。此类视觉检测方法，一般情况下简单的利用视觉图像静态特征，无法充分刻画煤流动态信息，导致煤流状态检测不准确，同时基于关键目标对象检测方法无法直观的将实体信息映射为煤流状态信息；另一方面，现有视觉检测方案在实际应用过程中对摄像仪监控视角场有苛刻的要求，无法适应工作面工况条件下摄像仪位置频繁随着液压支架的移动而发生变化，以及云台摄像仪的频繁自动旋转导致视角场的改变。另外，更为重要的是现阶段非接触式方案在工程应用实施过程中都没有能够有效消除运输机煤流区域之外的物体针对煤流状态的实时干扰，随着系统的长时间运行使得监测误差将不断加大。

技术实现思路

1、本技术旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本技术的第一个目的在于提出一种基于视觉时序的运输机煤流智能监测方法，解决了现有依靠人工肉眼判断煤流状态的方法未真正实现工作面作业自动化，严重影响工作面采煤生产效率的技术问题，同时解决了现有接触式方案在应用过程中传感装置易损坏，系统可靠性低的问题，以及激光扫描等非接触式方案应用过程中存在硬件设备成本高、安装位置受限、计算处理资源消耗大等技术问题，通过视觉检测实现煤流状态智能监测并联动相关设备进行自动化作业，提高工作面采煤生产效率，同时通过深度学习语义分割技术针对视频流图像帧进行处理实现刮板运输机煤流区域提取，解决了非煤流区域中物体对煤流状态识别的干扰问题。

3、本技术的第二个目的在于提出一种基于视觉时序的运输机煤流智能监测系统。

4、本技术的第三个目的在于提出一种计算机设备。

5、本技术的第四个目的在于提出一种非临时性计算机可读存储介质。

6、为达上述目的，本技术第一方面实施例提出了一种基于视觉时序的运输机煤流智能监测方法，包括：获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤流区域位置信息；根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；利用深度学习动作识别技术计算图像时序队列的特征，并利用视频时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。

7、可选地，在本技术的一个实施例中，在获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧之前，包括：

8、获取摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；

9、利用深度学习语义分割技术对图像帧进行处理，得到工作面关键物体区域位置信息；

10、根据工作面关键物体区域位置信息，控制摄像仪调整视角。

11、可选地，在本技术的一个实施例中，根据工作面关键物体区域位置信息，控制摄像仪调整视角，包括：

12、根据工作面关键物体区域位置信息进行分析，判断摄像仪视角是否完全覆盖运输机煤流区域；

13、若摄像仪视角不能完全覆盖运输机煤流区域，则根据工作面关键物体区域位置信息计算摄像仪的旋转角度，并根据旋转角度控制摄像仪调整视角。

14、可选地，在本技术的一个实施例中，在利用深度学习动作识别技术计算图像时序队列的特征，得到刮板运输机煤流状态之后，包括：

15、根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制。

16、可选地，在本技术的一个实施例中，刮板运输机煤流状态包括满负荷状态、正常负荷状态和空载负荷状态，根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制，包括：

17、当刮板运输机煤流状态为满负荷状态时，生成刮板运输机满负荷状态预警提示信息，同时控制刮板运输机进行提速，控制采煤机进行降速或放顶煤减缓；

18、当刮板运输机煤流状态为空载负荷状态时，生成刮板运输机空载负荷状态预警提示信息，同时控制采煤机进行提速或放顶煤加速，控制刮板运输机进行降速；

19、当刮板运输机煤流状态为正常负荷状态时，不进行控制动作。

20、可选地，在本技术的一个实施例中，在利用深度学习动作识别技术计算图像时序队列的特征，得到刮板运输机煤流状态之后，还包括：

21、存储刮板运输机煤流状态，并通过可视化应用展示刮板运输机煤流状态。

22、为达上述目的，本技术第二方面实施例提出了一种基于视觉时序的运输机煤流智能监测系统，包括：

23、获取模块，用于获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；

24、处理模块，用于利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤流区域位置信息；

25、截取模块，用于根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；

26、计算模块，用于利用深度学习动作识别技术计算图像时序队列的特征，并利用视频时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。

27、可选地，在本技术的一个实施例中，系统，还包括：

28、控制模块，用于根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制。

29、为达上述目的，本技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于视觉时序的运输机煤流智能监测方法。

30、为了实现上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种基于视觉时序的运输机煤流智能监测方法。

31、本技术实施例的基于视觉时序的运输机煤流智能监测方法、系统、计算机设备和非临时性计算机可读存储介质，解决了现有依靠人工肉眼判断煤流状态的方法未真正实现工作面作业自动化，严重影响工作面采煤生产效率的技术问题，同时解决了现有接触式方案在应用过程中传感装置易损坏，系统可靠性低的问题，以及激光扫描等非接触式方案应用过程中存在硬件设备成本高、安装位置受限、计算处理资源消耗大等技术问题，通过视觉检测实现煤流状态智能监测并联动相关设备进行自动化作业，提高工作面采煤生产效率，同时通过深度学习语义分割技术针对视频流图像帧进行处理实现刮板运输机煤流区域提取，解决了非煤流区域中物体对煤流状态识别的干扰问题。

32、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。