一种煤矿井下网络边缘视频实时处理联控系统的制作方法

本发明或发明涉及视频监控和人工智能领域，具体是一种煤矿井下网络边缘视频实时处理联控系统。

背景技术：

随着视频监控技术的不断发展，视频监控在各行各业都发挥着重要的作用。在煤矿井下生产过程中，视频监控被大量运用，不仅能够随时查看井下各个设备的运行状态，也能够对井下工作人员的违章行为进行监督，在煤矿井下的安全生产中起到了重要的作用。

传统的煤矿井下视频监控通常采用摄像头对监控区域的视频信号进行采集，再通过煤矿井下以太环网，将视频信息传输到监控平台，由监控管理人员对井下生产状态进行监视。这种采用人工对视频进行监视的方法需要大量的人工成本，不符合当今煤矿向着无人化、少人化发展的趋势。同时，人工监视存在很高的不确定因素，无法做到对监控画面进行全时、细致的监视。另外，传统的视频监控技术只能对监控对象起到监视的作用，当监控区域发生危险时却无法及时对危险情况进行处理。

虽然近些年大数据、云计算和人工智能技术发展迅速，已经能够在云计算平台上对监控视频进行分析，识别出人员、物体甚至行为，但是这些技术都必须使用大量的网络带宽资源将视频传输到云计算中心进行处理，这种处理方式会带来以下两个问题：(1)由于需要对视频进行传输，因此会产生较高的延迟，导致对实时性要求较高的预警、控制等场合无法适用；(2)在信号较差，甚至无法适用的场合就无法对视频进行处理。在煤矿井下生产时，虽然大多数地区都布置了视频监控，但是这些视频信号一般仅用于监视，而无法根据现场的视频信息对设备进行控制，因而不能及时处理井下的一些突发事件。而在煤矿井下，又有很多场合由于受到通信能力的限制，导致不能快速传输视频信号，因此基于云计算的视频实时监控在煤矿井下生产环境下无法可靠运行。对此，设计一种能够在煤矿井下网络边缘进行实时智能视频监控，并能够在井下设备发生异常以及人员出现违章行为时及时处理的视频联控系统对煤矿安全有着重要的意义。

技术实现要素：

本发明的目的是提供一种煤矿井下网络边缘视频实时处理联控系统；该系统通过在嵌入式平台上部署轻量化神经网络，能够实现对视频的实时处理，当设备发生异常运行，或人员有违章行为，能够及时关停设备，或对工作人员发出警告。另外，该系统通过无线机会网络，设备发生异常或人员违章时的高分辨率图像发送到云平台，在云平台中利用强大的计算能力，对高分辨率的图像进行处理，从而进一步识别设备异常情况以及人员违章情况。该系统在煤矿井下边缘端能够实现实时视频监控，并能够对发生的紧急情况做出及时响应，有效地降低了煤矿井下事故发生率，同时能够将更加清晰的照片，通过无线机会网络发送到云平台，能够对井下状况做到更进一步的掌握。

本发明实现发明目的采用如下技术方案：

一种煤矿井下网络边缘视频实时处理联控系统，具体包括边缘视频处理平台，移动机会网络节点，机会网络网关，云计算中心。

进一步的，所述边缘视频处理平台由高性能的嵌入式微处理器stm32h743iit6，ov7670摄像头模块，8gb容量sd卡，esp8266wifi模块，led照明模块以及供电模块构成。该边缘视频处理平台通过摄像头模块实时采集监控区域视频信息，通过在嵌入式微处理器中部署轻量化神经网络对视频信息进行分析，当设备出现异常或有人员违章时，立即关停设备，或对人员发出警告，并将异常状态的图片保存在sd卡中，采用wifi通过机会网络将图片发送至云平台。

进一步的，所述移动机会网络节点由嵌入式微处理器stm32f103cbt8，2gb容量sd卡，电源模块，esp8266wifi模块组成。移动机会网络节点布置在井下工作人员或移动的车辆上，当移动机会网络节点经过边缘视频处理平台时，边缘视频处理平台将存储的图片信息发送给移动机会网络节点；当移动机会网络经过机会网络网关时，再将存储的图片发送到网关中。

进一步的，所述机会网络网关有嵌入式微处理器stm32f103zet6，rj45以太网接口，dm9000以太网芯片，电源模块，esp8266wifi模块构成。机会网络网关通过rj45与井下以太网连接，当移动机会网络经过机会网络网关时，会将图片发送给网关，此时网关将接收到的图片通过以太网发送到云平台。

有益效果：

本发明与现有技术相比，其有益效果体现在该系统能够根据井下视频信息对井下的危急情况做出及时处理，再处理过程中省去了将视频信息发送至云平台，因此该系统拥有很高的实时性，此外，该系统正对视频监控中，对实时性要求低的监视部分，采用机会网络的方式对图像信息进行传输，因此该系统还兼顾了监控的准确性。而由于该系统的边缘视频处理平台和移动机会网络节点是基于嵌入式平台进行开发的，因此有很好的灵活性，能够根据煤矿井下生产需要，布置在井下的任何场所。

附图说明

图1是边缘视频处理平台。

图2是边缘视频处理平台的软件流程图。

图3是边缘视频处理平台部署的神经网络结构图。

图4是移动机会网络节点。

图5是机会网络网关节点。

具体实施方式

以下通过具体实施例对本发明或发明做进一步解释说明。

由图1，图2，图3，图4，图5所示，本发明由以下几部分构成。

边缘视频处理平台，由(1)stm32h743iit6嵌入式微处理器；(2)ov7670摄像头模块；(3)esp8266wifi模块；(4)8gb容量sd卡；(5)led照明模块；(6)电源模块。该部分采用(2)采集井下视频信息，通过(1)对视频信息进行实时处理，当识别到井下发送危险事件时，立刻关停相应的异常设备，或对违章人员发出警示，并将该场景通过(4)进行保存，等待移动机会网络节点经过时，将保存的数据发送到移动机会网络。该部分(5)主要起到补光作用。

移动机会网络节点，由(7)stm32f103cbt6嵌入式微处理器；(8)esp8266wifi模块；(9)2gb容量sd卡；(10)电源模块构成。该部分通过布置在井下车辆或行人等移动目标上，通过人或物的移动，灵活地扩展网络覆盖范围，当移动机会网络移动到边缘视频处理平台附近时，通过(7)控制(8)接收边缘视频处理平台保存的图片，并最终通过移动到机会网络网关节点将图片发送到以太网中。

机会网络网关节点由(11)stm32f103zet6嵌入式微处理器；(12)esp8266wifi模块；(13)rj45以太网接口；(14)dm9000以太网芯片；(15)电源模块构成。该部分通过(11)控制(12)接收移动机会网络节点从边缘视频处理平台收到的图片，并将这些图片通过以太网发送到云服务器中进行进一步的处理。

该系统的首先在pc机上训练轻量化神经网络，轻量化神经网络结构如图3所示，神经网络中采用的深度可分离卷积能够大大减少卷积神经网络的参数数量和计算量，非常适合在嵌入式平台上进行部署。当轻量化神经网络训练完毕后，通过软件stm32cubemx中的cubeai模块对模型进行转换，使其转化为c/c++语言的神经网络模型，再将其移植到所使用的边缘视频处理平台上。边缘视频处理平台通过(2)不断采集井下视频，通过(1)对视频信息进行实时处理，当发现危险情况时，能够通过(1)立即控制外围电路关停相应设备或对违章人员发出警示，并将危险情况的高分辨率图片保存在sd卡中。当搭载在人员或车辆上的移动机会网络节点经过边缘视频处理平台时，通过(8)发出数据请求信息，边缘视频处理平台则通过(3)将保存在sd卡中的图片信息发送到移动机会网络节点。当移动机会网络节点移动到机会网络网关时，再通过(8)将收集到的图片发送到网关中。机会网络网关在接收到移动机会节点的图片后，通过(11)控制以太网接口将图片发送到以太网中，并最终传输到云平台。

对于本领域技术人员而言，显然本发明/发明不限于上述示范性实施例的细节，而且在不背离本发明/发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明/发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明/发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。