一种煤矿井下多场景监测系统的制作方法

1.本发明涉及视频监控技术领域，具体是涉及一种煤矿井下多场景监测系统。


背景技术：

2.煤炭的安全高效生产对于保障我国能源安全具有举足轻重的作用，近年来，随着开采深度进一步加大，煤矿安全隐患也逐渐凸出，安全事故尤其是重大、特大事故仍时有发生，安全形势依然严峻。随着机器视觉技术的发展，煤矿智能视频监控逐渐取代人工监控的方式，实现对异常状态的实时自动监测，对于煤矿的常见安全隐患，例如人员未戴安全帽、禁烟区抽烟等，煤矿智能视频监测系统几乎能替代人工监控识别。然而传统的煤矿智能视频监测系统只能对单一场景进行识别，识别效率较低，无法高效地提高煤矿井下安全监测功能。因此，需要提供一种煤矿井下多场景监测系统，旨在解决上述问题。


技术实现要素：

3.针对现有技术存在的不足，本发明的目的在于提供一种煤矿井下多场景监测系统，以解决上述背景技术中存在的问题。
4.本发明是这样实现的，一种煤矿井下多场景监测系统，所述系统包括：监控视频流复制模块，用于接收摄像头发送的监控视频流，将监控视频流复制成若干份，所述监控视频流复制后的份数与监控项目的数量相同；场景模型移植模块，用于将场景模型移植至rv1126平台；监控视频流输入模块，用于将监控视频流分布输入至各个场景模型中，每个场景模型与一个监控项目相对应，每个场景模型接收到一个监控视频流，通过场景模型对监控视频流自动进行推理分析，得到结果视频流；以及综合检测结果视频生成模块，用于对所有的结果视频流进行整合得到一个综合检测结果视频，输出检测结果信息，当检测结果信息中存在不合格信息时，综合检测结果视频中对应有检测框，检测框用于框选不合格对象。
5.作为本发明进一步的方案：所述监控视频流复制模块、监控视频流输入模块以及综合检测结果视频生成模块均内置于rv1126平台中，rv1126平台中还包括若干个场景模型，所述rv1126平台是一种图像处理智能视觉平台。
6.作为本发明进一步的方案：所述场景模型是基于yolov5对多张对应场景的图片分别进行训练学习，得到的不同场景下的模型文件。
7.作为本发明进一步的方案：所述场景模型包括安全防护识别模型以及禁止行为识别模型。
8.作为本发明进一步的方案：所述安全防护识别模型的生成步骤包括：接收安全防护模板图片，所述安全防护模板图片中包括多个特定规划区域，每个特定规划区域标记有安全防护穿戴品；对多个图片进行训练学习，每个图片标记有第一特征信息，所述第一特征信息为
穿戴品名称和穿戴品是否佩戴或者佩戴是否合格；根据安全防护模板图片和训练结果生成安全防护识别模型。
9.作为本发明进一步的方案：所述禁止行为识别模型的生成步骤包括：接收禁止行为模板图片，所述禁止行为模板图片中包括多个特定禁止区域，每个特定禁止区域标记有禁止行为；对多个图片进行训练学习，每个图片标记有第二特征信息，所述第二特征信息为禁止行为名称；根据禁止行为模板图片和训练结果生成禁止行为识别模型。
10.作为本发明进一步的方案：通过安全防护识别模型对监控视频流自动进行推理分析，得到结果视频流的步骤，具体包括：根据安全防护模板图片中的特定规划区域对监控视频流的画面进行拆分得到若干个子画面；对每个子画面进行分析，判定子画面中是否存在对应的穿戴品佩戴不合格的情况，若存在，将不合格的画面使用检测框进行框选，输出结果视频流。
11.作为本发明进一步的方案：通过禁止行为识别模型对监控视频流自动进行推理分析，得到结果视频流的步骤，具体包括：根据禁止行为模板图片中的特定禁止区域对监控视频流的画面进行拆分得到若干个子画面；对每个子画面进行分析，判定子画面中是否存在对应的禁止行为，若存在，将不合格的画面使用检测框进行框选，输出结果视频流。
12.作为本发明进一步的方案：所述系统还包括不合格员工识别模块，所述不合格员工识别模块用于对产生不合格行为的员工进行自动识别。
13.作为本发明进一步的方案：所述不合格员工识别模块包括：人脸图像确定单元，用于确定检测框所对应的员工人脸图像；员工姓名输出单元，用于将所述员工人脸图像输入至员工人脸库中进行匹配，自动输出员工姓名。
14.本发明的另一目的在于提供一种基于rv1126的煤矿井下多场景监测方法，所述方法包括以下步骤：接收摄像头发送的监控视频流，将监控视频流复制成若干份，所述监控视频流复制后的份数与监控项目的数量相同；将场景模型移植至rv1126平台；将监控视频流分布输入至各个场景模型中，每个场景模型与一个监控项目相对应，每个场景模型接收到一个监控视频流，通过场景模型对监控视频流自动进行推理分析，得到结果视频流；对所有的结果视频流进行整合得到一个综合检测结果视频，输出检测结果信息，当检测结果信息中存在不合格信息时，综合检测结果视频中对应有检测框，检测框用于框选不合格对象。
15.作为本发明进一步的方案：所述方法还包括对产生不合格行为的员工进行自动识别，该步骤具体包括：确定检测框所对应的员工人脸图像；将所述员工人脸图像输入至员工
人脸库中进行匹配，自动输出员工姓名。
16.与现有技术相比，本发明的有益效果是：本发明将监控视频流复制成若干份，将监控视频流分布输入至各个场景模型中，每个场景模型与一个监控项目相对应，通过多个场景模型对监控视频流自动进行多个项目的推理分析，得到结果视频流，并对所有的结果视频流进行整合得到一个综合检测结果视频。进而能够同时对多场景进行监测，比起传统单一场景监测方式，提高了监测效率，减少了人力物力，且需要添加新的监控项目时，只需在rv1126平台中添加新的场景模型即可，便于后期维护使用。
附图说明
17.图1为一种煤矿井下多场景监测系统的结构示意图。
18.图2为一种煤矿井下多场景监测系统中生成安全防护识别模型的流程图。
19.图3为一种煤矿井下多场景监测系统中生成禁止行为识别模型的流程图。
20.图4为一种煤矿井下多场景监测系统中预约信息识别模块的结构示意图。
21.图5为一种煤矿井下多场景监测系统中通过安全防护识别模型对监控视频流自动进行推理分析的流程图。
22.图6为一种煤矿井下多场景监测系统中通过禁止行为识别模型对监控视频流自动进行推理分析的流程图。
23.图7为一种基于rv1126的煤矿井下多场景监测方法的流程图。
24.图8为一种基于rv1126的煤矿井下多场景监测方法中对产生不合格行为的员工进行自动识别的流程图。
具体实施方式
25.为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
26.以下结合具体实施例对本发明的具体实现进行详细描述。
27.如图1所示，本发明实施例提供了一种煤矿井下多场景监测系统，所述系统包括：监控视频流复制模块100，用于接收摄像头发送的监控视频流，将监控视频流复制成若干份，所述监控视频流复制后的份数与监控项目的数量相同；场景模型移植模块200，用于将场景模型移植至rv1126平台；监控视频流输入模块300，用于将监控视频流分布输入至各个场景模型中，每个场景模型与一个监控项目相对应，每个场景模型接收到一个监控视频流，通过场景模型对监控视频流自动进行推理分析，得到结果视频流；以及综合检测结果视频生成模块400，用于对所有的结果视频流进行整合得到一个综合检测结果视频，输出检测结果信息，当检测结果信息中存在不合格信息时，综合检测结果视频中对应有检测框，检测框用于框选不合格对象。
28.需要说明的是，煤炭的安全高效生产对于保障我国能源安全具有举足轻重的作用，近年来，随着开采深度进一步加大，煤矿安全隐患也逐渐凸出，安全事故尤其是重大、特
大事故仍时有发生，安全形势依然严峻。随着机器视觉技术的发展，煤矿智能视频监控逐渐取代人工监控的方式，实现对异常状态的实时自动监测，对于煤矿的常见安全隐患，例如人员未戴安全帽、禁烟区抽烟等，煤矿智能视频监测系统几乎能替代人工监控识别。然而传统的煤矿智能视频监测系统只能对单一场景进行识别，识别效率较低，无法高效地提高煤矿井下安全监测功能，本发明实施例旨在解决上述问题。
29.本发明实施例是基于rv1126平台，rv1126平台是瑞芯微新一代图像处理智能视觉平台，算力强，体积小，适合作为推理多模型的平台，rv1126平台中内置有监控视频流复制模块100、监控视频流输入模块300、综合检测结果视频生成模块400以及若干个场景模型，所述场景模型是基于yolov5对多张对应场景的图片分别进行训练学习，得到的不同场景下的模型文件，再将得到的多个模型文件移植至rv1126平台，利用rv1126的强大算力对输入视频图像分别进行推理，达到实时监测的效果。
30.本发明实施例中，通过摄像头采集得到监控视频流，然后将监控视频流发送至rv1126平台，rv1126平台自动将监控视频流复制成若干份，所述监控视频流复制后的份数与监控项目的数量相同，例如监控项目为安全防护穿戴和禁止行为两项，则复制后的监控视频流为两份，接着将监控视频流分布输入至各个场景模型中，每个场景模型与一个监控项目相对应，这样每个场景模型会接收到一个监控视频流，通过场景模型对监控视频流自动进行推理分析，得到结果视频流；最后对所有的结果视频流进行整合得到一个综合检测结果视频，输出检测结果信息，当检测结果信息中存在不合格信息时，综合检测结果视频中对应有检测框，检测框用于框选不合格对象，例如检测结果信息为：存在两个防护穿戴不规范问题，则在防护穿戴不规范的部位标记上检测框。本发明实施例能够同时对多场景进行监测，比起传统单一场景监测方式，提高了监测效率，减少了人力物力，且需要添加新的监控项目时，只需在rv1126平台中添加新的场景模型即可，便于后期维护使用。
31.如图2和图3所示，作为本发明一个优选的实施例，所述场景模型包括安全防护识别模型以及禁止行为识别模型。其中，所述安全防护识别模型的生成步骤包括：s2011，接收安全防护模板图片，所述安全防护模板图片中包括多个特定规划区域，每个特定规划区域标记有安全防护穿戴品；s2012，对多个图片进行训练学习，每个图片标记有第一特征信息，所述第一特征信息为穿戴品名称和穿戴品是否佩戴或者佩戴是否合格；s2013，根据安全防护模板图片和训练结果生成安全防护识别模型。
32.其中，所述禁止行为识别模型的生成步骤包括：s2021，接收禁止行为模板图片，所述禁止行为模板图片中包括多个特定禁止区域，每个特定禁止区域标记有禁止行为；s2022，对多个图片进行训练学习，每个图片标记有第二特征信息，所述第二特征信息为禁止行为名称；s2023，根据禁止行为模板图片和训练结果生成禁止行为识别模型。
33.本发明实施例中，为了对应安全防护穿戴和禁止行为两个监控项目，需要提前建立安全防护识别模型以及禁止行为识别模型，具体的，在建立安全防护识别模型时，需要建立安全防护模板图片，安全防护模板图片中的画面区域与摄像头拍到的画面区域一致，所述安全防护模板图片中包括多个特定规划区域，每个特定规划区域标记有安全防护穿戴
品，例如a区-安全帽、b区-安全帽和反光衣，并对多个图片进行训练学习，每个图片标记有第一特征信息，所述第一特征信息为穿戴品名称和穿戴品是否佩戴或者佩戴是否合格，例如第一特征信息为：安全帽-佩戴合格、安全帽-佩戴不合格、安全帽-未佩戴等等，对这些图片进行学习后结合安全防护模板图片就可以生成安全防护识别模型。
34.同理，在建立禁止行为识别模型时，需要建立禁止行为模板图片，禁止行为模板图片中的画面区域与摄像头拍到的画面区域一致，所述禁止行为模板图片中包括多个特定禁止区域，每个特定禁止区域标记有禁止行为，例如c区-禁止抽烟、d区-禁止玩手机，并对多个图片进行训练学习，每个图片标记有第二特征信息，所述第二特征信息为禁止行为名称，例如第二特征信息为：抽烟、玩手机，通过学习大量带有抽烟、玩手机的图片，当监控视频流中出现抽烟行为，立马能够自动识别出来，最后根据禁止行为模板图片和训练结果生成禁止行为识别模型。
35.如图4和图5所示，作为本发明一个优选的实施例，通过安全防护识别模型对监控视频流自动进行推理分析，得到结果视频流的步骤，具体包括：s3011，根据安全防护模板图片中的特定规划区域对监控视频流的画面进行拆分得到若干个子画面；s3012，对每个子画面进行分析，判定子画面中是否存在对应的穿戴品佩戴不合格的情况，若存在，将不合格的画面使用检测框进行框选，输出结果视频流。
36.通过禁止行为识别模型对监控视频流自动进行推理分析，得到结果视频流的步骤，具体包括：s3021，根据禁止行为模板图片中的特定禁止区域对监控视频流的画面进行拆分得到若干个子画面；s3022，对每个子画面进行分析，判定子画面中是否存在对应的禁止行为，若存在，将不合格的画面使用检测框进行框选，输出结果视频流。
37.本发明实施例中，利用安全防护识别模型对监控视频流自动进行自动推理分析时，首先根据特定规划区域对监控视频流的画面进行拆分得到若干个子画面，然后对每个子画面进行分析，例如一个子画面对应a区，另一个子画面对应b区，判定子画面中是否存在对应的穿戴品佩戴不合格的情况，若存在，将不合格的画面使用检测框进行框选，输出结果视频流，例如a区所对应的子画面中有员工未佩戴安全帽，则将未佩戴安全帽的员工头部进行框选；利用禁止行为识别模型对监控视频流自动进行自动推理分析时，首先根据禁止行为模板图片中的特定禁止区域对监控视频流的画面进行拆分得到若干个子画面，例如一个子画面对应c区，另一个子画面对应d区，接着对每个子画面进行分析，判定子画面中是否存在对应的禁止行为，若存在，将不合格的画面使用检测框进行框选，输出结果视频流，例如d区所对应的子画面中有员工玩手机，则将手机部分进行框选。
38.如图6所示，作为本发明一个优选的实施例，所述系统还包括不合格员工识别模块500，所述不合格员工识别模块500用于对产生不合格行为的员工进行自动识别。所述不合格员工识别模块500包括：人脸图像确定单元501，用于确定检测框所对应的员工人脸图像；员工姓名输出单元502，用于将所述员工人脸图像输入至员工人脸库中进行匹配，自动输出员工姓名。
39.本发明实施例中，为了快速确定违规人员，对其进行及时提醒，本发明实施例能够识别出检测框所对应的员工人脸图像；然后自动将所述员工人脸图像输入至员工人脸库中进行匹配，自动输出员工姓名，容易理解，员工人脸库需要提前建立，员工人脸库中包含所有员工的人脸图像。
40.如图7所示，本发明实施例还提供了一种基于rv1126的煤矿井下多场景监测方法，所述方法包括以下步骤：s100，接收摄像头发送的监控视频流，将监控视频流复制成若干份，所述监控视频流复制后的份数与监控项目的数量相同；s200，将场景模型移植至rv1126平台；s300，将监控视频流分布输入至各个场景模型中，每个场景模型与一个监控项目相对应，每个场景模型接收到一个监控视频流，通过场景模型对监控视频流自动进行推理分析，得到结果视频流；s400，对所有的结果视频流进行整合得到一个综合检测结果视频，输出检测结果信息，当检测结果信息中存在不合格信息时，综合检测结果视频中对应有检测框，检测框用于框选不合格对象。
41.本发明实施例中，通过摄像头采集得到监控视频流，然后将监控视频流发送至rv1126平台，rv1126平台自动将监控视频流复制成若干份，所述监控视频流复制后的份数与监控项目的数量相同，例如监控项目为安全防护穿戴和禁止行为两项，则复制后的监控视频流为两份，接着将监控视频流分布输入至各个场景模型中，每个场景模型与一个监控项目相对应，这样每个场景模型会接收到一个监控视频流，通过场景模型对监控视频流自动进行推理分析，得到结果视频流；最后对所有的结果视频流进行整合得到一个综合检测结果视频，输出检测结果信息，当检测结果信息中存在不合格信息时，综合检测结果视频中对应有检测框，检测框用于框选不合格对象，例如检测结果信息为：存在两个防护穿戴不规范问题，则在防护穿戴不规范的部位标记上检测框。本发明实施例能够同时对多场景进行监测，比起传统单一场景监测方式，提高了监测效率，减少了人力物力，且需要添加新的监控项目时，只需在rv1126平台中添加新的场景模型即可，便于后期维护使用。
42.如图8所示，作为本发明一个优选的实施例，所述方法还包括对产生不合格行为的员工进行自动识别，该步骤具体包括：s501，确定检测框所对应的员工人脸图像；s502，将所述员工人脸图像输入至员工人脸库中进行匹配，自动输出员工姓名。
43.本发明实施例中，为了快速确定违规人员，对其进行及时提醒，本发明实施例能够识别出检测框所对应的员工人脸图像；然后自动将所述员工人脸图像输入至员工人脸库中进行匹配，自动输出员工姓名，容易理解，员工人脸库需要提前建立，员工人脸库中包含所有员工的人脸图像。
44.以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
45.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，
这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
46.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
47.本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。