一种基于组合目标跟踪的煤矿出入井人员计数方法与流程

：
1.本发明涉及一种基于组合目标跟踪的煤矿出入井人员计数方法。


背景技术：

2.煤矿的开采由于其复杂的井下开采环境和繁复的开采过程，煤矿安全事故时有发生，仅仅依靠传统的管理模式和经验方法无法解决煤矿生产中的安全问题，只有利用科学理论和高新技术，实现生产过程的全程监控，才能尽量避免事故的发生。
3.煤矿场景的监控视频由于其复杂性，存在以下几个特点：(1)很多井下和出入井场景因为人工照明和矿工的安全信号灯，存在局部过度曝光的情况；(2) 煤矿的特殊环境往往存在粉尘和水汽潮湿的情况，影响成像的质量；(3)部分区域存在光线不好，场景灰暗的情况，而且井下人员一般身穿深蓝色的工作服，井下人员和背景颜色相近，造成轮廓模糊，不易与背景区分。
4.因此仅依靠目标检测的结果对煤矿场景的人员进行计数统计，会因为过度曝光、环境昏暗、人员误识别和遮挡而出现统计结果与实际人数验证不符的情况；此外，现有的基于视觉的人员统计方法仅依靠目标检测的结果来统计人员的个数，对于人员的出入井场景，无法计算人员的运动状态，更无法判断人员是否进出井。


技术实现要素：

5.本发明实施例提供了一种基于组合目标跟踪的煤矿出入井人员计数方法，方法设计合理，采用组合目标跟踪的方式实现对煤矿进出入井人员的数目统计，提高出入井人员识别的可靠性和人员统计的准确性，能够适用于煤矿视频监控的复杂应用场景，精准计算出人员的运动状态，判断人员是否进出矿井，避免在过度曝光、环境昏暗、人员误识别和遮挡的情况下出现验证和统计结果不一致的错误，从而提升对煤矿出入井人员跟踪的连续性和准确度，定义人员和安全帽的出入井状态，将人员和安全帽的统计结果进行融合，进而统计出入井的人员个数，解决了现有技术中存在的问题。
6.本发明为解决上述技术问题所采用的技术方案是：
7.一种基于组合目标跟踪的煤矿出入井人员计数方法，所述计数方法包括以下步骤：
8.s1，计数系统启动，进入工作状态，选定视频监控中的矿井井口区域框图；
9.s2，从得到的监控视频中捕捉相应的视频流，并送入目标检测模块进行实时推理，目标检测模块输出每帧图像中的人员检测位置框和安全帽检测位置框；
10.s3，将输出的人员检测位置框和安全帽检测位置框输入人员跟踪模块，输出人员的目标跟踪序列和安全帽的目标跟踪序列；
11.s4，使用安全帽的位置状态来辅助人员跟踪的匹配得分情况；
12.s5，计算每个人员的目标跟踪序列中，每帧图像中人员位置检测框与井口区域的ioa；
13.s6，计算每个安全帽的目标跟踪序列中，每帧图像中安全帽位置检测框与井口区域的ioa；
14.s7，根据计算结果来定义每个人员和安全帽是否进入矿井；
15.s8，将人员的目标跟踪序列和安全帽的目标跟踪序列进行映射，根据人员和安全帽的位置关系匹配出每个安全帽所对应的人员，对于无法进行匹配的情况进行单独计数；
16.s9，根据匹配结果统计出入井人数。
17.所述计数系统包括人员检测模块、目标检测模块、目标跟踪模块和人员计数模块。
18.所述目标检测模块为一阶段的目标检测器，用于快速检测出视频中每帧中出现的人员检测位置框图和安全帽检测位置框图。
19.所述人员跟踪模块使用卡尔曼滤波的方法预测人员检测位置框图以及安全帽检测位置框图在后续视频帧的位置，并与后续帧的目标检测结果计算重叠比例，根据重叠比例计算匹配得分，得分高的目标检测结果计入目标跟踪序列，从而建立人员以及安全帽的目标跟踪序列。
20.所述人员计数模块通过计算人员和安全帽目标跟踪序列中的检测位置框图与矿井入口的ioa来定义跟踪序列的运动状态，ioa越大，意味着重叠区域越多，即该目标离井口越近。
21.所述目标检测模块包括人员检测组件和安全帽检测组件，所述目标跟踪模块包括人员跟踪组件和安全帽跟踪组件。
22.本发明采用上述结构，通过通过将人员主体以及安全帽进行联合跟踪，得到两组跟踪序列，即人员跟踪序列和安全帽跟踪序列，并可通过安全帽跟踪序列中安全帽位置指导视频中人员的跟踪结果，从而提升对人员跟踪的连续性和准确度；通过计算人员和安全帽跟踪序列中每个目标的位置框图与井口区域的 ioa，定义人员和安全帽的出入井状态，并对人员和安全帽的统计结果进行融合，进而统计出入井的人员个数；通过计数系统内的各个功能组件模块的相互配合作用，按照既定的运算步骤和顺序，实现人员的准确计数，具有精准实用、简便高效的优点。
附图说明：
23.图1为本发明的流程示意图。
24.图2为本发明的计数系统的结构示意图。
25.图3为本发明的目标检测模块的结构示意图。
26.图4为本发明的目标跟踪模块的结构示意图。
具体实施方式：
27.为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。
28.如图1-4中所示，一种基于组合目标跟踪的煤矿出入井人员计数方法，所述计数方法包括以下步骤：
29.s1，计数系统启动，进入工作状态，选定视频监控中的矿井井口区域框图；
30.s2，从得到的监控视频中捕捉相应的视频流，并送入目标检测模块进行实时推理，
目标检测模块输出每帧图像中的人员检测位置框和安全帽检测位置框；
31.s3，将输出的人员检测位置框和安全帽检测位置框输入人员跟踪模块，输出人员的目标跟踪序列和安全帽的目标跟踪序列；
32.s4，使用安全帽的位置状态来辅助人员跟踪的匹配得分情况；
33.s5，计算每个人员的目标跟踪序列中，每帧图像中人员位置检测框与井口区域的ioa；
34.s6，计算每个安全帽的目标跟踪序列中，每帧图像中安全帽位置检测框与井口区域的ioa；
35.s7，根据计算结果来定义每个人员和安全帽是否进入矿井；
36.s8，将人员的目标跟踪序列和安全帽的目标跟踪序列进行映射，根据人员和安全帽的位置关系匹配出每个安全帽所对应的人员，对于无法进行匹配的情况进行单独计数；
37.s9，根据匹配结果统计出入井人数。
38.所述计数系统包括人员检测模块、目标检测模块、目标跟踪模块和人员计数模块。
39.所述目标检测模块为一阶段的目标检测器，用于快速检测出视频中每帧中出现的人员检测位置框图和安全帽检测位置框图。
40.所述人员跟踪模块使用卡尔曼滤波的方法预测人员检测位置框图以及安全帽检测位置框图在后续视频帧的位置，并与后续帧的目标检测结果计算重叠比例，根据重叠比例计算匹配得分，得分高的目标检测结果计入目标跟踪序列，从而建立人员以及安全帽的目标跟踪序列。
41.所述人员计数模块通过计算人员和安全帽目标跟踪序列中的检测位置框图与矿井入口的ioa来定义跟踪序列的运动状态，ioa越大，意味着重叠区域越多，即该目标离井口越近。
42.所述目标检测模块包括人员检测组件和安全帽检测组件，所述目标跟踪模块包括人员跟踪组件和安全帽跟踪组件。
43.本发明实施例中的一种基于组合目标跟踪的煤矿出入井人员计数方法的工作原理为：采用组合目标跟踪的方式实现对煤矿进出入井人员的数目统计，提高出入井人员识别的可靠性和人员统计的准确性，能够适用于煤矿视频监控的复杂应用场景，精准计算出人员的运动状态，判断人员是否进出矿井，避免在过度曝光、环境昏暗、人员误识别和遮挡的情况下出现验证和统计结果不一致的错误，从而提升对煤矿出入井人员跟踪的连续性和准确度，定义人员和安全帽的出入井状态，将人员和安全帽的统计结果进行融合，进而统计出入井的人员个数。
44.在整体方案中，主要包括以下步骤：计数系统启动，进入工作状态，选定视频监控中的矿井井口区域框图；从得到的监控视频中捕捉相应的视频流，并送入目标检测模块进行实时推理，目标检测模块输出每帧图像中的人员检测位置框和安全帽检测位置框；将输出的人员检测位置框和安全帽检测位置框输入人员跟踪模块，输出人员的目标跟踪序列和安全帽的目标跟踪序列；使用安全帽的位置状态来辅助人员跟踪的匹配得分情况；计算每个人员的目标跟踪序列中，每帧图像中人员位置检测框与井口区域的ioa；计算每个安全帽的目标跟踪序列中，每帧图像中安全帽位置检测框与井口区域的ioa；根据计算结果来定义每个人员和安全帽是否进入矿井；将人员的目标跟踪序列和安全帽的目标跟踪序列进行映
射，根据人员和安全帽的位置关系匹配出每个安全帽所对应的人员，对于无法进行匹配的情况进行单独计数；根据匹配结果统计出入井人数。
45.随着人工智能技术和计算机技术的不断进步，基于监控视频的智能监控分析的人员统计方法得到了很大的发展，该类方法通过对监控视频进行实时处理，利用计算机视觉，模式识别，人工智能等相关技术为基础实现对井下运动目标的检测，从而实现对应场景下人员数量的统计，虽然具有很大的难度和挑战性，但这无需额外的监控设备投入，可以和现有的控制系统结合，实现实时预警和联动控制，对煤矿的安全生产和保障矿工的生命安全具有重大的意义。
46.目标检测属于计算机视觉领域的典型任务，检测的结果包含目标物体的位置和类别信息；当前主流的检测方案主要包括一阶段目标检测和二阶段目标检测算法。其中一阶段目标检测算法主要应用于目标尺寸较大，且对模型处理实时性要求较高的场景；二阶段目标检测算法在存在较多小目标，以及对算法精度要求较高的场景中较为适用。而目标计数的目的是通过计算机估算得到图像或者视频中相关目标的数量，按照具体的应用场景不同，主要分为两类：越线式和区域式；其中，越线式方法一般是对视频中跨越感兴趣线的目标数量进行计数，得到通过某处的实际数量；区域式方法一般是对场景中感兴趣区域进行目标统计来完成计数。
47.本技术的主要创新点在于：通过将人员主体以及安全帽进行联合跟踪，得到两组跟踪序列，即人员跟踪序列和安全帽跟踪序列，并可通过安全帽跟踪序列中安全帽位置指导视频中人员的跟踪结果，从而提升对人员跟踪的连续性和准确度；通过计算人员和安全帽跟踪序列中每个目标的位置框图与井口区域的 ioa，定义人员和安全帽的出入井状态，并对人员和安全帽的统计结果进行融合，进而统计出入井的人员个数。
48.具体的，计数系统包括人员检测模块、目标检测模块、目标跟踪模块和人员计数模块；可通过视频流接口接入实时监控视频，后台通过实时调用我们的人员计数算法来完成出入井人员的实时人数统计，并返回统计结果。
49.优选的，目标检测模块为一阶段的目标检测器，如yolox，用于快速检测出视频中每帧中出现的人员检测位置框图和安全帽检测位置框图，结合海量的煤矿人员数据，用自监督方法训训练得到了煤矿人员的预训练大模型，作为目标检测器的骨干网络，然后训练目标检测器，以提高目标检测的准确率。
50.优选的，人员跟踪模块使用卡尔曼滤波的方法预测人员检测位置框图以及安全帽检测位置框图在后续视频帧的位置，并与后续帧的目标检测结果计算重叠比例，根据重叠比例计算匹配得分，得分高的目标检测结果计入目标跟踪序列，从而建立人员以及安全帽的目标跟踪序列；在具体人员跟踪过程中，使用安全帽的位置状态来辅助指导人员跟踪的匹配得分情况。
51.优选的，人员计数模块通过计算人员和安全帽目标跟踪序列中的检测位置框图与矿井入口的ioa来定义跟踪序列的运动状态，ioa越大，意味着重叠区域越多，即该目标离井口越近，然后可根据人员及安全帽的跟踪序列中的ioa的始末状态来定义目标的出入井情况，并联合人员和安全帽的计算融合结果计算出入井的人数。
52.对于本技术的目标跟踪模块，场景中存在的人员移动过快的情况会导致人员检测序列中真实检出的人员位置框图和补全身体框图存在一定的偏差，这种偏差会误导跟踪
器，从而导致错误跟踪的情况；针对上述问题，人员跟踪模块能够利用安全帽的跟踪序列指导人员序列与候选目标框的匹配，从而消除这种偏差带来的错误，最终获得所有人员精确的跟踪序列。
53.对于本技术的人员计数模块，人员计数模块通过计算人员和安全帽跟踪序列中每个时候目标位置框图与矿井出入口的ioa，定义目标的运动状态，即当某个人员或安全帽跟踪序列与井口的ioa由小到大，则该人员或者安全帽为入井，反之则为出井；进一步的，融合了人员和安全帽的计数结果，提高了人员计数的准确性和安全性。
54.特别说明的是，本技术不仅可以适用于一般的人员计数场景和人员进出井的计数场景，也可以扩展到人员进出特定区域计数场景，车辆进出特定区域的计数场景。
55.综上所述，本发明实施例中的一种基于组合目标跟踪的煤矿出入井人员计数方法采用组合目标跟踪的方式实现对煤矿进出入井人员的数目统计，提高出入井人员识别的可靠性和人员统计的准确性，能够适用于煤矿视频监控的复杂应用场景，精准计算出人员的运动状态，判断人员是否进出矿井，避免在过度曝光、环境昏暗、人员误识别和遮挡的情况下出现验证和统计结果不一致的错误，从而提升对煤矿出入井人员跟踪的连续性和准确度，定义人员和安全帽的出入井状态，将人员和安全帽的统计结果进行融合，进而统计出入井的人员个数。
56.上述具体实施方式不能作为对本发明保护范围的限制，对于本技术领域的技术人员来说，对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。
57.本发明未详述之处，均为本技术领域技术人员的公知技术。