一种利用智能视频分析的选煤厂车间内人员的跟踪方法

【】本发明属于煤矿安全生产，具体涉及一种利用智能视频分析的选煤厂车间内人员的跟踪方法。

背景技术

0、
背景技术：

1、目前大多数选煤厂已经安装了视频监控系统，但这些视频监控系统还是停留在人工监视阶段，由人工监视场景、判断危险情况并作出相应的反应，存在漏报、报警不及时等问题，影响选煤厂的安全生产。在选煤厂的视频监控中，运动人体跟踪非常重要，既可以通过运动人体跟踪来确定人员的位置，还可以通过分析被监控人员的运动轨迹，对其行为进行预测和判断。

2、选煤厂生产车间一般为多层建筑，信号差，通常采用基于监控视频的人员跟踪系统，通过找到图像中目标人员，在后续视频帧中对其进行跟踪，并预测该人员的运动轨迹。由于洗煤厂的生产车间环境较为复杂，如大型设备多、光线较差、噪音嘈杂等，所以目前已有的跟踪系统经常会出现人员被遮挡的问题，同时由于人员的外观信息也会发生变化，所以会产生id跳变的问题，导致跟踪效果较差。

技术实现思路

0、
技术实现要素：

1、本发明的目的是提供一种利用智能视频分析的选煤厂车间内人员的跟踪方法，以解决现有跟踪系统在遇到人员被遮挡时跟踪效果差的问题。

2、本发明采用以下技术方案：一种利用智能视频分析的选煤厂车间内人员的跟踪方法，按照以下内容实施：

3、s1、目标人员检测：使用yolov5s网络进行目标人员检测，通过eiou-nms的方法去除人员检测中的冗余框，得到人员检测框；

4、s2、将目标人员检测框传入人员跟踪算法，分别进行目标人员跟踪和目标人员识别，最终得到目标人员的运动轨迹和身份信息：人员跟踪算法为优化后的deepsort网络，优化后的deepsort网络包括优化后的fastreid网络；优化后的fastreid网络的bottleneck中添加neufa注意力机制；

5、s2.1、目标人员跟踪：人员跟踪算法根据人员检测框，使用卡尔曼滤波器提取到目标人员的外观特征，并进行目标人员跟踪，最终获得目标人员的运动轨迹；

6、s2.2、目标人员识别：通过优化后的fastreid网络获取人员特征，将人员特征与人员动态图像库中提取到的人员特征进行余弦相似度匹配：

7、如果余弦相似度大于相似度阈值，则确定人员特征为目标人员，并获取目标人员的像素坐标和身份信息；

8、如果余弦相似度小于或等于相似度阈值，则排除人员特征为目标人员。

9、进一步的，在步骤s2.2匹配成功之后，对于遮挡导致的人员的身份信息的错误匹配，使用运动估计的方法进行校正，最终获取到目标人员的身份信息；运动估计的方法包括以下步骤：

10、步骤2.2.1：保存正确识别到的每个人员的像素坐标和身份信息，用来和下一帧校正；

11、步骤2.2.2：判断当前帧是否存在none或者误识别现象：

12、如果没有，保存当前帧的人员信息，作为下一帧的校正依据；

13、如果有，则计算每个人员之间的像素距离，判断该人员在前一帧和当前帧之间的距离是否小于距离阈值；

14、步骤2.2.3：如果距离小于距离阈值，查看该人员身份是否发生改变，如果发生改变，则使用前一帧保存的正确信息进行校正；

15、如果距离大于距离阈值，则判定前一帧与当前帧不是同一个人，该人员直接使用当前帧的身份信息；

16、步骤2.2.4：校正完成后保存当前帧人员信息。

17、进一步的，步骤s2.2中的人员动态图像库中，预设每个人员的全身图像、头部图像、胸部以上的图像、膝部以上的图像和半身像作为人员被遮挡时的图像；还预设有在识别过程中被正确识别到、但与图库内预设图像差异较大的人员图像。

18、进一步的，步骤2.2.2中，人员在前一帧与当前帧的距离指的是人员前一帧与当前帧的检测框上边框中心点的距离，通过两点之间的距离公式计算。

19、本发明的有益效果是：

20、本发明的优化deepsort算法中的特征提取网络。针对deepsort在跟踪过程中由于遮挡导致的人员身份识别码id跳变的问题，使用添加了注意力机制后的fastreid的特征提取网络取代了deepsort原有的特征提取网络；

21、本发明建立人员动态图像库。通过存储人员在识别过程中被正确识别到、但与图库内预设图像差异较大的人员图像，增加人员被匹配成功的几率；

22、本发明设计出一种运动估计的算法。通过上一帧中正确识别到的人员的坐标信息和身份信息，校正当前帧中因遮挡被错误识别和无法识别的人员的身份信息；

23、本发明结合yolov5s目标检测、deepsort目标跟踪、fastreid行人重识别三种算法，共同实现了洗煤厂人员的跨摄像机识别与跟踪。

技术特征：

1.一种利用智能视频分析的选煤厂车间内人员的跟踪方法，其特征在于，按照以下内容实施：

2.如权利要求1所述的一种利用智能视频分析的选煤厂车间内人员的跟踪方法，其特征在于，在所述步骤s2.2匹配成功之后，对于遮挡导致的人员的身份信息的错误匹配，使用运动估计的方法进行校正，最终获取到目标人员的身份信息；所述运动估计的方法包括以下步骤：

3.如权利要求1或2所述的一种利用智能视频分析的选煤厂车间内人员的跟踪方法，其特征在于，所述步骤s2.2中的人员动态图像库中，预设每个人员的全身图像、头部图像、胸部以上的图像、膝部以上的图像和半身像作为人员被遮挡时的图像；还预设有在识别过程中被正确识别到、但与图库内预设图像差异较大的人员图像。

4.如权利要求3中任意所述的一种利用智能视频分析的选煤厂车间内人员的跟踪方法，其特征在于，所述步骤2.2.2中，人员在前一帧与当前帧的距离指的是人员前一帧与当前帧的检测框上边框中心点的距离，通过两点之间的距离公式计算。

技术总结
本发明公开了一种利用智能视频分析的选煤厂车间内人员的跟踪方法，按照以下内容实施：S1、目标人员检测；S2、将目标人员检测框传入人员跟踪算法，分别进行目标人员跟踪和目标人员识别，最终得到目标人员的运动轨迹和身份信息：人员跟踪算法为优化后的DeepSORT网络，优化后的DeepSORT网络包括优化后的FastReID网络；优化后的FastReID网络的BottleNeck中添加NEUFA注意力机制；S2.1、目标人员跟踪；S2.2、目标人员识别：通过优化后的FastReID网络获取人员特征，将人员特征与人员动态图像库中提取到的人员特征进行余弦相似度匹配，获取目标人员的像素坐标和身份信息。其解决了现有跟踪系统在遇到人员被遮挡时跟踪效果差的问题。

技术研发人员：赵安新,杨金桥,黎梁,张晨阳
受保护的技术使用者：西安科技大学
技术研发日：
技术公布日：2024/1/15