基于YOLOv5-Deepsort算法的矿井人员目标视频跟踪方法及存储介质

本发明属于计算机视觉领域，具体涉及一种基于yolov5-deepsort算法的矿井人员目标视频跟踪方法。

背景技术：

1、矿井环境恶劣，光线昏暗，并且存在着一些危险区域，矿井人员在作业过程中随时都会有事故发生特别是井下一些危险区域，不允许工作人员在未采取保护措施的情况下进入，但由于一些环境与人为的因素，并不能完全防范，对人员安全有着严重隐患。所以为了实现安全生产，需要采取有效的人员目标跟踪手段。由于井下采用的是人工照明的方式，缺乏色彩信息，并且目标的颜色与背景的颜色相似，所以将智能监控技术用于井下时面临着很大的困难。传统的井下人员跟踪方法主要采用zigbee、rfid、uwb、wifi以及蓝牙连接等技术，而这些技术在使用过程中较易受环境的影响，操作性不高，且还易丢失目标。近些年来涌现了视频跟踪方法，在井下人员定位与跟踪领域取得了良好效果。但受井下光线、粉尘等因素影响，需要研究针对性的视频跟踪方法来解决井下人员跟踪难题。而实现对矿井人员的准确目标跟踪，对于提升煤矿安全预警水平、提高生产效率发挥了巨大作用。

技术实现思路

1、本发明提出的一种基于yolov5-deepsort算法的矿井人员目标视频跟踪方法，以解决上述技术问题。

2、为实现上述目的，本发明采用了以下技术方案：

3、一种基于yolov5-deepsort算法的矿井人员目标视频跟踪方法，包括以下6个步骤：

4、步骤1：获取井下工作人员的图片，通过使用限制对比度自适应直方图均衡算法和中值滤波算法对图片进行优化处理；

5、步骤2：标记优化后的图片制作井下人员的数据集，将数据集划分为训练集和验证集；

6、步骤3：对yolov5算法进行优化处理，将其骨干网络更换为pp-lcnet网络结构，在yolov5算法颈部引入selective kernel attention注意力机制模块，对原预测框的损失函数更改为giou_loss；

7、步骤4：使用改进的yolov5模型训练井下人员数据集，在训练完成后得到最优权重，获取训练中目标检测的各项指标数据，测试井下人员的目标检测结果；

8、步骤5：将目标检测结果输入到deepsort中，利用卡尔曼滤波完成对井下人员轨迹的预测和状态估计；

9、步骤6：对井下人员利用马氏距离计算运动匹配，利用余弦距离计算外观匹配，基于匈牙利算法对井下人员进行级联匹配和iou匹配，通过卡尔曼滤波参数更新确定跟踪结果，并对井下人员分配id编号，实现井下人员的目标跟踪；

10、进一步的，步骤1、获取井下工作人员的图片，通过使用限制对比度自适应直方图均衡算法和中值滤波算法对图片进行优化处理，具体包括：

11、所述井下工作人员的图片信息是通过监控视频和摄像头拍照等方式获取井下不同工作场景下人员的图像视频；

12、所述限制对比度自适应直方图均衡算法通过在计算累积直方图函数前，用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的，其公式如下：

13、

14、式中m(i)为局部映射函数，m×m为滑动窗口大小，cdf(i)为累积直方图函数，从而局部映射函数的斜率s为:

15、

16、式中hist(i)为直方图高度，因此，限制直方图高度就等效于限制局部映射函数的斜率，进而限制对比度强度，设限定最大斜率为smax，则允许的直方图高度最大为：

17、

18、

19、限制对比度自适应直方图均衡算法通过限制局部直方图的高度来限制局部对比度的增强幅度，限制噪声的放大和局部对比度的过增强；

20、所述中值滤波算法是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换，使得周围像素灰度值的差比较大的像素改取与周围的像素值接近的值；

21、进一步的，步骤2、标记优化后图片制作井下人员的数据集，将数据集划分为训练集和验证集：

22、所述图片的优化后，本发明标注了1000张优化图像用于训练与测试检测网络，采用旋转、镜像翻转、亮度变换和对比度增强的方式对原始图像数据进行扩增；

23、所述井下人员数据集是由labelimg工具标记图像制作而成，并转换为训练所需的txt格式；

24、所述训练集为总标记数据的80％，验证集为总标记数据的20％；

25、进一步的，步骤3、对yolov5算法进行优化处理，将其骨干网络更换为pp-lcnet网络结构，在yolov5算法颈部引入selective kernel attention注意力机制模块，对原预测框的损失函数更改为giou_loss，具体包括：

26、所述yolov5目标检测模型，由input、backbone、neck已及output四个部分组成；

27、所述input部分包括mosaic数据增强、自适应锚框计算、自适应图片缩放三部分；mosaic数据增强是指随机使用4张图片，随机缩放，再随机分布进行拼接；自适应锚框计算是指计算不同训练集中的最佳锚框值；自适应图片缩放三部分是指通过对原始图像自适应添加最少的黑边，使图像高度上两端的黑边减少，减少计算量；

28、所述backbone(骨干网络)替换为pp-lcnet网络结构；所述pp-lcnet网络结构包括cbl结构和depthsepconv结构；所述cbl结构为普通卷积层、归一化层和激活函数组成；所述depthsepconv结构是将卷积操作分成了两层，一层做filter计算，一层做合并计算，标准卷积运算和depthsepconv结构卷积运算计算量的比例为：

29、

30、式中，dk是kernel的长宽，m为输入的输入的channel，df是输出的长宽，n是是输出的channel，depthsepconv结构的运算量少于普通卷积；

31、所述neck(颈部)部分包括fpn和pan的结构并引入selective kernel attention注意力机制模块；fpn结构是指自顶而下的把高层的特征向下传递，补充低层的语义；pan结构是指自底向上的将低层的定位特征传递上去；所述selective kernel attention注意力机制模块包括split分割、fuse融合和select选择；所述split分割是指对于给定的特征图，分别以3和5的卷积核进行转换，分割算子生成不同核大小的多条路径，对应不同的神经元感受野大小；所述fuse融合是指融合运算符结合和聚合来自多个路径的信息，获得选择权重的全局和综合表示；所述select选择是指在紧凑的特征描述的引导下，使用跨通道的soft attention自适应地选择不同空间尺度的信息，选择操作符根据选择权重将不同大小的核的特征映射进行聚合；

32、所述output部分bounding box损失函数改用为giou_loss函数，nms非极大值抑制采用diou_nms函数；

33、所述giou_loss函数公式如下：

34、

35、

36、式中ap表示两个矩形框相交其中一个矩形框的面积，ag表示另一个矩形框的面积，i表示两个矩形框相交的面积，u表示两个矩形框面积之和减去两个矩形框相交面积，ac表示两个矩形框的最小外界面积；

37、所述diou_nms函数公式如下：

38、

39、

40、式中，si是分类置信度，ε是nms阈值，m为最高置信度的框；

41、进一步的，步骤4、使用改进的yolov5模型训练井下人员数据集，在训练完成后得到最优权重，获取训练中目标检测的各项指标数据，测试井下人员的目标检测结果；

42、所述训练数据集，本发明设置训练轮数为100轮，所述最优权重为训练100轮过程中其中训练结果最好的一轮；

43、所述各目标检测的各项指标数据从tensorboard中获得，具体的指标有精确率(precision)、召回率(recall)、平均精度的均值(map)、训练损失值以及precision与recall的调和平均数(f1 score)；其中公式如下：

44、

45、

46、

47、tp指正确检测出的目标，fp指错误检测出的目标，fn指漏检的物体数。

48、进一步的，步骤5、将目标检测结果输入到deepsort中，利用卡尔曼滤波完成对井下人员轨迹的预测和状态估计，具体包括，

49、所述卡尔曼滤波是指是一种对目标运动过程的递归预测，首先获取目标前一时间点的状态预测值和此刻目标状态的观测值，之后得到此刻状态下的预测值，其公式如下：

50、预测阶段：

51、

52、

53、式中，为第k帧的位置；a为状态转移矩阵；pk为真实值与预测值之间的协方差矩阵；q为过程噪声矩阵；

54、更新阶段：

55、

56、

57、

58、式中，kk为卡尔曼增益；h为观测矩阵；r为观测噪声；i为单位矩阵；

59、进一步的，步骤6、对井下人员利用马氏距离计算运动匹配，利用余弦距离计算外观匹配，基于匈牙利算法对井下人员进行级联匹配和iou匹配，具体包括，

60、所述运动匹配是指用马氏距离计算经卡尔曼滤波后的预测位置和检测位置的匹配程度，公式如下：

61、

62、式中，yi表示第i个轨迹的目标预测框位置，dj表示第j个目标检测框的位置，si表示协方差矩阵。马氏距离计算得出后，还需进行阈值化处理。设置阈值t(1)，当阈值t(1)小于9.4877时，则表示关联成功，其示性函数如下：

63、

64、所述外观匹配则是使用余弦距离进行计算的，其公式如下：

65、

66、式中，d(2)(i,j)表示的是第i个轨迹的和第j个最小余弦距离；rj为第j个检测框dj相应的外观描述符，并要求||rj||＝1；表示第i个轨迹的外观信息仓库，保存最近更新的100条目标成功关联的外观描述符；ri表示外观特征库；

67、

68、如式(21)所示，所计算出的余弦距离值要小于设置的阈值，才算关联成功；以上两种度量方式计算完成后，还需要对二者进行线性加权，以此作为最终的度量值；

69、ci，j＝λd(1)(i，j)+(1-λ)d(2)(i，j)  (22)

70、其中，λ为权重系数，若λ设置为0，余弦距离的阈值仍然有效；

71、门限函数为：

72、

73、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

74、综上所述，本发明的基于yolov5-deepsort算法的矿井人员目标视频跟踪方法，采用限制对比度自适应直方图均衡算法和中值滤波算法对井下人员图片进行处理，限制对比度自适应直方图均衡算法通过对图像局部对比度的改进，可以获得更多的图像细节，使的图像的特征更加明显，中值滤波算法通过采用非线性的方法，保护图像尖锐的边缘，选择适当的点来替代污染点的值，实现对图像噪声的降低。

75、本发明对yolov5算法进行了改进，采用pp-lcnet网络结构替换了yolov5的骨干网络，使得yolov5算法的计算参数大大减少，加快了yolov5的推理速度，对于井下光线昏暗的环境下，在不增加推理时间的情况下提高准确率；并对yolov5的颈部添加了selectivekernel attention注意力机制模块，sk模块通过软核方式通过自适应内核选择提高对象识别的效率和有效性，从而增加了yolov5算法对井下人员特征提取的性能；通过将yolov5的预测框的损失函数更改为giou_loss，缓解边界框不重合的问题，提高了yolov5的检测精度。

76、本发明使用deepsort算法对井下人员进行目标跟踪，采用改进的yolov5模型作为检测器，利用卡尔曼滤波完成对井下人员轨迹的预测和状态估计，通过匈牙利算法对井下人员进行级联匹配和iou匹配，最终实现井下人员目标的准确跟踪，本发明实现了矿井的智能化、无人化以及保护矿工的安全生产具有积极重要的意义。