一种基于M-ST-YOLOv5模型的露天煤矿烟尘检测方法及装置

本发明涉及烟气识别，具体涉及一种基于m-st-yolov5模型的露天煤矿烟尘检测方法及装置。

背景技术：

1、随着煤矿产业的不断扩大,目前大型露天矿区多采用重型自卸车辆运输,运输道路一般都是未经修筑的土路,路面平整度差,路面扬尘无法避免,不仅污染周围环境,损害工作人员的身体健康,而且缩短车辆的使用寿命,此外,扬尘会影响车辆驾驶员的视线,影响行车安全,降低生产效率；同时煤矿开采之后形成临空面，与空气充分接触后，达到着火点会局部自燃，会造成煤炭资源的损失、地面塌陷，向空气中排放大量一氧化碳、二氧化硫等有害气体，对环境产生极大的污染；因此,必须对矿区的火煤和扬尘进行洒水除尘处理。

2、常见的针对烟尘检测方法是使用yolov5s对烟尘进行识别检测；但是其参数量较大、运算量gflops较大；基于此本申请提出一种基于m-st-yolov5模型的露天煤矿烟尘检测方法及装置。

技术实现思路

1、本发明提供了一种基于m-st-yolov5模型的露天煤矿烟尘检测方法及装置，旨在解决识别烟尘时，减少模型参数量、运算量gflops，且提高了对烟尘检测的识别率。

2、本发明的第一方面目的在于提供一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，包括如下步骤：

3、获取待检测的露天煤矿烟尘的目标图像；

4、将该图像输入到m-st-yolov5模型中，进行露天煤矿烟尘检测识别；

5、输出露天煤矿烟尘的检测结果。

6、进一步，m-st-yolov5模型构建方法包括：

7、步骤1、采集露天煤矿烟尘图像数据；

8、步骤2、将步骤1图像数据进行处理，以露天煤矿烟尘图像以及对应的标签构建露天煤矿烟尘的样本数据集；

9、步骤3、搭建m-st-yolov5模型，将样本数据集入m-st-yolov5网络进行训练；得到适用于露天煤矿烟尘检测的训练权重参数，获得具有露天煤矿烟尘检测的m-st-yolov5模型。

10、进一步，m-st-yolov5模型构建方法包括：步骤2可训练的样本数据集通过如下方法获得：

11、步骤2.1，将视频按固定间隔帧截取，例如以每秒25帧转为图片数据；

12、步骤2.2，使用labelimg工具对步骤2.1截取的露天煤矿烟尘图像的烟尘目标进行标注，获得与图像样本一一对应的xml文件作为样本；

13、步骤2.3，划分数据集；针对步骤2.2获得的图像数据集按7：2：1的比例划分成训练集(train)、验证集(val)和测试集(test)

14、步骤2.4，调整数据集格式；将标注所获得的训练集(train)、验证集(val)和测试集(test)的xml文件，转化为txt文件；以露天煤矿烟尘图像以及对应的标签构建露天煤矿烟尘的样本数据集。

15、步骤2.1中得到的所有露天煤矿烟尘图像构，对图像进行进行数据增强获得新图像，从而扩大数据集数量；数据增强的方法包括：平移、翻转、旋转、添加噪声及缩放中的任意一种或者多种组合。

16、进一步，m-st-yolov5模型相对于yolov5模型改进，具体方式如下：

17、将第1、3、5、7、18、21层的cbs结构替换为mobileconv结构；

18、将第2、4、6、13、17、20、23层的c3结构替换为mobilec3结构；

19、将第8层的c3结构替换为c3st。

20、进一步，mobileconv的第一层为卷积核大小1×1的cbs结构，将输入通道数c1提升为输出通道数c2；第二层为使用分组卷积的cbs结构，分组数g为通道数c2；第三层采用卷积核大小1×1的卷积，最后为归一化层bn；mobileconv第二层采用的分组卷积cbs结构可以降低网络参数，第三层卷积可以增强各通道之间的信息混合。

21、进一步，c3中的bottleneck由一个卷积核为1×1和一个卷积核为3×3的cbs结构组成；mobilec3将bottleneck中第二个cbs结构使用分组卷积的cbs结构替换，并增加卷积核为1×1的卷积和归一化层bn。

22、进一步，第8层的c3结构中的bottleneck使用swin-transformer block结构替换，swin-transformer block结构包括窗口多头自注意力w-msa与移位窗口多头自注意力sw-msa。

23、进一步，多头自注意力w-msa将图像划分成多个窗口进行自注意力，用于降低计算量；移位窗口多头自注意力sw-msa采用移动窗口的方式，用于增强各窗口之间的信息交换，提升网络对信息的提取能力。

24、本发明的第二方面目的在于提供一种露天煤矿烟尘检测装置，其特征在于，所述装置包括：

25、烟尘图像获取模块，被配置为执行获取待检测的露天煤矿烟尘的目标图像；

26、检测识别模块，被配置为执行将图像输入到m-st-yolov5模型中，进行露天煤矿烟尘检测识别；

27、结果输出模块，被配置为执行输出露天煤矿烟尘的检测结果。

28、本发明所达到的有益效果为：本发明提供的基于yolov5的露天煤矿场景下烟尘检测算法m-st-yolov5。本发明方法首先使用摄像头采集视频，然后对获得的视频数据按固定间隔帧截取成图像，再对图像中的烟尘目标区域使用标注工具进行标注，之后将标注好的图像数据输入m-st-yolov5网络进行训练，最后得到训练权重。对于待处理的烟尘目标图像，使用训练权重对其进行预测，最后输出烟尘预测结果；m-st-yolov5对烟尘检测的准确率p提升1.6个百分点，召回率r提升1.4个百分点，且参数量减少了30％，运算量gflops减少1/3。本发明网络参数量较少，适用于实践部署，且对烟尘的检测准确率较高。

技术特征：

1.一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，所述m-st-yolov5模型构建方法包括：

3.根据权利要求2所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，所述m-st-yolov5模型构建方法包括：步骤2可训练的样本数据集通过如下方法获得：

4.根据权利要求3所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，步骤2.1中得到的所有露天煤矿烟尘图像构，对图像进行数据增强获得新图像，从而扩大数据集数量；数据增强的方法包括：平移、翻转、旋转、添加噪声及缩放中的任意一种或者多种组合。

5.根据权利要求2所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，m-st-yolov5模型相对于yolov5模型改进，具体方式如下：

6.根据权利要求5所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，mobileconv的第一层为卷积核大小1×1的cbs结构，将输入通道数c1提升为输出通道数c2；第二层为使用分组卷积的cbs结构，分组数g为通道数c2；第三层采用卷积核大小1×1的卷积，最后为归一化层bn；mobileconv第二层采用的分组卷积cbs结构可以降低网络参数，第三层卷积可以增强各通道之间的信息混合。

7.根据权利要求5所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，c3中的bottleneck由一个卷积核为1×1和一个卷积核为3×3的cbs结构组成；mobilec3将bottleneck中第二个cbs结构使用分组卷积的cbs结构替换，并增加卷积核为1×1的卷积和归一化层bn。

8.根据权利要求5所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，第8层的c3结构中的bottleneck使用swin-transformer block结构替换，swin-transformerblock结构包括窗口多头自注意力w-msa与移位窗口多头自注意力sw-msa。

9.根据权利要求8所述的一种基于m-st-yolov5模型的露天煤矿烟尘检测方法，其特征在于，多头自注意力w-msa将图像划分成多个窗口进行自注意力，用于降低计算量；移位窗口多头自注意力sw-msa采用移动窗口的方式，用于增强各窗口之间的信息交换，提升网络对信息的提取能力。

10.一种露天煤矿烟尘检测装置，其特征在于，所述装置包括：

技术总结
本发明涉及烟气识别技术领域，具体涉及一种基于M‑ST‑YOLOv5模型的露天煤矿烟尘检测方法及装置；本发明提供的基于YOLOv5的露天煤矿场景下烟尘检测算法M‑ST‑YOLOv5。本发明方法首先使用摄像头采集视频，然后对获得的视频数据按固定间隔截取成图像，再对图像中的烟尘目标区域使用标注工具进行标注，之后将标注好的图像数据输入M‑ST‑YOLOv5网络进行训练，最后得到训练权重。对于待处理的烟尘目标图像，使用训练权重对其进行预测，最后输出烟尘预测结果；减少了参数量与运算量。

技术研发人员：周李涌,卢思婕,杜永兴,李琦,李宝山,高迪
受保护的技术使用者：内蒙古科技大学
技术研发日：
技术公布日：2024/1/15