一种煤矿钻杆自动计数方法及系统与流程

本发明涉及煤矿领域和电子领域，尤其涉及一种煤矿钻杆自动计数方法及系统。

背景技术：

煤炭形成过程中会产生瓦斯气体。当矿工进行井下煤炭挖掘开采过程中，矿井中瓦斯气体会逐渐的增加，当瓦斯气体达到一定浓度时，会导致人因缺氧而窒息，并容易发生燃烧或者爆炸，危害煤矿职工的身体健康和生命安全。因此，为了保护煤矿职工的人身安全，减少事故的发生，煤矿井下挖煤之前需要进行防突打钻，以排除瓦斯气体，并对打钻数量有严格要求。

目前，在实际矿井作业管理中，通常按照打入钻杆的数量作为对打钻工人进行计工计酬的依据，但由于没有针对性的统计和管理，工人会为了更高的劳务报酬而谎报打入钻杆的数量，经常出现工人没按安全要求打足够数量的钻杆，会造成矿井作业严重的安全隐患。因此，需要一种技术手段，能够通过对打钻现场的实时监控视频的智能分析，实现打入钻杆数量的自动统计功能，以解决上述技术问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明提供一种煤矿钻杆自动计数方法及系统，以解决上述技术问题。

本发明提供的煤矿钻杆自动计数方法，包括：

采集图像信息，获取钻机位置信息；

根据所述钻机位置信息，定位钻杆判断区域；

根据钻杆判断区域内的钻杆及其周围图像的像素变化，判断钻杆是否处于工作状态；

计算钻杆处于工作状态时的钻入距离；

根据所述钻入距离获取对矿井打入钻杆的数量，进行计数。

进一步，统计钻杆每次处于工作状态时的前进距离，获取前进总距离，再根据所述钻杆的自身长度，计算打入钻杆的数量。

进一步，所述钻杆的状态包括工作状态和非工作状态，将采集的图像信息转换为灰度图像，再将连续帧的多张灰度图像融合为多通道的彩色图像，预先通过卷积神经网络对融合后的彩色图像进行分类，再根据钻杆判断区域内彩色图像的分类结果，对钻杆的状态进行判定。

进一步，根据采集的图像信息，将钻杆判断区域内的连续若干帧的图像转换为灰度图像，再将连续若干帧的灰度图像融合为红、绿、蓝三通道的彩色图像，若根据分类结果判定所述彩色图像的钻杆判断区域内出现彩色信息，则判定钻杆处于工作状态，若根据分类结果判定所述彩色图像的钻杆判断区域内没有彩色信息，则判定钻杆处于非工作状态。

进一步，还包括建立钻机检测模型，并对采集的图像信息进行数据标注，获取图像中的钻机位置，再根据所述标注数据对钻机检测模型进行训练，通过训练后的模型对输入的图像信息中的钻机位置进行检测。

本发明还提供一种煤矿钻杆自动计数系统，包括：

图像采集单元，用于采集图像信息；

图像处理单元，用于根据采集的图像信息，获取钻机位置信息，并根据所述钻机位置信息，定位钻杆判断区域；

状态判断单元，用于根据钻杆判断区域内的钻杆及其周围图像的像素变化，判断钻杆是否处于工作状态；

计数单元，用于计算钻杆处于工作状态时的钻入距离，并对矿井打入钻杆的数量，进行计数。

进一步，其特征在于，所述统计单元统计钻杆每次处于工作状态时的前进距离，获取前进总距离，再根据所述钻杆的自身长度，计算打入钻杆的数量。

进一步，所述钻杆的状态包括工作状态和非工作状态，图像处理单元将采集的图像信息转换为灰度图像，再将连续帧的多张灰度图像融合为多通道的彩色图像，预先通过状态判断单元利用卷积神经网络对融合后的彩色图像进行分类，再根据钻杆判断区域内彩色图像的分类结果，对钻杆的状态进行判定。

进一步，图像处理单元根据采集的图像信息，将钻杆判断区域内的连续若干帧的图像转换为灰度图像，再将连续若干帧的灰度图像融合为红、绿、蓝三通道的彩色图像，状态判断单元判定方式包括：若根据分类结果判定所述彩色图像的钻杆判断区域内出现彩色信息，则判定钻杆处于工作状态，若根据分类结果判定所述彩色图像的钻杆判断区域内没有彩色信息，则判定钻杆处于非工作状态。

进一步，还包括钻机检测单元，用于对采集的图像信息进行检测，获取钻机位置信息；所述钻机检测单元包括钻机检测模型和标注模块，用于对采集的图像信息进行数据标注，获取图像中的钻机位置，根据所述标注数据对钻机检测模型进行训练，通过训练后的模型对输入的图像信息中的钻机位置进行检测。

本发明的有益效果：本发明中的煤矿钻杆自动计数方法及系统，可以对煤矿钻杆进行针对性的统计和管理，通过对整个矿井下作业过程准确地进行监控，对防突打钻过程中打入的钻杆数进行自动计数，更加准确高效，以避免人为因素造成的矿井作业严重的安全隐患，本发明具有方法简单、高效、易于推广应用等优点。

附图说明

图1是本发明实施例中煤矿钻杆自动计数方法的流程示意图。

图2是本发明实施例中煤矿钻杆自动计数系统的结构示意图。

图3是本发明实施例中煤矿钻杆自动计数方法中钻杆状态判断区域示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图1所示，本实施例中的煤矿钻杆自动计数方法，包括：

采集图像信息，获取钻机位置信息；

根据所述钻机位置信息，定位钻杆判断区域；

根据钻杆判断区域内的钻杆及其周围图像的像素变化，判断钻杆是否处于工作状态；

计算钻杆处于工作状态时的钻入距离；

根据所述钻入距离获取对矿井打入钻杆的数量，进行计数。

在本实施例中，首先在视频帧中检测钻机，定位钻机位置；然后根据钻机位置定位出待打入的钻杆区域，并根据连续几帧的变化情况判断钻杆处于转动状态还是停止状态；最后结合钻杆的转动状态和钻机的运动距离，计算打入的钻杆长度，并根据打入的钻杆长度与单根钻杆长度的比值估算打入钻杆数量，完成对打入钻杆的计数。

在本实施例中，还建立钻机检测模型，并对采集的图像信息进行数据标注，获取图像中的钻机位置，再根据所述标注数据对钻机检测模型进行训练。本实施例中可以运用成熟的基于深度学习的目标检测方法进行钻机检测，如fasterrcnn、ssd(singleshotmultiboxdetector)等等。首先对采集到的视频图像进行数据标注，框出图像中钻机位置，然后利用标注数据训练钻机检测模型，之后便能通过钻机检测模型进行钻机检测。

在本实施例中，根据检测到的钻机位置，定位钻杆判断区域，例如，检测一台水平放置的钻机，其钻杆水平朝左放置，钻机检测框的上下边界即为钻杆判断区域的上下边界，钻机检测框的左侧边界即为钻杆判断区域的右侧边界，如图3所示，钻杆判断区域的左侧边界在摄像头安装好之后可以人工标定。

在本实施例中，在标定好钻杆判断区域后，即可进行钻杆状态的判断，钻杆的状态包括工作状态和非工作状态，在判断之前，需要对钻杆处于转动状态还是停止状态进行分类。将采集的图像信息转换为灰度图像，再将连续帧的多张灰度图像融合为多通道的彩色图像，再根据钻杆判断区域内彩色图像的分类结果，对钻杆的状态进行判定。具体地，根据采集的图像信息，将钻杆判断区域内的连续若干帧的图像转换为灰度图像，再将钻杆判断区域内连续若干帧的灰度图像融合为红、绿、蓝三通道的彩色图像，若根据分类结果判定所述彩色图像的钻杆判断区域内出现彩色信息，则判定钻杆处于工作状态，若根据分类结果判定所述彩色图像的钻杆判断区域内没有彩色信息，则判定钻杆处于非工作状态，本实施例中的钻杆判断区域内是否出现彩色信息并非指物理意义上的出现，而是经过卷积神经网络模型分类后的是否出现，本实施例中的判定方法可以排除干扰信息，使判定的结果准确。本实施例中的融合的连续图像的帧数可以根据实际的需要进行设置，优选地，通过对监控视频的观察，通过连续两三帧中钻杆及其周围粉尘的变化即可区分出钻杆是处于转动中还是停止中。由于钻杆及其周围的粉尘均主要为灰色物质，少有彩色信息，在本实施例中将连续三帧的视频图像均转换为灰度图像，然后将连续三帧的灰度图像融合为一张rgb三通道的彩色图像进行钻杆状态的判断，在本实施例中，由于彩色图像包括红、绿、蓝三个分量，因此，采用连续三帧的灰度图像融合为一张彩色图像，其中每一帧做为一个分量，根据预先训练好的卷积神经网络模型，对融合后的彩色图像进行分类，将融合后的彩色图像输入卷积神经网络模型，直接输出是否处于工作状态的标签。这样即把视频分类问题简化为了图像分类问题，而并不影响分类效果。这样，就可以利用卷积神经网络对融合后的彩色图像进行分类，从而判断钻杆状态。

在本实施例中，钻杆在转动状态下，由于自身及周围粉尘在连续三帧中的像素变化，会导致融合出的rgb图像中出现彩色信息。而停止状态下的钻杆，由于其自身及周围粉尘均处于静止状态，连续三帧变化很小，融合后的rgb图像很少出现彩色信息。这样就可以利用卷积神经网络对融合后的图像进行分类，从而分类钻杆状态。本领域技术人员应该可以知晓，除了采用卷积神经网络进行分类之外，也可使用其他方法实现钻杆的转动状态判断，如rnn等。

在本实施例中，检测到钻机并判断出钻杆的转动状态后，可以根据钻杆从开始转动到停止转动的时间区间内钻机往前移动的距离估算本次打入的钻杆长度。为了防止偶尔钻机打入一半钻杆后暂停运行的情况，以及为了避免钻杆状态的偶尔误判对最终统计结果的影响，本实施例不对每一次钻杆从转动状态到停止状态的时间区间(也就是钻机从开始打钻到停止打钻的时间区间)进行是否打入一根钻杆的判断，而是累计每次从开始到停止的时间区间内钻机的向前行进距离，然后除以单根钻杆的长度，以此估算打入的钻杆总数。

相应地，本实施例还提供煤矿钻杆自动计数系统，包括：

图像采集单元，用于采集图像信息；

图像处理单元，用于根据采集的图像信息，获取钻机位置信息，并根据所述钻机位置信息，定位钻杆判断区域；

状态判断单元，用于根据钻杆判断区域内的钻杆及其周围图像的像素变化，判断钻杆是否处于工作状态；

计数单元，用于计算钻杆处于工作状态时的钻入距离，根据所述钻入距离获取对矿井打入钻杆的数量，进行计数。

在本实施例中，图像处理单元将采集的图像信息转换为灰度图像，再将连续帧的多张灰度图像融合为多通道的彩色图像，状态判断单元预先通过卷积神经网络对融合后的彩色图像进行分类，再根据钻杆判断区域内彩色图像的分类结果，对钻杆的状态进行判定。图像处理单元根据采集的图像信息，将钻杆判断区域内的连续若干帧的图像转换为灰度图像，再将连续若干帧的灰度图像融合为红、绿、蓝三通道的彩色图像，状态判断单元判定方式包括：若根据分类结果判定所述彩色图像的钻杆判断区域内出现彩色信息，则判定钻杆处于工作状态，若根据分类结果判定所述彩色图像的钻杆判断区域内没有彩色信息，则判定钻杆处于非工作状态。

在本实施例中，还包括钻机检测单元，用于对采集的图像信息进行检测，获取钻机位置信息；所述钻机检测单元包括钻机检测模型和标注模块，用于对采集的图像信息进行数据标注，获取图像中的钻机位置，根据所述标注数据对钻机检测模型进行训练，通过训练后的模型对输入的图像信息中的钻机位置进行检测。

在本实施例中，统计单元统计钻杆每次处于工作状态时的前进距离，获取前进总距离，再根据所述钻杆的自身长度，计算打入钻杆的数量。

注意，在实施例的对应附图中，用线来表示信号，一些线比较粗，以表示更多的构成信号路径(constituent_signalpath)和/或一些线的一个或多个末端具有箭头，以表示主要信息流向，这些标识不是想要进行限制，事实上，结合一个或多个事例性实施例使用这些线有助于更容易地接电路或逻辑单元，任何所代表的信号(由设计需求或偏好所决定)实际上可以包括可以在任意一个方向传送的并且可以以任何适当类型的信号方案实现的一个或多个信号。

说明书对“实施例”、“一个实施例”、“一些实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“实施例”、“一个实施例”、“一些实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。