敲帮问顶工序规范性视觉检测方法及其系统与流程

本发明涉及一种敲帮问顶工序规范性视觉检测方法，属于工业安全监控。

背景技术：

1、在煤炭开采过程中，进行巷道支护前，必须严格执行敲帮问顶制度。由于施工和生产会导致新暴露的顶板、煤壁和两帮的应力重新分布，这一过程可能使周围的煤岩逐渐与主体分离。特别是在存在层理、裂隙或复杂地质构造的情况下，冒顶和片帮事故的风险显著增加，可能造成严重的人员伤亡。

2、因此，在支护前对工作面进行全面的安全检查至关重要。每组班队人员都应及时检查自己工作区域的顶板和帮体，处理任何潜在的危险，以确保工作面的安全，防止事故发生。然而，现有技术在敲帮问顶工序的规范性检测方面存在以下弊端：

3、人工依赖性强：目前的检测方法主要依赖于人工检查，容易受到主观因素的影响，导致判断不准确，增加了安全隐患。

4、效率低下：人工检查需要耗费大量时间和人力，尤其是在大规模的煤矿作业中，难以实现实时监控和快速反应。

5、信息记录不及时：人工记录往往存在延迟，无法及时反馈潜在的安全问题，导致事故发生的风险增加。

6、缺乏系统化监控：现有方法缺乏全面的监控系统，难以实现对整个工作面的实时监测和数据分析，无法有效识别和预警安全隐患。

技术实现思路

1、为克服现有技术的缺陷，本发明提供一种敲帮问顶工序规范性视觉检测方法，本发明的技术方案是：

2、一种敲帮问顶工序规范性视觉检测方法，包括以下步骤：

3、(1)机载支护或临时支护标志检测：通过目标检测算法识别巷道内的机载支护或临时支护标志，判断是否进行了支护；

4、(2)敲帮问顶人员检测：检测到支护标志后，分析巷道内人员是否符合敲帮问顶的要求，包括人数和是否持有工具；

5、(3)敲帮问顶动作检测：监测敲帮问顶人员的动作，判断是否进行了规范的敲帮问顶操作；

6、(4)位置检测：确保敲帮问顶动作发生在监控画面的左、中、右三个位置，以判断工序的规范性。

7、所述的步骤(1)具体为：

8、1.1数据采集：使用摄像头实时采集工作面的视频流数据；

9、1.2视频预处理：对采集到的视频流进行预处理，包括帧率控制、噪声过滤以及图像增强，以提高后续目标检测的准确性；

10、1.3目标检测算法选择：使用yolox算法进行识别检测；

11、1.4模型训练：使用标注好的训练数据集对yolox模型进行训练；训练数据集包含各种工作面情况下的机载支护和临时支护标志的图像；1.5模型部署：将训练好的yolox模型部署到边缘分析设备上；

12、1.6实时检测：利用yolox模型对摄像头捕获的实时视频流进行分析，识别其中是否存在机载支护或临时支护的标志。

13、1.7标志识别：对于每一帧图像，yolox模型输出边界框，这些边界框标识出了图像中的目标对象，以及相应的置信度分数；通过设置一个置信度阈值，当置信度高于该阈值时，认为检测到的标志是有效的；1.8结果判断：如果在连续的视频帧中持续检测到机载支护或临时支护的标志，则认为工作面已经进行了支护；如果在预设时间内未检测到任何标志，则认为工作面没有进行支护；

14、1.9报警机制：当判断出工作面没有进行支护，将触发报警机制，通过声光报警或发送通知到监控中心，提醒相关人员采取措施。

15、1.10证据视频生成：保存包含未检测到支护标志的视频片段，作为证据视频，供后续分析和处理使用。

16、所述的步骤(2)具体为：

17、2.1视频帧分析：在检测到有机载支护或临时支护的标志后，使用目标检测算法对回溯的视频帧进行分析，以识别和定位巷道内的人员；2.2人员检测：识别视频帧中的所有人员，并识别人员是否持有手镐工具，并判断是否是执行敲帮问顶任务的人员；

18、2.3人数和角色判断：根据检测到的人员数量和他们的角色，系统会进行以下判断：

19、如果回溯视频里没有人，或者只有一个人且没有敲帮问顶人员，则认为未进行敲帮问顶工序，触发报警；

20、如果检测到的人员中只有敲帮问顶人员而没有监护人在场，或者敲帮问顶人员多于两人，则认为敲帮问顶工序不规范，同样触发报警；如果检测到有两名人员，且其中包含敲帮问顶人员和监护人，将进入下一步，即进行敲帮问顶人员的动作检测；

21、2.4动作规范性评估：分析敲帮问顶人员的动作是否符合规定的操作程序，例如是否在正确的位置使用手镐敲击顶板或煤壁。

22、如果动作不符合规范，将记录这一事件并可能触发报警，以提醒现场安全管理人员进行干预；

23、2.5报警和记录：如果检测到不规范的操作或潜在的安全风险，将生成报警，并将相关视频片段和报警信息上传到中央监控系统。

24、所述的步骤(3)具体为：

25、3.1动作检测准备：在确认有敲帮问顶人员和一名监护人在场后，将对敲帮问顶人员的动作进行分析；

26、3.2视频帧提取：从监控视频中提取包含敲帮问顶人员的连续帧，这些帧用于后续的动作识别分析；

27、3.3动作识别：使用x-clip算法对提取的视频帧进行分析，以识别敲帮问顶人员的具体动作；

28、3.4规范性判断：如果未能识别出敲击顶板或侧帮的动作，则认为敲帮问顶工序不规范，并触发报警；如果检测到敲击动作，则进行位置检测。

29、所述的步骤(4)具体为：

30、4.1监控画面划分：将监控画面均匀划分为左、中、右三个区域，以便于对敲帮问顶动作的位置进行准确识别；

31、4.2视频帧提取：从监控视频中提取包含敲帮问顶动作的视频帧，这些帧将用于后续的位置检测分析；

32、4.3目标检测算法应用：使用yolox或其他目标检测算法对提取的视频帧进行分析，以识别敲帮问顶人员的动作位置；

33、4.4位置规范性判断：检测敲帮问顶动作是否发生在监控画面的左、中、右三个预定区域内；如果敲帮问顶动作未发生在这三个区域内，则认为敲帮问顶工序不规范，并触发报警；

34、4.5动作位置记录：对于每个检测到的敲帮问顶动作，记录其在监控画面中的具体位置，以便于后续分析和审核；

35、4.6报警和反馈：若检测到敲帮问顶工序不规范，将触发报警，并将相关视频片段和报警信息上传到中央监控系统；同时，将反馈结果给现场作业人员；

36、4.7数据存储和分析：所有检测到的动作位置数据将被存储在数据库中，用于后续的数据分析和趋势预测。

37、一种实现敲帮问顶工序规范性视觉检测方法的系统，包括：

38、机载支护或临时支护标志检测模块，用于通过目标检测算法识别巷道内的机载支护或临时支护标志，判断是否进行了支护；

39、敲帮问顶人员检测模块，用于检测到支护标志后，分析巷道内人员是否符合敲帮问顶的要求；

40、敲帮问顶动作检测模块，用于监测敲帮问顶人员的动作，判断是否进行了规范的敲帮问顶操作；

41、位置检测模块，用于确保敲帮问顶动作发生在监控画面的左、中、右三个位置，以判断工序的规范性。

42、本发明的优点是：

43、1.提高安全监控效率：通过24小时全天候无死角的实时监控、自动识别是否进行敲帮问顶，不仅显著提高了煤矿的安全监控效率，还提高了反应速度和处理效率。

44、2.降低劳动强度：大量减少了传统“人盯人”的监管模式，减轻了工人的负担。

45、3.增强安全性：通过实时监控和智能分析，能够及时发现未进行敲帮问顶的工序，增强煤矿开采的整体安全性。

46、本发明通过实时监测巷道内人员的动作、数量，以及临时支护或机载支护的标志，通过回溯的方式将临时支护或机载支护前三十分钟的视频进行回检，判断是否发生了敲帮问顶操作，并形成证据视频进行报警。这种基于视觉分析的敲帮问顶工序规范性检测方法、设备及系统的优势在于能够实时监测巷道内的情况，并通过回溯的方式判断是否发生了敲帮问顶操作。相比于传统的回看摄像仪的方法，本发明能更加准确地判断敲帮问顶操作的发生，并且能够及时进行处理，提高了安全性和效率。