一种基于双视野的矿井人员行为检测与危险等级划分方法

本发明属于图像识别，特别是矿井人员行为智能检测与危险等级划分系统。

背景技术：

1、传统的矿井人员监管主要依赖人工巡检和视频监控，但是人工巡检效率低下，容易出现疏漏；普通的视频监控系统只能被动地进行记录，无法针对危险动作进行实时预警。近年来，随着人工智能技术的发展，一些矿井企业开始尝试引入智能视频分析系统，通过对监控画面进行实时分析从而自动识别矿工的异常行为。但是，受限于算法性能和硬件条件，这些系统往往难以兼顾检测的准确性和实时性。现有的智能视频分析系统大多采用单一的固定焦距摄像头进行图像采集。这种方法的优势在于成本低廉、结构简单、维护成本低等优势，但是存在以下不足：第一，单一视野难以全面覆盖复杂的井下环境，容易出现监控盲区；第二，固定焦距无法兼顾近景和远景目标，对于远距离的微小目标难以准确检测；第三，单一图像分辨率有限，难以捕捉人员细节动作，影响行为分析的精度。目前有厂家提出变焦相机进行矿井人员行为检测的方案，虽然可以通过变焦扩大监控范围、减少监控盲区、成像更清晰等优势，但依然存在以下不足：第一，变焦过程需要一定的时间，无法实现瞬时变焦，难以满足实时检测的需求；第二，频繁变焦会影响图像质量，导致画面抖动、模糊等问题，影响后续的行为分析；第三，变焦机构易受井下恶劣环境影响，容易出现故障，维护成本高。单一变焦相机仍然难以兼顾全局和局部的行为分析，在复杂场景下的适应性有限。

技术实现思路

1、本发明针对现有矿井行为检测技术的不足，本发明提出一种基于双镜头协同的矿井人员行为智能检测与危险等级划分系统：通过双镜头扩大监控视野并提高细节分辨率，依靠云台稳定转动调整视角跟踪目标，并使用矿井专用的行为识别模型划分危险等级，从而提高违规识别和预警能力，最终实现复杂井下环境中人员行为的精准识别、持续跟踪、分级预警，切实提高矿井安全监管水平，预防和减少事故发生，保障矿工人身安全和矿区安全生产。

2、本发明采用的技术方案如下：一种基于双视野的矿井人员行为检测与危险等级划分方法，该方法包括：

3、步骤1：采集两种不同视野的画面，其中一种为大视野全局图像，另一种为小视野放大图像；

4、步骤2：根据风险程度设定危险等级；

5、步骤3：提高图像亮度和对比度，然后将rgb图像转换到hsv色彩空间；

6、步骤4：在全局图像中首先跟踪矿井工人，划分出矿井工人所属的检测框，对检测框内进行安全帽、工作服、烟头进行目标检测，根据检测结果结合步骤2划分的危险等级，得出初步的危险等级；

7、步骤5：根据检测框的位置，跟踪采集该位置处的小视野放大图像；

8、步骤6：根据小视野放大图像从新对安全帽、工作服、烟头进行目标检测；

9、步骤7：输出步骤6的检测结果。

10、进一步的，所述步骤1中采用一个短焦相机获取大视野全局图像，采用一个长焦相机获取小视野放大图像。

11、进一步的，所述步骤1中图像采集前，首先对相机进行标定，标定方法为：

12、步骤1.1：使用棋盘格进行相机标定；

13、使用张正友标定法，获取相机的内参矩阵与外参矩阵，将相机坐标系映射到世界坐标系；

14、步骤1.2：确定云台物理参数；

15、主要确定相机所在云台旋转轴与旋转中心的位置，建立云台运动学模型；

16、步骤1.3：确定相机与对应云台的相对位置；确保相机安装于云台装置中心线上；

17、步骤1.4：映射相机坐标系到云台坐标系；

18、首先利用步骤1.1中得到的相机内参矩阵获得目标在相机坐标系的坐标，再根据步骤1.1中得到的相机外参矩阵映射给世界坐标系，获得目标在真实世界的坐标；

19、步骤1.5：根据步骤1.2中建立的云台运动学模型与步骤1.4中获得的目标在真实世界中的坐标确定出云台转动角度。

20、进一步的，所述步骤3中提高图像亮度和对比度的方法为：

21、步骤3.1：建立算法模型；

22、s(x,y)＝l(x,y)+r(x,y)

23、其中，s(x,y)表示采集到的图像，l(x,y)表示入射图像，r(x,y)表示物体反射图像；

24、步骤3.2：两边同时取对数：

25、log[r(x,y)]＝log[s(x,y)]-log[l(x,y)]

26、步骤3.3：用s(x,y)和高斯核g(x,y)进行卷积近似l(x,y):

27、log[r(x,y)]＝{log[r(x,y)]-log[r(x,y)]*g(x,y)}

28、步骤3.4：对r(x,y)映射至(0,255)：

29、r(x,y)＝255×(value-min)/(max-min)

30、其中，value表示图像r(x,y)任一点处的像素值，min表示图像r(x,y)中的最小像素值，max表示图像r(x,y)中的最大像素值，求得的r(x,y)即为提高亮度和对比度后的图像。

31、进一步的，所述步骤4中首先在全局图像中检测出工人目标的边界框及其轨迹，具体方法为：

32、步骤4.1：使用深度学习的目标检测模型yolov8在每一帧全局图像中检测出目标的边界框和类别；

33、步骤4.2：对于每个检测到的目标边界框，使用预先训练好的卷积神经网络提取目标的深度特征，这些深度特征将用于后续的目标关联；

34、步骤4.3：对每个检测到的目标初始化一个卡尔曼滤波器，用于估计目标在下一帧的位置和运动状态；

35、步骤4.4：根据当前帧和上一帧的目标位置和深度特征，构建一个成本矩阵；这个矩阵描述了将当前帧中的目标与上一帧中的轨迹相关联的代价；

36、步骤4.5：使用匈牙利算法(hungarian algorithm)在成本矩阵上寻找最优的一对一的目标轨迹关联；

37、步骤4.6：根据匈牙利算法的结果，更新现有的目标轨迹；对于新出现的目标，创建新的轨迹；对于失踪的目标，通过最大时间阈值来决定是否终止该轨迹；

38、步骤4.7：输出每个目标的边界框、id和轨迹；

39、然后采用目标检测模型yolov8对工人目标的边界框进行安全帽、工作服、烟头的检测。

40、进一步的，所述步骤4中的目标检测模型yolov8包括：包括：骨干网络(backbone)、检测头(head)和解码器(decoder)，

41、所述骨干网络为cspdarknet，检测头为anchor-free，所述解码器首先对预测的中心点和宽高进行解码，得到检测框的坐标和大小，然后，通过设置阈值，过滤掉置信度低的检测框；最后，使用非极大值抑制(nms)算法去除重复的检测框，得到最终的检测结果。

42、一种基于双视野的矿井人员行为检测与危险等级划分方法的系统，该系统包括：短焦相机、短焦相机云台、长焦相机、长焦相机云台、数据处理器，所述数据处理器中的计算方法为一种基于双视野的矿井人员行为检测与危险等级划分方法，所述短焦相机云台为固定云台，所述长焦相机云台为活动云台，该活动云台须实现滑动和转动，该滑动和转动的控制方法为pid控制法，包括：比例控制(proportional control)、积分控制(integralcontrol)和微分控制(differential control)；pid控制将比例控制、积分控制、微分控制结合起来后，其动态方程为：

43、

44、其中，u(t)表pid算法的输出，kp为比例项系数，e(t)为当前系统误差，ki为积分项系数，kd为微分项系数；

45、步骤a：初始化pid参数和控制器状态：设置初始的pid参数kp、ki、kd；

46、步骤b：获取目标位置和云台当前位置；

47、步骤c：计算目标位置与云台当前位置之间的位置偏差e(t)；

48、步骤d：计算pid控制量u(t)；

49、步骤e：将控制量u(t)限制在一定范围内,防止过大的控制量导致失稳；

50、步骤f：将控制量u(t)转换为云台的目标位置或速度命令；发送命令到云台执行器，更新云台的位置和速度；

51、步骤g：根据误差曲线的特征，判断系统是否处于临界阻尼、超阻尼或者欠阻尼状态；采用增量式pid自整定或其他自适应调整算法,动态调整值；

52、步骤h：更新状态,返回步骤b：更新前一时刻的误差值，返回步骤b,获取新的目标位置和云台当前位置,重复控制循环。

53、本发明提出的一种基于双镜头协同的矿井人员行为智能检测与危险等级划分方法和系统，有效克服了传统方案在复杂井下环境中存在的检测盲区、识别精度低、预警不及时等问题。与传统方案相比，本系统通过双镜头协同与云台控制显著扩大了监控范围，减少了检测盲区面积，提高了检测效率。针对矿井光照不均和局部阴暗的特点，融合了自适应光照补偿和图像增强算法使系统对光照变化的适应性大幅提升，在极端光照条件下仍能保证较高的行为识别准确率，从而降低一般违规行为的漏报率和轻微违规行为的虚警率。