基于深度图像的锚网支护孔中心点定位方法、系统及设备

本发明涉及矿井安全，特别是涉及一种基于深度图像的锚网支护孔中心点定位方法、系统及设备。

背景技术：

1、煤矿巷道掘进后，需要对岩壁进行支护以保证工作人员的安全。目前最常用的支护技术是锚网支护，而自动锚护机器人在进行锚网支护作业时，需要将锚杆穿过锚网孔中心点打入岩壁对锚网进行固定，因此在井下复杂多变的光照环境下准确、快速地定位锚网孔的中心点对于掘进效率的提高和支护安全意义重大。

2、现有的锚网孔中心点定位方法基于的是彩色图像，然而由于井下存在着复杂的光照条件，诸如光照不足、光照不均匀、光线遮挡等状况，会直接导致所采集的彩色图像存在不清晰、对比度不足、细节信息无法展现等问题，严重影响矿井下图像的观测效果及信息提取，进而导致基于彩色图像的锚网孔中心点定位方法的鲁棒性变差，严重影响掘进效率和支护安全。

技术实现思路

1、本发明的目的是提供一种基于深度图像的锚网支护孔中心点定位方法、系统及设备，能够有效提高自动锚护机器人在矿井任意光照条件下对于锚网支护中心点定位的鲁棒性和工作效率。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于深度图像的锚网支护孔中心点定位方法，包括：

4、获取锚网的深度图像并进行预处理，得到预处理后的深度图像；

5、对所述预处理后的深度图像进行局部区域划分，得到多个网格区域；

6、对每个所述网格区域进行自适应阈值分割再合并，得到与深度图像尺寸相同的二值图像；

7、对所述与深度图像尺寸相同的二值图像进行查找轮廓操作，得到多个轮廓，并拟合每个轮廓的最小外接矩形，得到多个最小外接矩形；

8、通过预设阈值排除多个最小外接矩形中的非目标最小外接矩形，得到目标最小外接矩形；

9、根据所述目标最小外接矩形确定锚网支护孔中心点的位置。

10、可选地，所述获取锚网的深度图像并进行预处理，得到预处理后的深度图像，具体包括：

11、获取锚网的深度图像，并对所述深度图像进行双边滤波处理，得到预处理后的深度图像。

12、可选地，对所述预处理后的深度图像进行局部区域划分，得到多个网格区域，具体包括：

13、将所述预处理后的深度图像均等地划分为大小为k*k个像素点的n个网格区域，令ri表示划分的第i个网格区域，i＝1，2，…n。

14、可选地，对每个所述网格区域进行自适应阈值分割再合并，得到与深度图像尺寸相同的二值图像，具体包括：

15、计算每个所述网格区域ri内的所有像素点的平均灰度值meani；

16、使用opencv最大类间方差法计算每个所述网格区域ri的最佳类间分割阈值otsui；

17、根据所述平均灰度值meani和所述最佳类间分割阈值otsui，基于公式确定每个所述网格区域ri经自适应阈值分割后的二值图像ti(x，y)；其中threshold1为分割阈值；oi(x，y)为网格区域ri经最大类间方差法分割后的二值图像；

18、将每个所述网格区域ri经自适应阈值分割后的二值图像ti(x，y)按照原位置进行合并，得到与深度图像尺寸相同的二值图像t(x，y)。

19、可选地，对所述与深度图像尺寸相同的二值图像进行查找轮廓操作，得到多个轮廓，并拟合每个轮廓的最小外接矩形，得到多个最小外接矩形，具体包括：

20、利用opencv中的cv：：findcontours方法对所述与深度图像尺寸相同的二值图像t(x，y)进行查找轮廓操作，得到多个轮廓contourj；j＝1，2，…m；m是查找到的所有轮廓数量；

21、遍历所有轮廓，拟合每个轮廓contourj的最小外接矩形，得到多个最小外接矩形rectj；所述最小外接矩形rectj的特征结构包括最小外接矩形中心(xj，yj)，宽度widthj，高度heightj和旋转角度θj。

22、可选地，所述通过预设阈值排除多个最小外接矩形中的非目标最小外接矩形，得到目标最小外接矩形，具体包括：

23、计算每个所述最小外接矩形rectj的高宽比ratioj；

24、根据预设阈值threshold2排除多个所述最小外接矩形rectj中的非目标最小外接矩形，得到目标最小外接矩形rectp；p＝1，2，…s；s为目标最小外接矩形数量。

25、可选地，根据所述目标最小外接矩形确定锚网支护孔中心点的位置，具体包括：

26、确定所述目标最小外接矩形rectp的中心点(xp，yp)为锚网支护孔中心点的位置。

27、一种基于深度图像的锚网支护孔中心点定位系统，包括：

28、预处理模块，用于获取锚网的深度图像并进行预处理，得到预处理后的深度图像；

29、局部区域划分模块，用于对所述预处理后的深度图像进行局部区域划分，得到多个网格区域；

30、二值图像确定模块，用于对每个所述网格区域进行自适应阈值分割再合并，得到与深度图像尺寸相同的二值图像；

31、最小外接矩形确定模块，用于对所述与深度图像尺寸相同的二值图像进行查找轮廓操作，得到多个轮廓，并拟合每个轮廓的最小外接矩形，得到多个最小外接矩形；

32、目标最小外接矩形确定模块，用于通过预设阈值排除多个最小外接矩形中的非目标最小外接矩形，得到目标最小外接矩形；

33、中心点位置确定模块，用于根据所述目标最小外接矩形确定锚网支护孔中心点的位置。

34、一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的基于深度图像的锚网支护孔中心点定位方法。

35、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度图像的锚网支护孔中心点定位方法。

36、根据本发明提供的具体实施例，本发明公开了以下技术效果：

37、本发明提供了一种基于深度图像的锚网支护孔中心点定位方法、系统及设备，通过对预处理后的深度图像进行局部区域划分，得到多个网格区域后，对每个网格区域进行自适应阈值分割再合并，得到与深度图像尺寸相同的二值图像；对与深度图像尺寸相同的二值图像进行查找轮廓操作，得到多个最小外接矩形；通过预设阈值排除多个最小外接矩形中的非目标最小外接矩形，得到目标最小外接矩形；最后根据目标最小外接矩形确定锚网支护孔中心点的位置，有效提高了矿井锚网支护孔中心点定位的鲁棒性和定位效率，使得自动锚护机器人在矿井任意光照条件下对于矿井锚网支护孔中心点的定位更加精准、快速。

技术特征：

1.基于深度图像的锚网支护孔中心点定位方法，其特征在于，包括：

2.根据权利要求1所述的锚网支护孔中心点定位方法，其特征在于，所述获取锚网的深度图像并进行预处理，得到预处理后的深度图像，具体包括：

3.根据权利要求1所述的锚网支护孔中心点定位方法，其特征在于，对所述预处理后的深度图像进行局部区域划分，得到多个网格区域，具体包括：

4.根据权利要求3所述的锚网支护孔中心点定位方法，其特征在于，对每个所述网格区域进行自适应阈值分割再合并，得到与深度图像尺寸相同的二值图像，具体包括：

5.根据权利要求4所述的锚网支护孔中心点定位方法，其特征在于，对所述与深度图像尺寸相同的二值图像进行查找轮廓操作，得到多个轮廓，并拟合每个轮廓的最小外接矩形，得到多个最小外接矩形，具体包括：

6.根据权利要求5所述的锚网支护孔中心点定位方法，其特征在于，所述通过预设阈值排除多个最小外接矩形中的非目标最小外接矩形，得到目标最小外接矩形，具体包括：

7.根据权利要求6所述的锚网支护孔中心点定位方法，其特征在于，根据所述目标最小外接矩形确定锚网支护孔中心点的位置，具体包括：

8.基于深度图像的锚网支护孔中心点定位系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1至7中任意一项所述的基于深度图像的锚网支护孔中心点定位方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于深度图像的锚网支护孔中心点定位方法。

技术总结
本发明公开一种基于深度图像的锚网支护孔中心点定位方法、系统及设备，涉及矿井安全技术领域，该方法包括：对预处理后的深度图像进行局部区域划分，得到多个网格区域；对每个网格区域进行自适应阈值分割再合并，得到与深度图像尺寸相同的二值图像；对与深度图像尺寸相同的二值图像进行查找轮廓操作，得到多个轮廓，并拟合每个轮廓的最小外接矩形，得到多个最小外接矩形；通过预设阈值排除多个最小外接矩形中的非目标最小外接矩形，得到目标最小外接矩形；最后根据目标最小外接矩形确定锚网支护孔中心点的位置。本发明提供的锚网支护孔中心点定位方法能够有效提高自动锚护机器人在矿井任意光照条件下对于锚网支护中心点定位的鲁棒性和工作效率。

技术研发人员：兰媛,王炜博,刘智飞,牛蔺楷,马晓宝,刘元铭,李聪明,李利娜
受保护的技术使用者：太原理工大学
技术研发日：
技术公布日：2024/1/13