一种基于锚杆网络的钻锚机器人单目视觉定位方法

本发明涉及煤矿巷道机器人定位，具体涉及一种基于锚杆网络的钻锚机器人单目视觉定位方法。

背景技术：

1、目前，我国煤炭开采技术不断实现自动化，但是巷道支护作业仍然存在一些技术难题，巷道支护技术是煤炭安全开采关键环节，随着对煤炭需求量的增加，开采和支护效率也必须相对应的提高。掘进工作面机器人群包括掘、支、锚、运一体化的智能机组，并要求每一部分都具有位姿自动检测、轨迹优化、自主纠偏、自主定位等特点。其中，钻锚机器人是专门用于煤矿井下和其他井巷工程中巷道安装锚杆的支护类设备，可以代替工人完成锚杆运输、打孔、装配等作业，有效地解决了工人劳动强度大等问题，但目前大多数钻锚作业都是通过人工驾驶钻锚机器人移动以及工作机构位姿调整完成钻锚台车定位，由此可见其定位精度和效率无法保证。因此，针对钻锚机器人机身定位困难等问题，研究采用单目视觉传感器技术建立钻锚机器人机身定向定位方法，建立适用于井下复杂环境的钻锚机器人机身定位定向系统，提高定位精度、容错率，对实现煤矿巷道钻锚机器人定向定位、移动效率具有重大应用价值与研究意义，同时也为掘进工作面机器人群的定向定位奠定了基础。

2、中南大学何清华教授基于钻锚机器人运动学模型提出了车体定位的方案，通过设立激光标靶，建立关节传感器参数与车体相对隧道断面的位姿解算型，实现车体的精确定位。但该方案的系统误差大，需要以实际测量获取总体误差数据，分别分析各环节的误差原因与误差影响系数，并在此基础上井下定位误差纠偏猜可实现精确定位。西安科技大学的马宏伟等人提出一种基于多传感器融合的煤矿巷道龙门式钻锚机器人的精确定位方法(cn112114327a)。该钻锚机器人由履带行走机构和龙门框架组成，进行钻锚作业时，会出现钻锚机器人与掘进机干涉的情况，因此将机身定位分为前移定位和后移定位。但是在钻锚机器人自主定位的过程中，在前移定位中，由于雷达测距传感器与机身采用刚性连接，并被测工作面凹凸不平，出产生误差从而影响；后移定位时，激光雷达通过扫描得到的图像为点云图，因此选取特征点的不同也会影响到定位精确度，并且该方法忽略了部分物理因素对测量结果的干扰，例如锚杆表面凹凸不平、粗细、锚杆安装误差对激光扫描的影响。除此之外，多传感器组合定位的测量方法涉及了多种数据融合，增加了定位测量系统的复杂性。山西潞安环保能源开发股份有限公司漳村煤矿的研究人员提出一种掘锚连续自动化快速掘进工艺(cn103899319a)，该工艺将端头支架作为临时支护设备，而端头支架通常几何尺寸较大，架体笨重且前移困难，造成临时支护所用时间较长，效率较低。同时该工艺将永久支护以端头支架为界分为迎头支护和后支护两部分，利用锚杆钻机装置进行支护作业，其中，虽然后支护可以和掘进机掘进并行作业，但迎头支护和掘进机的掘进在时间会冲突，不能同时进行，所以并不能真正意义上实现掘进和永久支护的并行作业。此外，该工艺中掘进和支护设备自动化程度较低，掘进效率不高，施工人员面临的工作环境很危险。

3、因此，本发明针对钻锚机器人机身定位困难、工作环境粉尘大、光线差等问题，该发明建立了一种基于单目视觉的钻锚机器人机身定向定位方法，建立了一套适用于煤矿井下复杂环境的钻锚机器人机身定向定位系统，其定位精度满足工程实际的要求，对实现煤矿巷道钻锚机器人定向定位、井下工作效率以及其它移动机器人自主定向定位具有重大应用价值与研究意义。根据当前煤矿井下巷道环境，提出了视觉推算定位算法，在无地图构建的煤矿巷道的环境中依据锚杆网络进行辅助识别定位，对实现煤矿巷道无人化和采掘智能化工作面奠定理论基础，真正代替了传统的人工驾驶和操控掘进机以的作业方式，更具智能化也更安全，节约了人力成本，也为解决深部煤层无人化采掘装备的无人化研究提供了一种解决方法，为实现钻锚机器人以及其它井下移动装备智能化化定位控制、自主导航以及移动轨迹规划等综采工作面智能化建设奠定基础。

技术实现思路

1、针对复杂工况环境下的钻锚机器人机身定位困难、干扰大、精度低、效率低等问题，本发明提供了一种基于锚杆网络的钻锚机器人单目视觉定位方法。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于锚杆网络的钻锚机器人单目视觉定位方法，该方法包括视觉测量模块、图像处理模块以及视觉机身定向定位模块；

4、所述视觉测量模块，该模块由视觉相机、计算机设备、补光灯、vimba viewer以及visual studio code和opencv的图像处理平台组成；vimba viewer通过相对应的接口与相机连接，其主要功能是完成图像的采集和存储；基于visual studio code和opencv的图像处理平台其主要功能是对采集到的图像进行预处理和特征点的提取及坐标的存储。

5、所述图像处理模块，基于visual studio code和opencv的图像处理平台对采集到的图像进行预处理和特征点的提取；图像预处理包括图像增强以及滤波处理。特征点提取包括特征提取、直线拟合以及特征追踪。

6、所述机身定向定位模块，该模块首先需要建立相应的坐标系，对视觉相机基于matalab进行标定，从而得到钻锚机器人的初始定位，进而推算出航向角以及机身位置，最终求解得到钻锚机器人的绝对位置和姿态。

7、下面简述钻锚机器人的定位流程：

8、(1)建立坐标系统：

9、(1a)相机与车身刚性联结，相机镜头方向竖直向上，光轴垂直于车身履带系统，理想情况下，光轴始终垂直于巷道顶板和地面。在巷道地面中轴线上建了世界坐标系owxwywzw，其原点ow为激光指向仪在巷道地面的投影，激光指向仪为原点有利于位置坐标的统一，世界坐标系取决于掘进路线，激光指向仪所指的方向是掘进方向，用owzw轴表示，垂直于掘进方向，水平向右为水平方向，用owxw表示，垂直于owxwywzw平面竖直向上为竖直方向，用owyw表示；

10、(1b)钻锚机器人车身坐标系obxbybzb与相机坐标系重合，用相机坐标系表示。相机坐标系ocxcyczc的原点是相机光心，用oc表示，钻锚机器人前进方向为相机的前进方向，用oczc表示，光轴方向为相机的竖直方向，用ocyc表示，垂直于ocxcyczc平面向右为水平方向，用ocxc表示。

11、(1c)图像坐标系也称为像素坐标系，用ofuv表示，其尺度为图像中的像素，像素坐标系原点为图像左上角第一个像素，沿原点向右为ofu轴，沿原点向下为ofv轴，光轴垂直穿过像素坐标系的中心；

12、(1d)确定机身坐标系原点在巷道坐标系中的位置坐标和机身坐标系相对世界坐标系旋转角度；

13、(1e)确定单目视觉系统像素坐标系与巷道坐标系之间的关系；

14、(2)图像预处理与特征点识别：

15、(2a)针对井下黑暗条件，为了增强锚杆端头特征点相对于巷道面界面的对比度，使锚杆端头特征点更为清晰，采用直方图均衡化算法进行图像增强；

16、(2b)针对钻锚机器人低频振动和运动过程中的图像模糊，通过最小均方误差滤波即维纳滤波对图像进行滤波处理；

17、(2c)结合巷道锚杆端头的圆形特征，基于hough变换对锚杆端头进行检测，提取出圆形边界和圆心坐标；

18、(2d)基于最小二乘法和基于ransac算法对图像范围内提取出的锚杆端头特征点进行直线拟合，作为相对定位基准线；

19、(2e)通过特征点在图像坐标位置的变化，来实现特征点追踪，追踪原理如说明书附图4，在钻锚机器人连续缓慢移动过程中，第i次采集图像边缘特征点的图像齐次坐标为mi1＝[ui1,vi1,1]t，mi2＝[ui2,vi2,1]t，第i+1次采集图像中对应特征点的齐次坐标为mi+11＝[ui+11,vi+11,1]t，mi+12＝[ui+12,vi+12,1]t，在钻锚机器人的在行进过程中，同一边缘特征点的横向坐标将会不断的减小或者跳出视域范围的情况，若在两张图像中其边缘特征点ui+11>ui1，则相应边缘特征点跳出视域，及第i+1采样中的mi+11与mi2相对应，反之则特征点仍在视域范围内，及第i+1采样中的mi+11与mi1相对应；

20、(3)视觉推算机身定向定位：

21、(3a)选取巷道顶板5个点为特征点并测量在巷道坐标系坐标，记为(xw1～5，zw1～5)。以掘进机激光指向仪打出方向巷道前进方向线作为基准，进行第1次图像采集，如图2(a)所示；

22、(3b)求取基准线在相机坐标系的位姿，通过坐标变换求解车身坐标系在巷道坐标系的姿态；特征点1的图像坐标(u1,v1)t作为位置推算特征点，求取车体坐标系在巷道坐标系的位置，实现初始定位；

23、(3c)第i次采样:重新选取巷道顶板4个点为特征点图像坐标记用(ui2～5,vi2～5)t，并基于ransac算法进行直线拟合，计算出钻锚机器人的航向角θi，并选取新的特征点1作为位置推算点坐标为(ui1,vi1)t，如图2(b)所示；

24、(3d)第i+1次采样；重新选取顶板沿巷道方向4个特征点像素坐标记为(ui+12～5,vi+12～5)t，利用ransac算法进行直线拟合，计算出钻锚机器人航向角θi+1，两次采样之间旋转角δθ＝θi+1-θi，通过特征点1在此次采样中的图像坐标(ui+1,vi+1)t计算两次采样之间的平移量(δpxi，δpzi)，如图2(c)所示；

25、(4)建立改进推算定位模型：

26、如图3所示，相邻图像之间的航向偏角δψ＝ψi+1-ψi＝θi+1-θi，特征点1在相邻图像中像素坐标分别为(ui1，vi1)，(ui+11，vi+11)；特征点2下在相邻图像中的像素坐标为(ui2，vi2)，(ui+12，vi+12)，由特征点1、2形成的直线在图像中的偏角等分别为ψi、ψi+1，钻锚机器人在采集相邻图像时候的航向角分别为θi，θi+1，可得如下方程：

27、

28、第i次采集像素坐标系与第i+1采集图像坐标系之间的关系为

29、

30、其中

31、两次采样像素坐标系之间的平移向量为

32、

33、

34、

35、将式(4)和式(5)联立得式(6)

36、

37、从式(6)和式(2)可得式(7)

38、

39、由式(7)求得

40、

41、由式(5)得出

42、

43、且根据式(5)

44、

45、则相机坐标系相对于巷道坐标系的位姿

46、

47、相比于以前的煤矿巷道钻锚机器人定向定位方法，本发明的有益效果是：

48、(1)本发明中，运用单目视觉传感器，获得信息量大，价格便宜，能够在极低的成本控制下实现煤矿巷道钻锚机器人定向定位。

49、(2)本发明采用煤矿巷道的锚杆网络环境特征进行辅助识别定位，结合单目视觉传感器，在煤矿巷道的定位中是首批探索者，对实现煤矿巷道无人化和采掘智能化工作面奠定理论基础，真正代替了传统的人工驾驶和操控掘进机以的作业方式，更具智能化也更安全，节约了人力成本。

50、(3)本发明一种基于锚杆网络的钻锚机器人单目视觉定位方法，可以在煤矿巷道实现自动识别与启停功能，实现了掘支锚运中锚支的智能化短板，可以实现临时支护作业的全自动化，使得临时支护的工作效率更高，智能化程度更高，也更安全。