基于激光雷达与可见光融合的钻杆接缝高度测量方法与流程

本发明涉及智能化石油装备领域，特别涉及一种基于激光雷达与可见光融合的钻杆接缝高度测量方法。

背景技术：

1、随着全球石油钻井市场竞争日益激烈,钻井承包商对于提升石油钻井装备的自动化水平,以达到缩短钻井周期、提速提效、节省成本的目的的的需求越来越高。为此越来越多的常规钻井装备都向着自动化方向发展，通过智能控制、机械化以代替人工高强度体力工作，以达到在降低工人劳动强度的同时，降低因恶劣环境、疲劳大意等造成的危险事故发生率。

2、铁钻工是安装在钻台上进行上扣和卸扣的钻井自动化工具，可以适应各种类型、各种尺寸的钻杆。铁钻工可以安全、快速、平稳的实现钻杆连接、松扣和紧扣。铁钻工实现各种型号的钻杆的上卸扣，通过机械化的作业方式大幅度减少了钻工的劳动强度，提高了钻井作业效率。

3、目前的铁钻工在上卸扣作业时,大多靠钻工目视引导铁钻工调节高度,通过手势、对讲等方式指挥司钻房操作工调整铁钻工的高度,使得主钳、背钳总成的中间位置能与钻杆的接缝高度一致。也有通过视频监控摄像头安装于铁钻工前方，司钻工通过观察监控画面进行作业。上述作业流程使得钻工长时间处于高强度工作中，而且作业效率较低，存在人为的主观判断，因此需要通过智能化手段进一步改进。

4、兰州理工大学虽然在2009年提出了“基于视觉的铁钻工控制系统的设计”，在铁钻工中利用视觉反馈和超声波传感器，融合二维图形信息与距离信息初步实现了对钻杆的识别与定位，但并未涉及到接缝高度的测量。

技术实现思路

1、本发明的目的提供基于激光雷达与可见光融合的钻杆接缝高度测量方法，解决上述现有技术问题中的一个或多个。

2、本发明提出基于激光雷达与可见光融合的钻杆接缝高度测量方法，包括：

3、同时获取图像数据和三维点云数据，图像数据和三维点云数据中均包含钻杆信息；

4、对钻杆卡箍进行识别，确定钻杆卡箍位置；

5、区分钻杆当前的工况，工况包括取钻和下钻两种工况；

6、在下钻工况下，利用三维点云数据对接缝进行识别，计算获取接缝相对于钻台平面的高度；

7、在取钻工况下，利用图像数据对接缝进行识别，计算获取接缝相对于钻台平面的高度。

8、在一些实施方式中，

9、图像数据和三维点云数据通过可见光与激光雷达融合装置获取，可见光与激光雷达融合装置包括可见光模组和激光雷达，其中可见光模组用于采集图像数据，激光雷达用于采集三维点云数据；

10、在可见光与激光雷达融合装置组装好且未安装时对其内的可见光模组和激光雷达进行标定，标定的内容包括可见光模组的内参、可见光模组与雷达的外参；

11、在可见光与激光雷达融合装置安装后需要对整体进行标定。

12、在一些实施方式中，

13、可见光模组的内参采用棋盘格的方式采用张正友标定法进行标定，得到x轴和y轴的焦距fx和fy,图像中心沿x轴和y轴的像素坐标cx和cy,径向畸变系数k1、k2、k3,切向畸变系数p1、p2,设可见光模组坐标系下一个点的三维坐标为(xc，yc，zc)，计算得到该点在可见光模组坐标系下的像素坐标u、v的公式如下：

14、x＝xc/zc

15、y＝yc/zc

16、

17、xcorrected＝x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)

18、ycorrected＝y(1+k1r2+k2r4+k3r6)+2p2xy+p1(r2+2y2)

19、u＝fxxcorrected+cx

20、v＝fyycorrected+cy；

21、可见光模组与雷达的外参标定时，获取标定板的矩形角点在可见光模组坐标系下和雷达坐标系下的坐标，计算雷达坐标系与可见光模组坐标系的相对旋转半径r和相对平移两t，标定完成后雷达坐标系中的一个点(xl，yl，zl)转换至可见光模组坐标系下的公式为：

22、

23、在一些实施方式中，在可见光与激光雷达融合装置安装后需要对整体进行标定的过程为计算在当前雷达坐标系下钻台平面的法向量(ax，ay，az)和平面上的一个点(xp，yp，zp)，通过空间滤波，选择一个区域的点云进行平面的拟合，平面方程为ax*x+ay*y+az*z+β＝0，拟合的损失函数为通过平面拟合直接得到平面的法向量，手动设置xp和yp的值，通过平面方程得到zp的值，得到了平面上的一个点的坐标(xp，yp，zp)。

24、在一些实施方式中，对钻杆卡箍进行识别，确定钻杆卡箍位置的过程包括如下步骤：

25、s3.1、选择含有钻杆区域的雷达空间坐标范围，提取钻杆的三维点云数据；

26、s3.2、根据高度范围上的步长λ和区间范围δ划分区间，提取该区间的三维点云数据，具体为zmin到zmax，选择满足|zmin+i*λ|<δ，0≤i*λ<zmax-zmin的三维点云数据为第i个区间的点云；

27、s3.3、对第i个区间的点云进行平面上的圆拟合得到拟合方程如下：得到第i个区间点云的中心，其三维坐标为(xci，yci，zmin+i*λ)；

28、s3.4、对所有区间圆拟合得到圆心进行直线估计，得到钻杆圆柱的中心线；

29、s3.5、计算所有三维点云数据中的点到钻杆中心线的距离，通过事先设定的取值范围过滤掉取值范围外的点，剩余的点即为钻杆内点；

30、s3.6、对钻杆内点按照s3.2的方式进行区间的划分，对对应区间的内点到钻杆中心线的距离进行求平均值，求得的平均值即为该区间到钻杆中心线的距离di；

31、s3.7、对所有区间的di进行统计，设定阈值，利用阈值将di分成两类，得到三维点云数据上的钻杆凸起部分；

32、s3.8、对钻杆凸起部分的点云基于相机和雷达标定的结果进行投影，得到可见光模组坐标系下的二维像素坐标，计算三维点云在可见光模组坐标系下的外接框，该外接框的上边缘和下边缘即为钻杆接箍位置。

33、在一些实施方式中，区分钻杆当前的工况的方法包括如下步骤：

34、s4.1、使用三维点云数据，通过点云高度切分、圆拟合的方式获取钻杆中心线的参数表示；

35、s4.2、通过三维点云数据至钻杆中心线的距离统计获取钻杆凸起部分的三维点云数据和图像数据；

36、s4.3、基于s4.2中对于钻杆凸起部分的识别结果，对凸起部分不同区间的点云，统计点云到钻杆中心线的距离，

37、若距离存在明显变小的范围，则判定未下钻工况，反之则判定为取钻工况。

38、在一些实施方式中，在下钻工况下，利用三维点云数据对接缝进行识别，计算获取接缝相对于钻台平面的高度的过程为：

39、通过s4.3中凸起部分不同区域的点云到钻杆中心线的距离，获取距离明显变小的范围内的点云数据形成凹陷部分的点云区域，对凹陷部分的点云数据进行统计，计算其均值即为当前雷达坐标系下接缝的位置记为(xf，yf，zf),通过之前可见光与激光雷达融合装置的标定结果计算接缝位置在钻台平面的投影即为接缝相对于钻台平面的高度，接缝相对于钻台平面的高度hf的计算公式为：

40、hf＝ax*(xf-xp)+ay*(yf-yp)+az*(zf-zp)。

41、在一些实施方式中，在取钻工况下，利用图像数据对接缝进行识别，利用对钻杆卡箍进行识别结果获取图像数据中钻杆凸起部分的图像区域，去除接箍部分的图像，截取剩余区域的图像，获取接缝处的图像区域，然后将三维点云数据投影到相机坐标系下，选择接缝处的图像区域对应的三维点云数据，获取接缝对应的三维坐标记为(xf，yf，zf),通过之前可见光与激光雷达融合装置的标定结果计算接缝位置在钻台平面的投影即为接缝相对于钻台平面的高度，接缝相对于钻台平面的高度hf的计算公式为：

42、hf＝ax*(xf-xp)+ay*(yf-yp)+az*(zf-zp)。

43、一种应用上述基于激光雷达与可见光融合的钻杆接缝高度测量方法的铁钻工控制系统，铁钻工控制系统包括可见光与激光雷达融合装置、信号处理计算机、集控plc以及网络交换机，可见光与激光雷达融合装置、信号处理计算机以及集控plc均与网络交换机连接，其中

44、可见光与激光雷达融合装置安装在钻杆前的3-7米的范围内，正对着钻杆的方向，用于获取包含被测量的钻杆信息的图像数据和三维点云数据；

45、信号处理计算机内包含图像处理模块、三维点云处理模块以及算法模块，

46、图像处理模块用于通过网络和交换机对可见光模组获取的视频进行解码，获取实时的图像数据；

47、三维点云处理模块用于通过网络和交换机获取激光雷达采集到的三维点云数据；

48、算法模块用于运算融合处理算法，进行接缝识别和钻杆接箍高度的运算，并将运算的结果通过交换机发送给集控plc；

49、集控plc用于控制铁钻工工作。

50、在一些实施方式中，铁钻工控制系统的工作方法包括如下步骤：

51、集控plc驱动铁钻工带动钻杆到达等待识别位后，向信号处理计算机发送接缝识别的指令；

52、信号处理计算机在接收到集控plc发出的接缝识别的指令后，获取当前时刻的图像数据和三维点云数据；

53、进行钻杆卡箍识别；

54、区分工况，计算获取接缝相对于钻台平面的高度；

55、将计算获取的接缝相对于钻台平面的高度发送给集控plc；

56、集控plc根据接缝相对于钻台平面的高度驱动铁钻工到达对应的高度。

57、本发明所述的基于激光雷达与可见光融合的钻杆接缝高度测量方法的优点为：

58、通过将可见光模组采集的图像数据于激光雷达采集的三维点云数据融合，准确的识别处接箍和接缝的位置，有助于引导铁钻工快速到达接缝所在高度进行上卸扣动作，同时通过实时识别和自动测量的手段有效的提高了钻井作业取钻和下钻时的工作效率，减少了认为引导的环节，提高了作业的可靠性与安全性。