一种基于激光雷达与图像传感器融合的果树多维定位方法

本发明涉及农业生产设备，尤其涉及一种基于激光雷达与图像传感器融合的果树多维定位方法。

背景技术：

1、智慧果园的自动化管理是现代农业发展的重要趋势，其中高效的导航机器人系统扮演着关键角色。这类系统需要具备准确识别定位并避开障碍物的能力，以确保机器人的安全和连续作业。然而，现有的障碍物识别与定位技术在果园环境中存在局限性，难以满足果园机器人导航的需求。

2、传统的障碍物识别与定位技术主要依赖于两种传感技术：图像传感器和激光雷达。图像传感器通过分析二维图像，利用图像识别算法识别物体类型，在识别物体类别方面表现优秀。然而，图像传感器仅能捕捉到物体的二维影像，无法直接提供物体在三维空间中的精确位置和深度信息，这对于三维空间中的导航和避障任务来说是不足的。例如，在果园环境中，图像传感器难以区分不同类型的果树，也难以准确判断果树的距离和位置，导致机器人无法进行精准的避障和路径规划。

3、激光雷达传感器通过发射激光束并测量其反射时间来构建周围环境的三维点云图，能够精确测定物体的位置、形状和大小，从而有效地进行三维空间的探测和障碍物定位。然而，激光雷达收集的数据缺乏足够的语义信息，无法区分不同类型的物体。

4、现有技术在单独使用图像传感器或激光雷达进行果树障碍定位时各有不足，无法满足果园机器人导航对高精度、高可靠性的需求。

5、因此，需要对现有的技术进行改进，以克服现有技术的缺陷。

技术实现思路

1、为克服相关技术中存在的问题，本发明的目的是提供一种基于激光雷达与图像传感器融合的果树多维定位方法，该基于激光雷达与图像传感器融合的果树多维定位方法通过融合激光雷达与摄像头，克服现有技术中存在的问题。

2、一种基于激光雷达与图像传感器融合的果树多维定位方法，包括：

3、果树视觉定位模型训练；

4、激光雷达和图像传感器的标定；

5、采集图像并导入果树视觉定位模型，输出果树定位框的二维坐标；

6、获取激光点云数据并将点云数据转为深度图；

7、根据深度图及果树定位框的二维坐标，确定果树定位框的三维坐标。

8、通过训练专门针对果树的视觉定位模型，并结合激光雷达获取的深度信息，能够有效地提高果树定位的精度和可靠性，从而实现精准的果树识别和定位。

9、优选的，所述根据深度图及果树定位框的二维坐标，确定果树定位框的三维坐标包括：

10、获取果树定位框的二维坐标；

11、根据果树定位框的二维坐标，通过中央定位公式确定果树树干中央坐标；

12、根据果树树干中央坐标及深度图的深度信息，确定果树定位框的三维坐标。

13、通过获取果树定位框的二维坐标，并利用中央定位公式确定果树树干中央坐标，可以有效地排除定位框边缘误差，提高定位精度。其次，根据果树树干中央坐标及深度图的深度信息，可以将二维坐标信息转化为三维空间坐标，从而准确地确定果树在三维空间中的位置。

14、优选的，所述获取激光点云数据并将点云数据转为深度图包括：

15、获取激光雷达和图像传感器的标定数据；

16、将激光雷达坐标系下的点云数据通过坐标转换公式转换为图像传感器坐标系下的深度图；

17、获取图像传感器的像素范围，滤除深度图在像素范围外的深度数据。

18、获取激光雷达和图像传感器的标定数据，可以确保激光雷达和图像传感器之间的空间关系准确，为后续的坐标转换提供可靠的依据。将激光雷达坐标系下的点云数据通过坐标转换公式转换为图像传感器坐标系下的深度图，可以将三维点云信息投影到图像传感器图像平面，为果树定位提供深度信息。获取图像传感器的像素范围，滤除深度图在像素范围外的深度数据，可以有效地去除无效数据，提高深度图的精度和效率。

19、优选的，所述激光雷达和图像传感器的标定包括：

20、图像传感器内参标定；

21、激光雷达和图像传感器之间的外参标定；

22、所述图像传感器内参标定包括，绕标定板进行拍摄并将拍摄图形导入matlab进行内参计算，确定图像传感器的内参矩阵；

23、所述激光雷达和图像传感器之间的外参标定包括，利用点激光雷达的云数据和图像传感器图像后进行最小二乘法的拟合标定。

24、图像传感器内参标定，可以准确地确定图像传感器的内参矩阵，从而有效地去除镜头畸变对图像造成的影响，为后续的图像处理和分析提供准确的视觉数据。激光雷达和图像传感器之间的外参标定，可以将激光雷达点云准确地变换到图像传感器坐标系下，实现点云与图像的对齐和同步。

25、优选的，所述根据深度图及果树定位框的二维坐标，确定果树定位框的三维坐标后还包括：

26、将果树定位框的三维坐标，通过坐标逆转换公式，转换为激光雷达坐标系下的三维坐标。

27、优选的，若果树树干中央坐标处无深度信息，则将果树树干中央坐标向四周扩充偏置量并获取扩充范围内的深度信息；

28、根据扩充范围内的总深度信息与深度点的数量取平均值，得到最终果树树干中央坐标的深度信息。

29、由于激光雷达点云的稀疏性，不一定图像传感器的每个像素点都有对应的深度信息，通过扩充果树树干中央范围，保证定位数据的准确性和可靠性。

30、优选的，所述果树视觉定位模型训练包括：

31、获取包含果树的训练图像；

32、标记训练图像中的树干位置；

33、将标记好的训练图像导入ai模型进行训练。

34、通过获取包含果树的训练图像，为模型训练提供丰富的样本数据。并通过标记训练图像中的树干位置，为模型训练提供准确的标签信息，帮助模型学习识别果树树干的特征。将标记好的训练图像导入ai模型进行训练，可以训练出能够识别和定位果树的视觉定位模型。

35、优选的，所述坐标转换公式包括：

36、

37、

38、所述zc为图像传感器坐标系下的光轴方向；

39、所述kc为图像传感器的内参矩阵；

40、所述fx和fy为图像传感器焦距参数；

41、所述cx和cy为图形主点坐标；

42、所述rcl和tcl为激光雷达坐标转换为图像传感器坐标系的旋转平移矩阵。

43、优选的，所述坐标逆转换公式包括：

44、

45、所述pl为果树定位框在激光雷达坐标系下的三维点坐标；

46、所述xl为果树定位框在激光雷达坐标系下的x轴坐标；

47、所述yl为果树定位框在激光雷达坐标系下的y轴坐标；

48、所述zl为果树定位框在激光雷达坐标系下的z轴坐标；

49、所述r为从图像传感器坐标系到激光雷达坐标系的旋转矩阵；

50、所述t为从图像传感器坐标系到激光雷达坐标系的平移向量；

51、所述xc为果树定位框在图像传感器坐标系下的x轴坐标；

52、所述yc为果树定位框在图像传感器坐标系下的y轴坐标；

53、所述zc为果树定位框在图像传感器坐标系下的z轴坐标。

54、优选的，所述中央定位公式包括：

55、x＝xtl+(xbr-xtl)/2

56、y＝ybr+(ytl-ybr)/2

57、x为果树树干中央的x轴坐标；

58、y为果树树干中央的y轴坐标；

59、xtl为果树定位框的左上角x轴坐标；

60、ytl为果树定位框的左上角y轴坐标；

61、xbr为果树定位框的右上角x轴坐标；

62、ybr为果树定位框的右上角y轴坐标。

63、优选的，所述ai模型为yolov8。

64、yolov8作为一种先进的目标检测模型，具有速度快、精度高、易于部署等优点，能够快速识别和定位果树，能够满足果园机器人导航系统对实时性的要求。

65、本发明的有益效果为：

66、本发明提供的一种基于激光雷达与图像传感器融合的果树多维定位方法，该基于激光雷达与图像传感器融合的果树多维定位方法通过训练专门针对果树的视觉定位模型，能够有效识别果树并输出其在图像中的二维坐标，对激光雷达和图像传感器进行标定，可以将激光雷达获取的点云数据准地转换到图像传感器坐标系下，确保点云数据与图像数据的精确对应，从而提高三维定位的精度。将激光雷达获取的原始点云数据转换为深度图，为图像中的二维像素坐标提供深度信息，能够有效地将二维坐标信息扩展到三维空间，提高定位精度。结合激光雷达获取的深度信息，能够有效地提高果树定位的精度和可靠性，从而实现精准的果树识别和定位，能够为果园机器人提供准确的定位信息，提高作业效率和安全性。