一种甘蔗末梢位置高度估计方法

本发明涉及图像处理，尤其是一种甘蔗末梢位置高度估计方法。

背景技术：

1、蔗是温带和热带农作物，是制造蔗糖的原料，且可提炼乙醇作为能源替代品。全世界有一百多个国家出产甘蔗。甘蔗中含有丰富的糖分、水分，还含有对人体新陈代谢非常有益的各种维生素、脂肪、蛋白质、有机酸、钙、铁等物质。为了降低甘蔗收获含杂率，需要对甘蔗的末梢进行切割，甘蔗收割机对甘蔗的末梢位置切割时，通过驾驶员双目观察具体末梢位置进行手动调控末梢割刀位置，同时驾驶员还需手动调控地面割刀切割尾部，人工同时调控容易造成末梢位置切割区域误差较大，导致甘蔗收获杂质率过高。

技术实现思路

1、为了解决上述问题，本发明提供一种甘蔗末梢位置高度估计方法，通过对甘蔗末梢区域的高度进行识别，为甘蔗收割机切割位置提供调节参数，以准确对甘蔗末梢位置进行切割。

2、为了实现上述目的，本发明采用的技术方案为：

3、一种甘蔗末梢位置高度估计方法，包括下述步骤：

4、s1.设置双目深度摄像头及彩色摄像头的位置，以使所述双目深度摄像头及所述彩色摄像头的主光轴相互平行；

5、s2.对所述双目深度摄像头及所述彩色摄像头进行标定和校准，以获得所述双目深度摄像头及所述彩色摄像头的内参和畸变参数；

6、s3.采用所述双目深度摄像头和所述彩色摄像头拍摄甘蔗上半部，以获得甘蔗的深度图片及彩色图片；

7、s4.通过立体匹配方法处理双目深度摄像头采集的所述深度图片中甘蔗末梢区域左右图像，以获得甘蔗末梢区域的深度图像；

8、s5.根据甘蔗茎秆和蔗叶颜色的差异处理彩色摄像头采集的所述彩色图片中甘蔗末梢区域图片，以获得甘蔗末梢位置及甘蔗顶部蔗叶的轮廓图像；

9、s6.对所述双目深度摄像头及所述彩色摄像头进行配准，以使所述深度摄像头及所述彩色摄像头处于同一个世界坐标系下，且不同摄像头采集的图片中对应同一空间位置的点一一对应，以使所述双目深度摄像头及所述彩色摄像头的图片信息融合；

10、s7.根据双目视差估计获得所述配准彩色深度图像甘蔗末梢位置的高度。

11、进一步地，在步骤s2中，所述彩色摄像头利用棋盘法标定，所述双目深度摄像头利用红外光源照射的棋盘法进行立体校准。

12、进一步地，在步骤s4中，通过所述双目深度摄像头的两个视图中末梢区域的特征，建立左右图像的对应关系，以在左图中的每一个像素点在右图中找到其对应点，并且通过水平移动像素矩形框时计算匹配代价，确定像素匹配的相似程度，以获得计算拍摄的左右图像的视差，且通过左右图像的视差获得所述深度图像。

13、进一步地，在步骤s5中，所述轮廓图像的获得方法包括下述步骤：

14、a1.通过对所述彩色图片进行颜色转换获得h分量图像；

15、a2.通过对所述h分量图像进行绿色分量提取获得二值化图像；

16、a3.通过对所述二值化图像进行形态学操作获得形态学操作图像；

17、a4.通过对所述形态学操作图像进行轮廓检测及去除大连通区域获得所述轮廓图像。

18、进一步地，在步骤a1中，将所述彩色图片的rgb图像转换为hsv图像，且根据绿色在hsv空间中的范围，提取hsv分量中的h分量图像，以获得h分量图像；

19、在步骤a2中，通过预先设计的双阈值算法确定hsv的上边界标数组值和下边界数组值，以分割所述h分量图像中的分割蔗叶和茎节；设置lower数组及upper数组，当h分量图像中的像素各通道值在[lower(i)，upper(i)]之间输出才为255，颜色为白色，否则令其为0，颜色为黑色，且根据hsv图像二值化计算出二值图像，

20、

21、其中，g(x,y)是二值图像；f(x,y)是原图像；lower是数组的上边界阈值；upper是数组的下边界阈值；

22、在步骤a3中，根据形态学闭运算消除所述二值图像的消除噪声和填充空洞，以获得所述形态学操作图像；

23、在步骤a4中，通过canny算子对所述形态学操作图像中末梢位置与顶端之间的大连通区域去除，以获得所述轮廓图像。

24、进一步地，所述配准包括下述步骤：

25、b1.根据小孔成像模型获得所述深度摄像头坐标下某点的世界坐标：

26、pir＝hirpir公式(2.1)

27、其中，pir为在深度摄像头坐标下某点的世界坐标；pir为该点在像平面上的投影坐标，其中x、y单位为像素，z等于深度值，单位为毫米；hir为深度摄像头的内参矩阵；

28、根据rgb摄像头的内参矩hrgb对prgb投影，获得该点对应的投影rgb坐标prgb，且prgb的计算方式为：

29、prgb＝hrgbprgb公式(2.2)

30、b2.根据所述深度摄像头的坐标和rgb摄像头的坐标不同，通过旋转平移变换prgb与pir进行联系，以获得

31、prgb＝rpir+t公式(2.3)

32、其中，prgb为在rgb摄像头坐标下同一点的世界坐标；hrgb为rgb摄像头的内参矩阵，r为旋转矩阵，t为平移向量；

33、b3.根据外参矩阵分别对深度摄像头和rgb摄像头进行变换：

34、pir＝rirp+tir                                              公式(2.4)

35、prgb＝rrgbp+trgb                                            公式(2.5)

36、其中，rir，rrbg为旋转矩阵；tir，trbg为平移向量，外参矩阵为表示将一个世界坐标系下的点p变换到摄像头坐标系；

37、b4.根据公式(2.3)及公式(2.4)，将p通过pir，rir，tir表示，获得：

38、

39、根据公式(2.6)及公式(2.2)，将pir变换为prgb，以获得：

40、

41、

42、通过旋转矩阵和平移向量后，已将深度摄像头和彩色摄像头处于同一个世界坐标系下，且根据轮廓点的像素信息分割深度图像，获得甘蔗末梢区域的所述配准彩色深度图像。

43、进一步地，在步骤b2中，构造pir时，将原始的像素坐标x，y乘以深度值，rgb像素坐标将prgb除以z分量，且z分量的值为该点到rgb摄像头的距离。

44、进一步地，在步骤s7中，甘蔗末梢位置为世界坐标系中的一点，根据甘蔗末梢位置与双目相机光心构成第一三角形，根据甘蔗末梢位置与其成像点构成第二三角形，且所述第一三角形与所述第二三角形为相似三角形，根据所述第一三角形与所述第二三角形的比例关系获得甘蔗末梢位置的高度坐标。

45、进一步地，pl-pr-p构成所述第一三角形，ol-or-p构成所述第二三角形，所述第一三角形与所述第二三角形的比例关系为：

46、

47、

48、

49、其中，p为甘蔗末梢位置，其坐标为(xw,yw,zw)；ol和or为左右相机的光心；b为ol与or之间的距离；pl和pr分别为p在左右像面上的成像点；xr、xl分别为pl、pr距离各自像平面边缘的像素距离；f为两个相机的焦距；l为左右相机的像面。

50、进一步地，视差为xl与xr的差，且根据公式(3.1)、公式(3.2)及公式(3.3)获得zw的值：

51、

52、其中，d为视差，d＝xl-xr；

53、根据三角形相似定理，获得甘蔗末梢位置的高度坐标：

54、

55、

56、

57、其中，y为pl及pr的纵坐标，yw为甘蔗末梢位置的高度坐标。

58、本发明的有益效果是：

59、由于甘蔗田间的复杂环境导致获取的深度图像较差，本发明的彩色摄像头可对甘蔗的末梢区域进行预处理，获得甘蔗末梢连通区域的轮廓，深度摄像头获取甘蔗末梢区域的深度图像，将彩色摄像头与深度摄像头进行配准获取甘蔗末梢区域的彩色深度图像，通过立体匹配获取视差图；同时深度图像的获取主要是利用双目视觉相机，双目深度摄像系统是利用同一物体在不同摄像系统中成像不同和摄像头的相对固定位置，进而计算出物体所在位置的三维世界坐标。本发明的甘蔗末梢高度测量方法简单，可靠性高，判断时间短，成本低，能够有效提高甘蔗末梢切割的准确度及效率，在获得甘蔗末梢高度后，为甘蔗收割机切割位置提供调节参数，以准确对甘蔗末梢位置进行切割。