一种玉米抽雄作业的目标三维位置获取方法与流程

1.本发明涉及智慧农业技术领域，具体地说，涉及一种玉米抽雄作业的目标三维位置获取方法。


背景技术：

2.目前大田玉米都以杂交玉米为主，杂交玉米种子是由父本和母本杂交获得，但因为玉米是雌雄同株体，因此需要在母本开花前，将其雄蕊去除，即为去雄作业。去雄作业的效果直接影响种子品质，在玉米制种领域是最关键的环节之一。目前玉米去雄以人工去雄为主，机械去雄为辅。其中人工去雄对劳动力依赖度较高，且效率较低；而传统机械去雄存在抽净率低的问题(抽净率：已被抽取的雄蕊占作业地块雄蕊总数的比率)。
3.中国发明公开号为201911404383.8的专利公开了目标物三维定位方法与装置，该专利需使用专业建模设备对目标物进行建模，再使用摄像机拍摄的图像进行4次映射得到目标物的三维位置；然而该专利所述的方案需要摄像机位置固定，还需要专业的计算机建模软件对目标物进行建模，建模耗时长，应用领域局限性较大，不适于应用在移动机械上对目标物进行三维位置的即时确定。中国发明公开号为201811038446.8的专利公开了一种基于视觉测量动态物体三维坐标的装置，该专利采用水平摄像头和垂直摄像头拍摄并计算物体三维坐标；但是仅凭两路摄像头图像确定三维坐标，对目标物的特征要求较高，且需要摄像头角度固定，对摄像头的垂直和水平精准度要求较高，对于玉米雄蕊等遮挡物较多且不易水平拍摄的目标物，该方案并不适用。中国发明公开号为202110299442.0的专利公开了基于毫米波雷达与单目相机的三维目标检测系统及方法，该专利采用单目相机获取目标特征，毫米波雷达获取物体深度信息，从而获得物体的三维位置信息；虽然采用毫米波雷达结合单目相机确定目标物三维信息的方式较为精准，但是需要目标物具备表面积大、特征明显等要求，例如：起伏的地面、房屋等效果较好，对于玉米雄蕊、电线、棉花花苞等细小、尖锐物体的识别能力较差。
4.然而，目前却没有结构简单且能应用于玉米抽雄作业的目标三维位置获取的装置及方法。


技术实现要素：

5.本发明的目的在于提供一种玉米抽雄作业的目标三维位置获取方法，以解决上述背景技术中提出的问题。
6.为实现上述技术问题的解决，本发明的目的之一在于，提供了一种玉米抽雄作业的目标三维位置获取方法，包括如下步骤：
7.s1、图像采集设备依次对目标物进行连续的拍照；
8.s2、图像识别模块接收目标照片并识别出玉米雄蕊在照片中的二维位置；
9.s3、抽雄执行机构根据该玉米雄蕊的二维位置，移动到该二维位置处，同时向下移动；
10.s4、随着激光对管的下移，当激光对管的激光被玉米雄蕊遮挡即可确定玉米雄蕊的高度信息，从而获取玉米雄蕊的三维位置；
11.s5、根据玉米品种，执行机构再下移一定距离，直到预设的最佳抽取位置；
12.s6、抽雄执行机构开始执行抽雄动作，夹紧目标物并抽出，完成一次完整的玉米去雄工作；
13.s7、无人车移动平台按照预设程序向前/后移动，同时依次重复上述步骤s1～s6的过程，直至完成玉米大田的全部玉米去雄工作。
14.作为本技术方案的进一步改进，所述s5中，执行机构下移到预设的最佳抽取位置的具体方法包括如下步骤：
15.s5.1、根据玉米品种，了解该品种玉米雄蕊的长度规格；
16.s5.2、在抽雄执行机构的控制器的控制程序内，以玉米雄蕊的长度数值作为执行机构下移的预设参数；
17.s5.3、执行机构从玉米雄蕊的三维位置处，向下移动预设的长度距离，到达预设的最佳抽取位置；
18.s5.4、其中，最佳抽取位置应为玉米雄蕊下端的粗壮部分，执行机构在此位置进行动作可以有效防止拽断雄蕊而导致雄蕊抽取不完全。
19.本发明的目的之二在于，提供了一种玉米抽雄作业的目标三维位置获取装置，包括装置平台，所述装置平台的底端并排设有摄像头和抽雄执行机构，所述抽雄执行机构滑动连接在所述装置平台的底面上，所述抽雄执行机构包括水平滑轨，所述水平滑轨的底端滑动连接有垂直滑轨，所述垂直滑轨上滑动连接有机械抓取装置，所述机械抓取装置的下端处外侧设有激光对管，所述装置平台的顶端并排设有图像识别模块和控制器。
20.作为本技术方案的进一步改进，所述装置平台可搭载于无人移动平台，并在玉米大田的玉米植株上方按照预设的路线和方向进行移动。
21.作为本技术方案的进一步改进，所述图像识别模块与所述摄像头的位置相对应，所述图像识别模块通过信号线与所述摄像头信号连接。
22.作为本技术方案的进一步改进，所述控制器与所述抽雄执行机构的位置相对应，所述控制器分别通过信号线与所述图像识别模块、所述抽雄执行机构及所述激光对管信号连接。
23.本发明的目的之三在于，提供了一种玉米抽雄作业系统，包括：
24.集中控制单元、行走驱动单元、位置判识单元和作业执行单元；所述集中控制单元、所述行走驱动单元、所述位置判识单元与所述作业执行单元依次通过网络通信连接；所述集中控制单元用于通过计算机处理器全自动地管控整个玉米抽雄作业装置的运行过程；所述行走驱动单元用于通过行走驱动器驱动无人移动平台按照预设程序在玉米大田内进行移动；所述位置判识单元用于通过采集玉米植株的图片、对图片进行处理识别来获取玉米雄蕊的二维位置，并通过激光对管反馈的信号来准确判断玉米雄蕊的三维位置；所述作业执行单元用于根据照片判识的玉米雄蕊二维位置，通过控制器控制执行机构准确执行去雄操作；
25.其中，所述位置判识单元包括照片采集模块、图像处理模块、二维判断模块、三维定位模块；
26.其中，所述作业执行单元包括定点比对模块、位置调整模块、信号反馈模块、去雄作业模块。
27.本发明的目的之四在于，提供了一种玉米抽雄作业系统的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的玉米抽雄作业的目标三维位置获取方法的步骤。
28.本发明的目的之五在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的玉米抽雄作业的目标三维位置获取方法的步骤。
29.与现有技术相比，本发明的有益效果：
30.1.该玉米抽雄作业的目标三维位置获取方法使用ai图像识别技术识别目标物的二维位置，再通过激光对管获取其第三维位置，使用机械臂全自动地完成去雄作业，并可使用无人车移动平台实现整个作业机构的全自动行进，可以快速、准确地获取表面积很小的目标物三维位置，与其适配的装置整体结构简单、操作方法便捷；
31.2.该玉米抽雄作业的目标三维位置获取方法相较于传统人工操作，可以有效提高操作精准度，缩短用时，提高作业效率、降低使用成本，适应于小目标物，具有良好的应用扩展性，且可以有效提高抽净率，并提高制种玉米的经济效益。
附图说明
32.图1为本发明的整体方法流程框图；
33.图2为本发明中的整体方法流程图；
34.图3为本发明中的局部方法流程图之一；
35.图4为本发明中的局部方法流程图之二；
36.图5为本发明中玉米抽雄作业的目标三维位置获取装置的正视结构示意图；
37.图6为本发明的示例性电子计算机装置结构示意图。
38.图中：
39.1、装置平台；
40.2、摄像头；
41.3、图像识别模块；
42.4、抽雄执行机构；41、水平滑轨；42、垂直滑轨；43、机械抓取装置；
43.5、激光对管；
44.6、控制器。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.实施例1
47.如图1-图4所示，本实施例的提供了一种玉米抽雄作业的目标三维位置获取方法，
包括如下步骤：
48.s1、图像采集设备依次对目标物进行连续的拍照；
49.s2、图像识别模块接收目标照片并识别出玉米雄蕊在照片中的二维位置；
50.s3、抽雄执行机构根据该玉米雄蕊的二维位置，移动到该二维位置处，同时向下移动；
51.s4、随着激光对管的下移，当激光对管的激光被玉米雄蕊遮挡即可确定玉米雄蕊的高度信息，从而获取玉米雄蕊的三维位置；
52.s5、根据玉米品种，执行机构再下移一定距离，直到预设的最佳抽取位置；
53.s6、抽雄执行机构开始执行抽雄动作，夹紧目标物并抽出，完成一次完整的玉米去雄工作；
54.s7、无人车移动平台按照预设程序向前/后移动，同时依次重复上述步骤s1～s6的过程，直至完成玉米大田的全部玉米去雄工作。
55.本实施例中，s2中，图像识别模块接收目标照片并识别出玉米雄蕊在照片中的二维位置的具体方法包括如下步骤：
56.s2.1、图像识别模块接收一张带有目标物的照片；
57.s2.2、图像识别模块对照片图像进行降维降噪处理；
58.s2.3、图像识别模块对照片图像进行灰度处理；
59.s2.4、图像识别模块对照片图像进行二值化处理；
60.s2.5、使用ai图像识别技术识别图像中玉米雄蕊的位置；
61.s2.6、使用一个固定窗口在玉米雄蕊图像附近进行任意方向上的滑动，通过检测角点来识别玉米雄蕊的位置，并通过若干角点的位置确定玉米雄蕊在图像中所占区域面积；
62.s2.7、以玉米雄蕊在图像中位置区域的中心点的坐标作为目标物的二维位置。
63.具体地，s2.2中，对照片图像进行降维降噪处理时采用pca降维算法，其步骤如下：
64.输入：训练样本集$d＝{x
{(1)},x
{(2)},...,x
λ
{(m)}}，低维空间维数d
′
$；
65.算法过程：
66.step1、对所有样本进行中心化，即去均值操作：
67.step2、计算样本的协方差矩阵xx
t
；
68.step3、对协方差矩阵xx
t
做特征值分解；
69.step4、取最大的d
′
个特征值所对应的特征向量w1,w2,...,wd′
；
70.step5、将原样本矩阵与投影矩阵相乘：x
·
w，即为降维后的数据集x
′
，其中x为m
×
n维，w＝[w1,w2,...,wd′
]为n
×d′
维；
[0071]
输出：降维后的数据集x
′
。
[0072]
其中，协方差矩阵的表达式如下：
[0073]
(1)特征xi与特征xj的协方差为：
[0074]
[0075]
其中，表示特征xi，xj的第k个样本中的取值，而则是表示两个特征的样本均值；
[0076]
可以看出，当xi＝xj时，协方差即为方差；
[0077]
(2)对于一个只有两个特征的样本来说，其协方差矩阵为：
[0078][0079]
当特征数为n时，协方差矩阵为n
×
n维的矩阵，且对角线为各特征的方差值。
[0080]
其中，特征向量与特征值的定义为：
[0081]
对于矩阵a，若满足aζ＝λζ，则称ζ是矩阵a的特征向量，而λ则是矩阵a的特征值；将特征值按照从大到小的顺序进行排序，选择前k个特征值所对应的特征向量即为所求投影向量。
[0082]
具体地，s2.4中，对照片图像进行二值化处理时采用大津阈值法，其算法表达式如下：
[0083]
对于图像i(x,y)，前景(即目标)和背景的分割阈值记作t，属于前景的像素点数占整幅图像的比例记为ω0，其平均灰度μ0；背景像素点数占整幅图像的比例为ω1，其平均灰度为μ1；图像的总平均灰度记为μ，类间方差记为g；
[0084]
假设图像的背景较暗，并且图像的大小为m
×
n，图像中像素的灰度值小于阈值t的像素个数记作n0，像素灰度大于阈值t的像素个数记作n1，则有：
[0085]
ω0＝n0/m
×nꢀꢀꢀ
(1)；
[0086]
ω1＝n1/m
×nꢀꢀꢀ
(2)；
[0087]
n0+n1＝m
×nꢀꢀꢀ
(3)；
[0088]
ω0+ω1＝1
ꢀꢀꢀ
(4)；
[0089]
μ＝ω0*μ0+ω1*μ1ꢀꢀꢀ
(5)；
[0090]
g＝ω0(μ
0-μ)
λ
2+ω1(μ
1-μ)
λ2ꢀꢀꢀ
(6)；
[0091]
将式(5)代入式(6)，得到等价公式：
[0092]
g＝ω0ω1(μ
0-μ1)
λ2ꢀꢀꢀ
(7)；
[0093]
式(7)为类间方差，采用遍历的方法得到时类间方差g最大的阈值t，即为所求。
[0094]
具体地，s2.5中，检测角点的具体算法过程为：
[0095]
算法基本思想为：使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点；
[0096]
算法表达式为：
[0097]
g＝sum(w(x,y)*[i(x+u,y+v)-i(x,y)]^2)
[0098]
式中，[u,v]为窗口的偏移量，(x,y)为窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置，w(x,y)为窗口函数，最简单情形就是窗口内的所有像素所对应的w权重系数均为1；
[0099]
设定为以窗口中心为原点的二元正态分布，则将上式进行泰勒展开(其中，i(x+u,y+v)相当于导数，则有：
[0100]
g＝sum(w(x,y)*[i(x,y)+u*ix+v*iy-i(x,y)]^2)
[0101]
＝sum(w(x,y)*(u*u*ix*ix+v*v*iy*iy))
[0102]
＝sum(w(x,y)*[u,v]*[ix^2,ix*iy]*[u,v]*[ix*iy,iy^2])
[0103]
＝[u,v]*sum(w(x,y)*[ix^2,ix*iy]*[ix*iy,iy^2])
[0104]
＝[u,v]*m*[u,v]
[0105]
其中，[u,v]应为常数，可以拿到求和外面进行计算；
[0106]
进而计算det(m)，其为矩阵m的行列式的值取值为一个标量，写作det(a)或|a|，其中，矩阵m表示的空间的单位面积/体积等；
[0107]
计算trace(m)，其为矩阵m的迹，即矩阵m的对角线元素求和，用字母t来表示这种算子，他的学名叫矩阵的迹；
[0108]
设m的两个特征值为lamd1，lamd2，
[0109]
det(m)＝lamd1*lamd2
[0110]
trace(m)＝lamd1+lamd2
[0111]
进而有：
[0112]
r＝det(m)-k*(trace(m))^2
[0113]
其中k是常量，一般取值为0.04～0.06，当r大于一个阈值，则认为这个点是角点。
[0114]
其中，图像特征类型主要包括：边缘(即物体边缘)、角点(即感兴趣关键点，也称为边缘交叉点)、斑点(即感兴趣区域，也称为交叉点形成的区域)。
[0115]
其中，因为角点是两个边缘的连接点(交点)，它代表了两个边缘变化的方向上的点，而图像梯度有很高的变化，这种变化是可以用来帮助检测角点的。
[0116]
进而，通过上述计算，可以得出下列结论：当特征值都比较大时，即窗口中含有角点；当特征值一个较大，一个较小时，窗口中含有边缘；当特征值都比较小时，窗口处在平坦区域。
[0117]
此外，值得说明的是，玉米雄蕊在水平方向上两个维度坐标的获取方式包含但不限于传统图像识别方法和ai图像识别方法，现有技术中已存的较为成熟且精确的方法均可应用于本发明中，本发明的目标三维位置获取方法中，关键点在于可通过激光对管或与激光对管原理相似的装置，快速准确地获取目标的第三维位置。
[0118]
本实施例中，s5中，执行机构下移到预设的最佳抽取位置的具体方法包括如下步骤：
[0119]
s5.1、根据玉米品种，了解该品种玉米雄蕊的长度规格；
[0120]
s5.2、在抽雄执行机构的控制器的控制程序内，以玉米雄蕊的长度数值作为执行机构下移的预设参数；
[0121]
s5.3、执行机构从玉米雄蕊的三维位置处，向下移动预设的长度距离，到达预设的最佳抽取位置；
[0122]
s5.4、其中，最佳抽取位置应为玉米雄蕊下端的粗壮部分，执行机构在此位置进行动作可以有效防止拽断雄蕊而导致雄蕊抽取不完全。
[0123]
值得说明的是，上述方法具有以下多种优势：
[0124]
凸显时间优势：现有确定目标物三维位置的方案，在相同精准效果下用时长，本方法用时短，可应用于农业领域，针对制种玉米去雄、果实采摘等场景，具有时间优势；
[0125]
适应小目标物：现有确定目标物三维位置较为领先的方案普遍采用毫米波雷达结合图像识别，但是毫米波雷达对探测到的小体积目标物效果不佳，且图像识别本身容易产生误差，本方法可精准识别诸如玉米雄蕊、棉花顶端、果实等形状复杂、体积较小的目标物，制种玉米田对于制种玉米去雄的要求严格，本方案可以满足制种玉米精准去雄的要求；
[0126]
提高经济效益：制种玉米去雄作业窗口期短(一般仅为一个月时间)，传统去雄机械的去雄装置高度统一，不能随玉米去雄过程动态调整去雄装置的高度，导致高度低的雄蕊没有被抽取，高度过高的雄蕊被连带茎秆一起去除，效果较差，本方法可以让去雄装置快速确定制种玉米雄蕊的三维位置并实现精准去雄，不会遗漏雄蕊或多拔掉玉米叶，避免能源消耗和时间浪费，提高制种玉米的经济效益；
[0127]
应用扩展性好：本方法可延伸至果实摘取等场景。如草莓、苹果、香蕉、葡萄等。
[0128]
实施例2
[0129]
如图5所示，本实施例的提供了一种玉米抽雄作业的目标三维位置获取装置，包括装置平台1，装置平台1的底端并排设有摄像头2和抽雄执行机构4，抽雄执行机构4滑动连接在装置平台1的底面上，抽雄执行机构4包括水平滑轨41，水平滑轨41的底端滑动连接有垂直滑轨42，垂直滑轨42上滑动连接有机械抓取装置43，机械抓取装置的下端处外侧设有激光对管5，装置平台1的顶端并排设有图像识别模块3和控制器6。
[0130]
本实施例中，装置平台1可搭载于无人移动平台，并在玉米大田的玉米植株上方按照预设的路线和方向进行移动，既可以准确进行去雄操作，也可以不损伤玉米的植株，提高去雄效率及效果。
[0131]
本实施例中，图像识别模块3与摄像头2的位置相对应，图像识别模块3通过信号线与摄像头2信号连接，便于及时将摄像头2采集的目标物照片传输到图像识别模块3并进行处理。
[0132]
本实施例中，控制器6与抽雄执行机构4的位置相对应。
[0133]
进一步地，通过滑动连接在装置平台1底面的水平滑轨41和垂直滑轨42的共同作用，水平滑轨41可以在装置平台1底面左右滑动，垂直滑轨42可以沿着水平滑轨41前后滑动，机械抓取装置43可以沿着垂直滑轨42上下滑动，从而机械抓取装置43可以移动到其活动范围内的任意位置，便于准确进行去雄操作。
[0134]
具体地，根据使用需求，机械抓取装置43可以更换为吸附装置、探照设备等，使该装置可用于对目标物有触碰或抓取需求的场景，如制种玉米的精准快速去雄、果实采摘等，可以完成短时间多次、精准的目标物三维位置的识别与抓取工作。
[0135]
此外，值得说明的是，本发明中，抽雄执行机构4的结构并不固定，其执行机构组件可选用具备二维运动能力的滑台模组，也可选用类似人胳膊的机械臂，但不限于此，所有具备三维运动能力的机械结构均可适用于本发明的抽雄执行机构4中。
[0136]
进一步地，激光对管5搭载于触碰或抓取目标物的设备末端，当机械抓取装置43位于玉米雄蕊的正上方并逐渐向下移动时，激光对管5位于玉米雄蕊的两侧，从而可以通过激光被遮挡作为判断雄蕊位置的依据。
[0137]
其中，激光对管5可改为漫反射式激光传感器，其他结构不变，也可实现上述功能。
[0138]
此外，控制器6分别通过信号线与图像识别模块3、抽雄执行机构4及激光对管5信号连接，用于根据反馈的精确位置准确控制抽雄执行机构4的执行过程。
[0139]
本发明还提供了一种玉米抽雄作业系统，包括：
[0140]
集中控制单元、行走驱动单元、位置判识单元和作业执行单元；集中控制单元、行走驱动单元、位置判识单元与作业执行单元依次通过网络通信连接；集中控制单元用于通过计算机处理器全自动地管控整个玉米抽雄作业装置的运行过程；行走驱动单元用于通过行走驱动器驱动无人移动平台按照预设程序在玉米大田内进行移动；位置判识单元用于通过采集玉米植株的图片、对图片进行处理识别来获取玉米雄蕊的二维位置，并通过激光对管反馈的信号来准确判断玉米雄蕊的三维位置；作业执行单元用于根据照片判识的玉米雄蕊二维位置，通过控制器控制执行机构准确执行去雄操作；
[0141]
其中，位置判识单元包括照片采集模块、图像处理模块、二维判断模块、三维定位模块；
[0142]
其中，作业执行单元包括定点比对模块、位置调整模块、信号反馈模块、去雄作业模块。
[0143]
具体地，该系统装载于计算机处理器内，该计算机处理器可以装载于装置平台1上，并分别通过信号线与图像识别模块3和控制器6信号连接，该计算机处理器也可以安置于远端控制机房内，并分别通过无线通讯技术与与图像识别模块3和控制器6信号连接，实现远程的控制操作。
[0144]
如图6所示，本发明还提供了一种玉米抽雄作业系统的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
[0145]
处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的玉米抽雄作业的目标三维位置获取方法。
[0146]
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0147]
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的玉米抽雄作业的目标三维位置获取方法的步骤。
[0148]
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面玉米抽雄作业的目标三维位置获取方法的步骤。
[0149]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储与计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0150]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。