玉米大豆复合种植模式下的玉米收获行线检测方法及系统

1.本发明属于农业机械智能化技术领域，尤其涉及一种玉米大豆复合种植模式下的玉米收获行线检测方法及其系统。


背景技术：

2.大豆、玉米是我国的大宗农产品，是保障我国粮食安全的重要作物。玉米大豆带状复合种植技术能充分利用光照、土地资源，缓解作物之间争地矛盾，增加土地产出率，已受到我国的大面积推广。玉米大豆带状复合种植模式下，玉米作物带中各株玉米之间的间距与株距都将缩小，玉米叶片相互遮挡，且作物带整体呈连续块状，难以精准定位玉米行线位置。玉米的对行收获能够有效降低玉米收获的损失，为了保证收获机在收玉米时玉米植株到摘穗锟中心线之间的距离保持在合理水平，需要机手掌握良好的驾驶技术，且长时间保持精神高度集中，易疲劳，无法持续长久。如果能够提供一种玉米行线检测方法，对玉米的精准收获会有很大帮助。
3.目前，玉米行线检测的研究主要集中在玉米单独种植的收获场景中，针对玉米大豆带状复合种植模式下玉米收获行线检测的研究鲜有报道，现有技术中有使用双目相机采集作物图像，通过作物颜色信息和深度信息获取玉米行线位置，也有使用偏差检测感器获取玉米行线位置。然而以上方法主要适用于传统玉米种植模式下玉米行距大，单株玉米相对独立好区分的情况，均无法精确提取玉米大豆带状复合种植模式下密集种植的玉米行线位置，有较大偏差，从而大大降低后续对行收获自动控制效果，导致收获损失增大，难以实现玉米不减产的生产目标。


技术实现要素：

4.针对上述技术问题，本发明的一个方式的目的之一是提供一种玉米大豆复合种植模式下的玉米收获行线检测方法，采用激光雷达获取作业场景的点云信息，经坐标变换后得出点云高度，区分玉米与大豆作物的点云之后提取roi区域，最后对点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线，能够实时精确的检测玉米大豆带状复合种植模式下玉米作物带中各行玉米的行线位置，为玉米大豆带状复合种植模式下玉米收获机智能控制提供基础数据。
5.本发明的一个方式的目的之一是提供一种实现所述玉米大豆复合种植模式下的玉米收获行线检测方法的系统，该系统包括点云处理模块、点云提取模块、roi提取模块、点聚类模块和行线获取模块；采用激光雷达获取作业场景的点云信息，经坐标变换后得出点云高度，区分玉米与大豆作物的点云之后提取roi区域，最后对点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线，能够实时精确的检测玉米大豆带状复合种植模式下玉米作物带中各行玉米的行线位置，为玉米大豆带状复合种植模式下玉米收获机智能控制提供基础数据。
6.注意，这些目的的记载并不妨碍其他目的的存在。本发明的一个方式并不需要实
现所有上述目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的。
7.本发明是通过以下技术手段实现上述技术目的的。
8.一种玉米大豆复合种植模式下的玉米收获行线检测方法，包括以下步骤：
9.步骤s1：获取并处理点云数据：利用激光雷达获取收获机前方作业场景的3d点云，处理3d点云数据，计算3d点云各点对应离地高度；
10.步骤s2：提取玉米点云集合：根据步骤s1计算的3d点云各点对应离地高度，区分大豆与玉米作物带，提取高于大豆部分的玉米作物3d点云集合；
11.步骤s3：提取玉米感兴趣区域roi：根据步骤s2中点云集合中点的分布提取玉米感兴趣区域roi；
12.步骤s4：获取点的聚类结果：利用粒子群算法对步骤s3中获取的roi区域中的点进行聚类，获取每行玉米对应点的聚类结果；
13.步骤s5：线性拟合得出玉米行线：利用最小二乘法对步骤s4聚类后各类别中的点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线。
14.上述方案中，所述步骤s1中处理3d点云数据的具体步骤为：根据激光雷达标定外参，利用坐标变换公式对收获机的世界坐标系与激光雷达坐标系进行匹配，获取收获机世界坐标系下3d点云。
15.进一步的，所述坐标变换公式如下：
[0016][0017]
其中，x，y，z为3d点云在收获机的世界坐标系下的三维坐标；
[0018]
x
′
，y
′
，z
′
为3d点云在激光雷达坐标系下的三维坐标；
[0019]
r为激光雷达坐标系到收获机的世界坐标系的旋转矩阵；
[0020]
t为激光雷达坐标系到收获机的世界坐标系的平移矩阵。
[0021]
上述方案中，所述步骤s1中计算3d点云各点对应离地高度采用公式如下：
[0022][0023]hi
＝h-y
[0024]
其中，l为收获机的世界坐标系下3d点云中各点至激光雷达的直线距离；
[0025]
x为收获机的世界坐标系下3d点云中各点至激光雷达的水平距离；
[0026]
y为收获机的世界坐标系下3d点云中各点至水平基准面的垂直距离；
[0027]
h为收获机的世界坐标系下激光雷达的离地高度；
[0028]hi
为收获机的世界坐标系下3d点云中各点的离地高度。
[0029]
上述方案中，所述步骤s2的具体步骤包括：
[0030]
步骤s2.1：设定相邻作物带的高度差距阈值η，根据步骤s1计算的3d点云各点离地高度，从一侧到另一侧依次将相邻作物带高度差小于高度差距阈值η的3d点云分别标记为同一个作物带，如果相邻的作物带高度差大于或等于高度差距阈值η，表示从一个作物带变化到另一个作物带，分别得到多个作物带的3d点云块；
[0031]
步骤s2.2：计算步骤s2.1的每个作物带的3d点云块的平均高度，并输入预设第一
高度区间和第二高度区间，且第一高度区间大于第二高度区间，将平均高度在第一预设区间的3d点云块判定为玉米作物带，将平均高度在第二高度区间的3d点云块判定为大豆作物带；
[0032]
步骤s2.3：根据大豆作物带平均高度hs与设定的高度波动阈值σ，提取所有高度大于(hs+σ)的玉米作物3d点云集合。
[0033]
上述方案中，所述步骤s3的具体步骤包括：
[0034]
步骤s3.1：构建与激光雷达安装点高度相同的水平基准面；
[0035]
步骤s3.2：将步骤s2获取的收获机的世界坐标系下玉米作物3d点云投影至所步骤s3.1构建的水平基准面；
[0036]
步骤s3.3：在水平基准面中根据点的分布动态提取玉米作物感兴趣区域roi。
[0037]
进一步的，所述步骤s3.3提取玉米作物感兴趣区域roi的公式如下：
[0038][0039][0040]
其中，rv为roi区域上下边界纵坐标；
[0041]
rh为roi区域左右边界横坐标；
[0042]
n为基准面中点的数量；
[0043]
vi为水平基准面中所有投影点的纵坐标；
[0044]hi
为水平基准面中所有投影点的横坐标；
[0045]
μ1为roi区域的宽度、μ2为roi区域的长度。
[0046]
上述方案中，所述步骤s4利用粒子群算法对roi区域中的点进行聚类的公式如下：
[0047][0048]
其中，xi，yi分别表示roi区域中每个点的横、纵坐标；
[0049]kii
，b
jj
为直线方程的系数；
[0050]
t表示点到直线方程的距离。
[0051]
上述方案中，所述步骤s5中利用最小二乘法对步骤s4聚类后各类别中的点进行线性拟合的公式如下：
[0052][0053]
其中，x0为各聚类类别中点的横坐标矩阵；
[0054]
y0为各聚类类别中点的纵坐标矩阵；
[0055]
k为平面多项式的系数矩阵。
[0056]
一种实现玉米大豆复合种植模式下的玉米收获行线检测方法的系统，包括点云处理模块、点云提取模块、roi提取模块、点聚类模块和行线获取模块；
[0057]
所述点云处理模块用于利用激光雷达获取收获机前方作业场景的3d点云，处理3d点云数据，计算3d点云各点对应离地高度；
[0058]
所述点云提取模块用于根据3d点云各点对应离地高度，区分大豆与玉米的作物
带，提取高于大豆部分的玉米作物3d点云集合；
[0059]
所述roi提取模块用于根据点云集合中点的分布提取玉米感兴趣区域roi；
[0060]
所述点聚类模块用于利用粒子群算法对roi区域中的点进行聚类，获取每行玉米对应点的聚类结果；
[0061]
所述行线获取模块用于利用最小二乘法对聚类后各类别中的点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线。
[0062]
与现有技术相比，本发明的有益效果是：
[0063]
根据本发明的一个方式，采用激光雷达获取作业场景的点云信息，经坐标变换后得出点云高度，区分玉米与大豆作物的点云之后提取roi区域，最后对点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线，能够实时精确的检测玉米大豆带状复合种植模式下玉米作物带中各行玉米的行线位置，为玉米大豆带状复合种植模式下玉米收获机智能控制提供基础数据。
[0064]
根据本发明的一个方式，提供了一种实现所述玉米大豆复合种植模式下的玉米收获行线检测方法的系统，能够实时精确的检测玉米大豆带状复合种植模式下玉米作物带中各行玉米的行线位置，为玉米大豆带状复合种植模式下玉米收获机智能控制提供基础数据。
[0065]
注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须具有所有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的效果。
附图说明
[0066]
图1是本发明一实施方式的流程示意图。
[0067]
图2是本发明一实施方式的收获机世界坐标系与激光雷达坐标系关系示意图。
[0068]
图3是本发明一实施方式的作业场景图。
[0069]
图4是本发明一实施方式的玉米作物3d点云集合图。
[0070]
图5是本发明一实施方式的玉米作物roi区域图。
[0071]
图6是本发明一实施方式的玉米作物收获行线图。
具体实施方式
[0072]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0073]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0074]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0075]
实施例1
[0076]
图1所示为所述玉米大豆复合种植模式下的玉米收获行线检测方法的一种较佳实施方式，
[0077]
一种基于激光雷达的玉米收获行线检测方法，包括以下步骤：
[0078]
步骤s1：获取并处理点云数据：利用激光雷达获取收获机前方作业场景的3d点云，处理3d点云数据，计算3d点云各点对应离地高度；
[0079]
步骤s2：提取玉米点云集合：根据步骤s1计算的3d点云各点对应离地高度，区分大豆与玉米作物带，提取高于大豆部分的玉米作物3d点云集合；
[0080]
步骤s3：提取玉米感兴趣区域roi：根据步骤s2中点云集合中点的分布提取玉米感兴趣区域roi；
[0081]
步骤s4：获取点的聚类结果：利用粒子群算法对步骤s3中获取的roi区域中的点进行聚类，获取每行玉米对应点的聚类结果；
[0082]
步骤s5：线性拟合得出玉米行线：利用最小二乘法对步骤s4聚类后各类别中的点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线。
[0083]
根据本实施例，优选的，所述步骤s1中处理3d点云数据的具体步骤为：根据激光雷达标定外参，利用坐标变换公式对收获机的世界坐标系与激光雷达坐标系进行匹配，获取收获机世界坐标系下3d点云。
[0084]
如图2所示，根据本实施例，优选的，将激光雷达安装于玉米收获机顶部，对应安装高度为2.62m；激光束朝向玉米收获机前方作业场景并保持俯角30
°
。
[0085]
其中，xw,yw,zw,ow对应收获机的世界坐标系，xc,yc,zc,oc对应激光雷达坐标系。并对已安装于玉米收获机顶部的激光雷达进行标定，获取相应外参矩阵r和t。
[0086]
根据本实施例，优选的，所述坐标变换公式如下：
[0087][0088]
其中，x，y，z为3d点云在收获机的世界坐标系下的三维坐标；
[0089]
x
′
，y
′
，z
′
为3d点云在激光雷达坐标系下的三维坐标；
[0090]
r为激光雷达坐标系到收获机的世界坐标系的旋转矩阵；
[0091]
t为激光雷达坐标系到收获机的世界坐标系的平移矩阵。
[0092]
根据本实施例，优选的，所述步骤s1中计算3d点云各点对应离地高度采用公式如下：
[0093]
[0094]hi
＝h-y
[0095]
其中，l为收获机的世界坐标系下3d点云中各点至激光雷达的直线距离；
[0096]
x为收获机的世界坐标系下3d点云中各点至激光雷达的水平距离；
[0097]
y为收获机的世界坐标系下3d点云中各点至水平基准面的垂直距离；
[0098]
h为收获机的世界坐标系下激光雷达的离地高度；
[0099]hi
为收获机的世界坐标系下3d点云中各点的离地高度。
[0100]
根据本实施例，优选的，所述步骤s2的具体步骤包括：
[0101]
步骤s2.1：设定相邻作物带的高度差距阈值η，高度差距阈值η可以根据玉米和大豆品种的理论高度差来确定；从一侧到另一侧依次将相邻作物带高度差小于高度差距阈值η的3d点云分别标记为同一个作物带，如果相邻的作物带高度差大于或等于高度差距阈值η，表示从一个作物带变化到另一个作物带，分别得到多个作物带的3d点云块；根据本实施例，优选的，设定高度波动阈值η＝60cm。
[0102]
步骤s2.2：计算步骤s2.1的每个作物带的3d点云块的平均高度，并输入预设第一高度区间和第二高度区间，且第一高度区间大于第二高度区间，将平均高度在第一预设区间的3d点云块判定为玉米作物带，将平均高度在第二高度区间的3d点云块判定为大豆作物带；
[0103]
作业场景图像如图3所示，玉米大豆带状复合种植模式下，所选玉米作物植株高度通常在260-280cm之间，所选大豆作物植株高度通常在55-100cm，因此根据点云中各点高度差距，可以判断玉米和大豆作物带的位置；
[0104]
步骤s2.3：根据大豆作物带平均高度hs与设定的高度波动阈值σ，根据本实施例，优选的，设定阈值σ＝40cm，提取所有高度大于(hs+40)的玉米作物3d点云集合。提取结果如图4所示。
[0105]
根据本实施例，优选的，所述步骤s3的具体步骤包括：
[0106]
步骤s3.1：构建与激光雷达安装点高度相同的水平基准面；
[0107]
步骤s3.2：将步骤s2获取的收获机的世界坐标系下玉米作物3d点云投影至所步骤s3.1构建的水平基准面；
[0108]
步骤s3.3：在水平基准面中根据点的分布动态提取玉米作物感兴趣区域roi。
[0109]
根据本实施例，优选的，所述步骤s3.3提取玉米作物感兴趣区域roi的公式如下：
[0110][0111][0112]
其中，rv为roi区域上下边界纵坐标；
[0113]
rh为roi区域左右边界横坐标；
[0114]
n为基准面中点的数量；
[0115]
vi为水平基准面中所有投影点的纵坐标；
[0116]hi
为水平基准面中所有投影点的横坐标；
[0117]
μ1为roi区域的宽度、μ2为roi区域的长度。
[0118]
如图5所示，根据本实施例，优选的，将μ1设为2.2m，将μ2设置为1.4m，结合基准面中
点的横、纵坐标，提取roi区域。
[0119]
根据本实施例，优选的，设定玉米行线周围区域的点到该行线的距离阈值t0＝20cm，随机初始化平面离散直线，计算平面中所有点到离散直线的距离，根据离散直线周围区域中小于距离阈值t0的点的分布密度，将点进行聚类。
[0120]
所述步骤s4利用粒子群算法对roi区域中的点进行聚类的公式如下：
[0121][0122]
其中，xi，yi分别表示roi区域中每个点的横、纵坐标；
[0123]kii
，b
jj
为直线方程的系数，通过粒子群算法对k
ii
，b
jj
进行优化，一开始通过随机初始化获取，然后再在计算过程中不断地优化，最终达到全局最优；
[0124]
t表示点到直线方程的距离。
[0125]
根据本实施例，优选的，所述步骤s5中利用最小二乘法对步骤s4聚类后各类别中的点进行线性拟合的公式如下：
[0126][0127]
其中，x0为各聚类类别中点的横坐标矩阵；
[0128]
y0为各聚类类别中点的纵坐标矩阵；
[0129]
k为平面多项式的系数矩阵。
[0130]
如图6所示，经过步骤s5得出的玉米作物收获行线图清晰可见，符合实际情况，可以为收获机辅助或自动对行收获提供重要参照数据，指导实际收获过程。
[0131]
本发明针对玉米大豆带状复合种植模式下玉米机械化收获时，玉米植株较传统种植方式更为密集，影响机手观察玉米行线，对行不准造成收获损失显著增加等问题，提供了一种玉米大豆带状复合种植模式下的玉米收获行线检测方法，包括：利用激光雷达获取收获机前方作业场景的3d点云，并计算3d点云各点对应离地高度；提取高于大豆部分的玉米作物3d点云集合pc；构建水平基准面，并将高于大豆的玉米作物3d点云投影至水平基准面；根据点的分布提取roi区域；利用粒子群算法对roi区域中的点进行聚类；利用最小二乘法对聚类后各类别中的点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线。本发明能够实时精确的检测玉米大豆带状复合种植模式下玉米作物带中各行玉米的行线位置，且对我国不同地区不同玉米大豆带状复合种植模式均具有良好的适用性，为玉米大豆带状复合种植模式下玉米收获机作业时自动对行智能控制提供基础数据。
[0132]
实施例2
[0133]
一种玉米大豆复合种植模式下的玉米收获行线检测系统，包括点云处理模块、点云提取模块、roi提取模块、点聚类模块和行线获取模块；
[0134]
所述点云处理模块用于利用激光雷达获取收获机前方作业场景的3d点云，处理3d点云数据，计算3d点云各点对应离地高度。具体的，点云处理模块根据激光雷达标定外参，利用坐标变换公式对收获机的世界坐标系与激光雷达坐标系进行匹配，获取收获机世界坐标系下3d点云。
[0135]
所述点云提取模块用于根据3d点云各点对应离地高度，区分大豆与玉米作物带，提取高于大豆部分的玉米作物3d点云集合。具体的，点云提取模块中设定相邻作物带的高
度差距阈值η，根据点云处理模块计算的3d点云各点离地高度，从一侧到另一侧依次将相邻作物带高度差小于高度差距阈值η的3d点云分别标记为同一个作物带，如果相邻的作物带高度差大于或等于高度差距阈值η，表示从一个作物带变化到另一个作物带，分别得到多个作物带的3d点云块；计算每个作物带的3d点云块的平均高度，并输入预设第一高度区间和第二高度区间，且第一高度区间大于第二高度区间，将平均高度在第一预设区间的3d点云块判定为玉米作物带，将平均高度在第二高度区间的3d点云块判定为大豆作物带；根据大豆作物带平均高度hs与设定的高度波动阈值σ，提取所有高度大于(hs+σ)的玉米作物3d点云集合。
[0136]
所述roi提取模块用于根据点云集合中点的分布提取玉米感兴趣区域roi；具体的，roi提取模块中构建与激光雷达安装点高度相同的水平基准面；将点云提取模块获取的收获机的世界坐标系下玉米作物3d点云投影至所步骤s3.1构建的水平基准面；在水平基准面中根据点的分布动态提取玉米作物感兴趣区域roi。
[0137]
所述点聚类模块用于利用粒子群算法对roi区域中的点进行聚类，获取每行玉米对应点的聚类结果。
[0138]
所述行线获取模块用于利用最小二乘法对聚类后各类别中的点进行线性拟合，得到玉米大豆复合种植带中各行玉米行线。
[0139]
该系统通过所述基于激光雷达的玉米收获行线检测方法控制，因此具有实施例1的有益效果，此处不再赘述。
[0140]
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0141]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。