一种用于作物田除草机具的导航线提取方法
【专利摘要】一种用于作物田除草机具的导航线提取方法，包括采集作物图像，根据所采集到的图像确定兴趣区，将兴趣区转换为二值图像，获得二值图像的上下边缘点，根据所述两个边缘点和作物行宽度求得三个可能的上端点和下端点，分别连接三个可能的上端点和下端点，得到9条可能的导航线，从中选出最终导航线。该方法解决了自然条件下玉米田间农机具导航线提取速度慢、可靠性差等缺点。
【专利说明】一种用于作物田除草机具的导航线提取方法
【技术领域】
[0001]本发明涉及一种图像处理技术，特别涉及一种用于作物田除草机具的导航线提取方法。
【背景技术】
[0002]具有高度自动化的或智能化的农业机械近年来发展迅速，在降低农业生产的劳动强度、缓解农村劳动力不足、降低农产品生产成本等方面起到了较大作用。上述高度自动化或智能化的农业机械在作业(如除草、播种、收获等作业)过程中，大部分需要自动确定作业路线，即实现导航功能。导航功能直接影响高度自动化或智能化农业机械的效率、可靠性和稳定性。农业导航技术难度较大，按种类来分有GPS导航、惯性导航及机器视觉导航等方式。由于机器视觉导航方式具有信号探测范围广、信息完整等优点，随着电子技术的快速发展，取得了较广泛的应用。
[0003]农业机械的机器视觉导航功能包括路径规划、避障与探测定位，它主要依赖于计算机在一定先验知识的指导下对图像进行有效的加工和分析，从而对农田景物场景以正确解释，为导航过程提供信息来源。多个不同功能的图像处理单元就可以集成为一个解决一定问题或实现一定功能的视觉导航系统，使田间作业的农业机械能够准确地沿着作物的行、列或其它标志物行走，并且能识别工作的对象。
[0004]在农田复杂的自然场景中，图像分割往往因光照、阴影等噪声困扰而变得十分困难，无法取得较为满意、稳定的图像分割效果。农田中早期农作物，植株相对矮小，整齐的按行种植，行与行之间基本平行。同时，农作物一般呈绿色，作物行在整体上呈现直线形状或者小曲率曲线，作物行连续，检测到的导航特征在短时间隔内不会发生突变，人们常常提取图像中的作物行作为导航线。
[0005]农业机械的视觉导航系统，必须同时满足实时性、鲁棒性的要求。实时性要求视觉系统的图像处理，必须与农业机械行驶速度同步；鲁棒性则要求机器人能对不同的道路环境、复杂的作业面状况(如行走线的宽度、颜色、纹理变化)以及变化的气候条件(日照及景物阴影、黄昏与夜晚、阴天等)均具有良好的适应性。国内外研究人员提出了多种作物行直线提取方法，最小二乘法和Hough变换是检测直线常用的两种方法。最小二乘法虽然能够快速提取直线，实时性强，但是对图像噪声敏感，当图像在杂草较多的情况下，不能准确地提取导航线，并且，在多行作物时候，难以直接应用最小二乘法进行直线拟合。Hough变换基于点一线的对偶性原理，虽然算法鲁棒性较好，但是最大的缺点就是算法的时间复杂度较大，难以满足实时性要求较高的农田作业环境。因此，寻求一种同时满足实时性和鲁棒性的导航线提取方法，具有很强的实用性。
[0006]目前，国内外有许多关于作物行直线提取的研究报道，例如:国内本领域技术人员研究了自然环境下作物图像，采用霍夫变换(Hough Transform)的方法，提取作物行直线作为导航线。霍夫变换算法鲁棒性好，稳定可靠，但缺点是非常耗时，难以保证实时性要求。有研究人员利用最小二乘法提取导航线，用最小二乘法能够快速检测出作物行，但当图像噪声较大时，检测的结果有较大的误差，同时，当图像中包含多行作物时候，不能直接采用最小二乘法进行直线提取。此外，更重要的一点是，国内外对基于机器视觉的导航线提取主要是用于农业机械(主要是拖拉机或自行走农业机器人)的自动行驶。出于安全方面的考虑，此类无人驾驶的自走式农业机械目前应用较少。而除草机具、施肥机具或中耕机具等此类农业机具在作业时，需要拖拉机驾驶员具有较高的驾驶技术，驾驶路线不能有较大偏差，否则将出现伤害作物等情况，造成驾驶员劳动强度大。为改变上述弊端，有必要对农机具进行机器视觉导航，导航系统能够根据作物行的位置自动计算出横向偏差值，通过液压系统或其它动力系统自动调整除草铲等农机具作业部件的位置，这样，即使驾驶员的行使路线有一定偏差，导航系统能够自动进行调整，避免伤害作物，降低了驾驶员的劳动强度。导航系统进行自动调整的依据是农机具相对于作物行横向偏差量，提取作物行所在直线是计算横向偏差的基础。
[0007]和用于拖拉机无人驾驶为目的的导航方法有所不同，用于农机具导航要求横向偏差的计算具有较强的实时性，因此，图像中作物行的长度较短。
[0008]除草农机具一般同时进行多行作业，由于玉米行与行位置平行，因此在机器视觉导航时，可根据某一特定行的作物进行直线提取，并计算农机具的横向偏差。在采集到的农田场景图像中除导航特征以外的信息是无效信息，不但浪费了大量的处理时间，而且增加了场景的复杂程度，还可能产生对场景中其它直线特征的误检。通过设置兴趣区ROI (Region OfInterest)实现选择注意机制，只对兴趣区ROI中的图像进行处理，可以大大减少图像处理的工作量，降低场景的复杂性，突出导航特征。
[0009]杂草的颜色和玉米等作物的颜色类似，将土壤、杂草等背景和作物进行分割，是提取作物行直线的基础。本发明提出了一种结合垂直投影法和计算特定区域内白色点数目的方法的导航线提取算法。
【发明内容】
[0010]本发明提供一种用于玉米田除草机具的导航线提取方法，利用该方法能够较好地提高导航线的提取速度，解决除草机具导航线提取实时性差的问题。
[0011]本发明公开了一种用于玉米田除草机具的导航线提取方法，包括，
[0012]采集作物图像，使特定作物行与水平方向呈60?80角度，且保证此行作物约3米左右长度位于图像中；
[0013]根据所采集到的图像确定兴趣区；
[0014]将兴趣区转换为二值图像；
[0015]获得二值图像的上下边缘点；
[0016]根据所述两个边缘点和作物行宽度求得三个可能的上端点和下端点；分别连接三个可能的上端点和下端点，得到9条可能的导航线，与可能的导航线距离1/2作物行的两条直线在图像中构成一条形区域，9条可能的导航线对应9个条形区域，利用计算条形区域内白色像素点数量的方法确定最终导航线。
[0017]其中，所述兴趣区的确定方法为:兴趣区为包含特定作物行的梯形，其中梯形上下两边为图像上下边缘的一部分，梯形左右两边接近与特定作物行相邻的作物行，且不包含相邻作物行。[0018]另外，二值图像的获得方法为:首先将兴趣区内图像利用下式转换为灰度图像:
[0019]Igray(i，j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311 (I)
[0020]其中，1、j为像素的行列坐标，G(i, j)、R(i, j)和B(i，j)分别为图像(i，j)处像素G、R、B颜色分量的灰度值，Igray (i,j)为转换后图像(i，j)处像素的灰度值；
[0021]再将灰度图像转换为二值图像，所述灰度图像转换为二值图像的转换阈值利用剖线法求得。
[0022]其中，转换的阈值采用如下剖线法获得:在采集到的原图像找到一条横向直线，要求直线穿过作物、杂草背景部分，并对该直线上的像素利用公式(I)计算各个像素的灰度值，这些灰度值将形成一条曲线，作物部分的像素灰度值和杂草部分像素的灰度值会有区另IJ，在曲线上表现为作物部分曲线高于杂草背景部分曲线，在作物部分曲线和杂草部分曲线的中间取一灰度值，即为所求的阈值t，利用该阈值t，可将兴趣区的灰度图像转换为二值图像。
[0023]更进一步地，二值图像的上下边缘点的获得方法为:将二值图像根据图像高度平均分为上下两部分，分别对上下两部分的白色像素点进行垂直投影，得到上下两条投影曲线，每条曲线各有一个最大值，由两条投影曲线的两个最大值处分别向二值图像的上下边缘做垂线，得到两个点，可分别称为上边缘点和下边缘点。
[0024]此外，三个可能的上端点和下端点的获取方式为:由上边缘点水平向右移动1/2玉米行宽度，可得到一个可能的上端点，由该可能的上端点水平向右移动1/2玉米行宽度，得到另外一个可能的上端点，上边缘点和所述两个可能的上端点，为三个可能的上端点；由下边缘点水平向左移动1/2玉米行宽度，可得到一个可能的下端点，由该可能的下端点水平向左移动1/2玉米行宽度，得到另外一个可能的下端点，下边缘点和所述两个可能的下端点，为三个可能的下端点。
[0025]该方法具有简单、可靠、实时性好等优点。
【专利附图】
【附图说明】
[0026]图1为根据本发明的玉米除草机具的导航线提取方法流程图；
[0027]图2为根据本发明的采集到的图像示意图；
[0028]图3为根据本发明的剖线法求取阈值示意图；
[0029]图4为根据本发明的兴趣区二值图像的示意图；
[0030]图5为根据本发明的拟合直线的示意图。
【具体实施方式】
[0031]下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。
[0032]本发明所公开的用于玉米田除草机具的导航线提取方法，主要是针对在自然条件下，实现对玉米田除草机具导航线的快速提取，以下各实施例选择以玉米图像为例。
[0033]图1所示导航线提取方法流程图共包括6步，
[0034]第一步:图像兴趣区确定。调整安装于除草机具上摄像头的高度和角度，使图像中某一行作物与水平方向呈60?80角度，且保证此行作物约3米左右长度位于图像中。
[0035]第二步:图像二值化。根据采集到的图像按如下方法确定兴趣区:兴趣区为包含特定作物行的梯形，其中梯形上下两边为图像上下边缘的一部分，梯形左右两边接近与特定作物行相邻的作物行，且不包含相邻作物行。
[0036]对兴趣区内的图像按如下方法进行转换:
[0037]Igray(i，j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311 (I)
[0038]其中1、j为像素的行列坐标，G(i, j)、R(i, j)和B(i, j)分别为图像(i, j)处像素G、R、B颜色分量的灰度值，Igray (i,j)为转换后图像(i，j)处像素的灰度值。
[0039]经上述转换，兴趣区转换为灰度图像，将此灰度图像转换为二值图像，转换的阈值采用如下剖线法获得:
[0040]在采集到的原图像找到一条横向直线，要求直线穿过作物、杂草背景等部分，并对该直线上的像素利用公式(I)计算各个像素的灰度值，这些灰度值将形成一条曲线，作物部分的像素灰度值和杂草部分像素的灰度值会有区别，在曲线上表现为作物部分曲线高于杂草背景部分，在作物部分曲线和杂草部分曲线的中间取一灰度值，即为所求的阈值t。利用该阈值t，可将兴趣区的灰度图像转换为二值图像。
[0041]第三步:根据二值化图像求上下两部分的垂直投影曲线，并求得两个投影曲线的最大值点。所述的二值图像，白色像素点(灰度值为255)为玉米,黑色像素点(灰度值为O)为背景。在兴趣区内的二值图像根据图像高度平均分为上下两部分。分别对上下两部分的白色像素点进行垂直投影，得到上下两条投影曲线，每条曲线各有一个最大值。
[0042]第四步:根据所述的两个投影曲线最大值点求得上下两个边缘点。由两条投影曲线的两个最大值处分别向图像的上下边缘做垂线，得到两个点，可分别称为上边缘点和下边缘点。
[0043]第五步:根据所述两个边缘点和作物行宽度求得三个可能的上端点和下端点。玉米叶片向四周伸展，忽略向四外伸展的叶片，图像中的玉米行宽度在较小范围内变动，可近似为固定值。上面的投影曲线值为1/2最大值时有两点，此两点间的横向距离可作为玉米行宽度。
[0044]由上边缘点向右水平移动1/2玉米行宽度，可得到导航线的理论上端点；由下边缘点向左水平移动1/2玉米行宽度，可得到导航线的理论下端点；连接理论上端点和理论下端点，得到理论导航线。
[0045]由于实际玉米行叶子向四周伸展，伸展方向具有随机性，所得到的理论导航线不一定是理想导航线。由理论上端点向右水平移动1/2玉米行宽度，可得到导航线的备选上端点；由理论下端点向左水平移动1/2玉米行宽度，可得到导航线的备选下端点。
[0046]上边缘点、理论上端点和备选上端点作为三个可能的上端点；下边缘点、理论下端点和备选下端点作为三个可能的下端点。
[0047]第六步:分别连接上端点和下端点，利用计算条形区域内白色像素点数量的方法确定最终导航线。
[0048]将每个可能的上端点和每个可能的下端点连接，得到9条可能的导航线。
[0049]与可能的导航线平行，且与可能的导航线距离1/2作物行的两条直线在图像中构成一条形区域。9条可能的导航线对应9个条形区域，分别计算每个条形区域内的白色像素点数，点数最多的条形区域所对应的可能的导航线为最终导航线。
[0050]图2为根据本发明的采集到的图像示意图。该图中中间一行作物与水平方向呈80角度，且保证此行作物约3米左右长度位于图像中。对该行作物进行导航线提取，该行作物为特定作物行。
[0051]图3为根据本发明的剖线法求取阈值示意图，在采集到的图像上找到一条横向直线，即直线LI，该直线LI穿过作物、杂草背景等部分。采集到的图像均处于RGB色彩空间，所述采集到的图像中的每一个像素都对应一组RGB (红、绿、蓝)值，对所述直线上的像素在RGB色彩空间中利用公式(I):
[0052]Igray(i，j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311
[0053]计算各个像素的灰度值，这些灰度值将形成一条曲线，即曲线Cl，作物部分的像素灰度值和杂草部分像素的灰度值会有区别，在曲线上表现为作物部分曲线高于杂草背景部分，在作物部分曲线和杂草部分曲线的中间取一灰度值，即图3中直线LI所代表的灰度值，为所求的用于兴趣区图像二值化的阈值t。
[0054]图4为根据本发明的兴趣区二值图像的示意图，兴趣区为包含特定作物行的梯形，即图4中梯形部分，其中梯形上下两边为图像上下边缘的一部分，梯形左右两边接近与特定作物行相邻的作物行，且不包含相邻作物行。确定兴趣区后，利用公式(I)将兴趣区内的像素点转换为灰度图像，进而利用阈值t转换为二值图像。在兴趣区内的二值图像根据图像高度平均分为上下两部分，如图4中直线L3所示，直线L3将二值图像平均分为上下两部分。
[0055]图5为本发明实施例拟合直线的示意图。
[0056]分别对上下两部分的白色像素点进行垂直投影，得到上下两条投影曲线，如图5中的曲线C2和曲线C3，每条曲线各有一个最大值。由两条投影曲线的两个最大值处分别向图像的上下边缘做垂线，如图4中的虚线L4和L5，得到两个点，可分别称为上边缘点和下边缘点，如图5中的A点和B点。
[0057]玉米叶片向四周伸展，忽略向四外伸展的叶片，图像中的玉米行宽度在较小范围内变动，可近似为固定值。上面的投影曲线，即图5中的曲线C2，取值为1/2最大值时有两点，此两点间的横向距离可作为玉米行宽度。
[0058]图5中，由上边缘点B点向右水平移动1/2玉米行宽度，可得到导航线的理论上端点BI ;由下边缘点A点向左水平移动1/2玉米行宽度，可得到导航线的理论下端点Al ;连接理论上端点和理论下端点，得到理论导航线，即图5中直线L3。
[0059]由于实际玉米行叶子向四周伸展，伸展方向具有随机性，所得到的理论导航线不一定是理想导航线。由理论上端点BI点向右水平移动1/2玉米行宽度，可得到导航线的备选上端点B2点；由理论下端点Al点向左水平移动1/2玉米行宽度，可得到导航线的备选下端点A2点。
[0060]上边缘点B、理论上端点BI和备选上端点B2作为三个可能的上端点；下边缘点A、理论下端点Al和备选下端点A2作为三个可能的下端点。将每个可能的上端点和每个可能的下端点连接，即连接图4中的AB、AB1、AB2、A1B、A1B1、A1B2、A2B、A2B1、A2B2，将得到9条可能的导航线。
[0061]与可能的导航线平行，且与可能的导航线距离1/2作物行的两条直线在图像中构成一条形区域。上述9条可能的导航线对应9个条形区域，分别计算每个条形区域内的白色像素点数，点数最多的条形区域所对应的可能的导航线为所求导航线。[0062]最后应说明的是:以上实施例仅用以说明本发明实施例的技术方案而非对其进行限制，尽管参照较佳实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对本发明实施例的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明实施例技术方案的精神和范围。
【权利要求】
1.一种用于作物田除草机具的导航线提取方法，包括， 采集作物图像，使特定作物行与水平方向呈60~80角度，且保证此行作物约3米左右长度位于图像中； 根据所采集到的图像确定兴趣区； 将兴趣区转换为二值图像； 获得二值图像的上下边缘点； 其特征在于:根据所述两个边缘点和作物行宽度求得三个可能的上端点和下端点；分别连接三个可能的上端点和下端点，得到9条可能的导航线，与可能的导航线距离1/2作物行的两条直线在图像中构成一条形区域，9条可能的导航线对应9个条形区域，利用计算条形区域内白色像素点数量的方法确定最终导航线。
2.根据权利要求1所述的导航线提取方法，其特征在于，所述兴趣区的确定方法为:兴趣区为包含特定作物行的梯形，其中梯形上下两边为图像上下边缘的一部分，梯形左右两边接近与特定作物行相邻的作物行，且不包含相邻作物行。
3.根据权利要求1所述的导航线提取方法，其特征在于，二值图像的获得方法为:首先将兴趣区内图像利用下式转换为灰度图像:
Igray(i, j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311 (I) 其中，1、j为像素的行列坐标，G(i, j)、R(i, j)和B(i，j)分别为图像(i, j)处像素G、R、B颜色分量的灰度值，Igray(i, j)为转换后图像(i，j)处像素的灰度值； 再将灰度图像转换为二值图像，所述灰度图像转换为二值图像的转换阈值利用剖线法求得。
4.根据权利要求3所述的导航线提取方法，其特征在于:转换的阈值采用如下剖线法获得:在采集到的原图像找到一条横向直线，要求直线穿过作物、杂草背景部分，并对该直线上的像素利用公式(I)计算各个像素的灰度值，这些灰度值将形成一条曲线，作物部分的像素灰度值和杂草部分像素的灰度值会有区别，在曲线上表现为作物部分曲线高于杂草背景部分曲线，在作物部分曲线和杂草部分曲线的中间取一灰度值，即为所求的阈值t，利用该阈值t，可将兴趣区的灰度图像转换为二值图像。
5.根据权利要求1所述的导航线提取方法，其特征在于:二值图像的上下边缘点的获得方法为:将二值图像根据图像高度平均分为上下两部分，分别对上下两部分的白色像素点进行垂直投影，得到上下两条投影曲线，每条曲线各有一个最大值，由两条投影曲线的两个最大值处分别向二值图像的上下边缘做垂线，得到两个点，可分别称为上边缘点和下边缘点。
6.根据权利要求1所述的导航线提取方法，其特征在于:三个可能的上端点和下端点的获取方式为:由上边缘点水平向右移动1/2玉米行宽度，可得到一个可能的上端点，由该可能的上端点水平向右移动1/2玉米行宽度，得到另外一个可能的上端点，上边缘点和所述两个可能的上端点，为三个可能的上端点；由下边缘点水平向左移动1/2玉米行宽度，可得到一个可能的下端点，由该可能的下端点水平向左移动1/2玉米行宽度，得到另外一个可能的下端点，下边缘点和所述两个可能的下端点，为三个可能的下端点。
【文档编号】G06K9/46GK103488991SQ201310462112
【公开日】2014年1月1日 申请日期:2013年9月30日 优先权日:2013年9月30日
【发明者】张漫, 刘刚, 司永胜, 孟庆宽, 姜海勇, 仇瑞承 申请人:中国农业大学