一种倒伏作物自动收割方法及收割机与流程

本发明涉及农用机械(简称农机)的智能控制领域，具体涉及一种倒伏作物自动收割方法及实施该方法的收割机。

背景技术：

智能驾驶和智能作业是智能农机的两个核心显著特征，近年来，以导航定位为核心的智能驾驶技术已经在农业机械得到应用，但智能作业相关技术尚未开展应用，就收获机械而言，如何实现倒伏作物的自动收割是智能农机必须解决的关键问题之一。

在粮食作物的生长过程中，受到自然环境例如大风/大雨、作物自身产量例如穗重、追肥/浇水等因素影响导致作物倒伏，在收割过程中需要考虑到倒伏部分较低、较湿等情况，此时需要根据倒伏情况对收割机作业参数作出相应的调整。

目前出现的智能农机一般回避倒伏作物的自动收割问题，例如有一些无人驾驶农机的处理方式是：在收割作物前，由人工事先调整好割台、拨禾轮参数，然后在无人驾驶农机整个收割过程中始终保持参数不变，因此对于倒伏作物的收割显然不够精准，从而导致整体收割质量下降。还有一些做法是：首先利用无人机在作业田地拍摄大量图片，然后利用图像分析技术、路径规划技术等建立智能农机的作业地图，而倒伏作物的区域亦标注在地图上，接下来智能农机根据地图按照规划的路径进行现场作业，对于地图上的倒伏作物区域则由后台遥控前台农机完成作业，这种方法的缺点是：整个周期很长，不能实时构建地图，其原因是：1、构建地图需要现场采集大量的图片，例如几千上万张；2、需要对这些大量的图片进行建模分析，计算量非常巨大，一般需要大算力计算机系统进行几十个小时的运算，显然无法在无人机上的终端或边缘计算设备上完成上述任务，而随着时间的发展，倒伏作物容易发生较大变化从而导致地图不够准确，因而对倒伏作物的收割质量自然很差。

基于此，特提出本发明。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明的目的之一是提供一种倒伏作物自动收割方法，能够实时准确地识别倒伏作物，进而自动精准控制割台、拨禾轮等执行部件实施精准收割，进而实现精准自动收割作业。

本发明的技术方案是，一种倒伏作物自动收割方法，包括如下的步骤：

s100：图像采集模块获取现场作物图像并将之传输到图像处理模块；

s200：图像处理模块对所述现场作物图像进行分析，判断作物是否倒伏，若是，则将识别结果传输到控制模块；若不是，则继续步骤s100，获取下一个现场作物图像；

s300：控制模块根据步骤s200中的所述识别结果生成最优控制指令并传输给执行部件；

s400：执行部件根据所述控制指令自动调整相应参数并执行收割作业；

s500：重复步骤s100～s400至收割作业结束。

进一步地，在所述步骤s200中，包括如下的分步骤：

图像预处理，对输入进来的现场作物图像进行剪裁和压缩，先剪裁出收割机前方的区域图像，再对该区域图像进行压缩；

卷积网络计算，先用残差卷积网络对预处理的图像进行计算，提取图像中的特征，接着对残差卷积网络提取到的特征进行残差上采样网络计算，逐层放大特征图，同时级联卷积过程中同样大小的特征图来保留更多的信息；再进行卷积神经网络计算得到特征图；

softmax+diceloss操作，采用softmax对卷积网络计算后的特征图进行处理，对每个对应的像素点进行二分类，判断该像素为倒伏区域或非倒伏；采用diceloss处理二分类中的样本不均衡情况；

选取作业关注区域，并将该区域内图像纠正为矩形；

计算倒伏占比，通过上述图像预处理、卷积网络计算、softmax+diceloss操作所形成的倒伏作物识别视觉模型，预测单帧图像倒伏区域，最终得到一张二值化图像，将作业关注区域内的图像像素点值为1的区域与作业关注区域的比值作为倒伏占比；

判断作物是否倒伏，若上述倒伏占比大于或等于预定的阈值，则判断作物出现了倒伏，将识别结果传输到控制模块；若倒伏占比小于预定的阈值，则判断作物未出现倒伏。

进一步地，所述步骤s200中的图像处理模块部署了基于深度学习技术训练出来的倒伏作物识别视觉模型。

进一步地，所述倒伏作物识别视觉模型的训练方法如下：

利用采集到的倒伏作物的图像/视频数据，建立原始数据集a；

利用深度学习技术建立初始的倒伏作物识别视觉模型m，m的可训练参数记为p；

对数据集a进行标注处理后形成训练集b；

在计算机系统上利用训练集b训练模型m，根据收割机作业指标要求设定视觉模型的识别精度，当模型m达到识别精度时停止训练，此时的倒伏作物识别视觉模型为m’，m’的参数记为p’。

本发明的又一目的是提供一种倒伏作物自动收割机，其包括图像采集模块、图像处理模块、控制模块和执行模块；

所述图像处理模块负责分析处理图像/视频数据，给出作物是否倒伏的识别结果，并将识别结果传输给控制模块；

所述控制模块负责根据倒伏识别结果生成收割机割台的高度、拨禾轮的高度、拨禾轮的转速、车速、风机转速中的一种或者多种的最优控制指令。

所述执行模块根据控制模块的最优控制指令完成收割机割台的高度、拨禾轮的高度、拨禾轮的转速、车速、风机转速中的一种或者多种参数或状态调整。

进一步地，所述图像处理模块包括车载计算设备及运行在其上的倒伏作物识别视觉模型。

本发明的目的之一是提供一种作物倒伏识别方法，其包括如下的步骤：

s210：图像预处理，对输入进来的现场作物图像进行剪裁和压缩，先剪裁出收割机前方的区域图像，再对该区域图像进行压缩；

s220：卷积神经网络计算，先用残差卷积网络对预处理的图像进行计算，提取图像中的特征，接着对残差卷积网络提取到的特征进行残差上采样网络计算，逐层放大特征图，同时级联卷积过程中同样大小的特征图来保留更多的信息；再进行卷积神经网络计算得到特征图；

s230：softmax+diceloss操作，采用softmax对卷积网络计算后的特征图进行处理，对每个对应的像素点进行二分类，判断该像素为倒伏区域或非倒伏；采用diceloss处理二分类中的样本不均衡情况；

s240：选取作业关注区域，并将该区域内的图像纠正为矩形；

s250：计算倒伏占比，通过步骤s210～s230所形成的倒伏作物识别视觉模型，预测单帧图像倒伏区域，最终得到一张二值化图像，通过步骤s240得到作业关注区域，将该作业关注区域内的图像像素点值为1的区域与作业关注区域的比值作为倒伏占比；

s260：判断作物是否倒伏，若步骤s250获得的倒伏占比大于或等于预定的阈值，则判断作物出现了倒伏，将识别结果传输到控制模块；若倒伏占比小于预定的阈值，则判断作物未出现倒伏。

本发明还提供了一种作物倒伏识别视觉模型的训练方法，其包括如下的步骤：

step1：利用采集到的倒伏作物的图像/视频数据，建立原始数据集a；

step2：利用深度学习技术建立初始的倒伏作物识别视觉模型m(m的可训练参数记为p)；

step3：对数据集a进行标注处理后形成训练集b；

step4：在计算机系统上利用训练集b训练模型m，根据收割机作业指标要求设定视觉模型的识别精度，当模型m达到识别精度时停止训练，此时的倒伏作物识别视觉模型为m’，可以部署到图像处理模块中。

进一步地，上述作物倒伏识别方法或者作物倒伏识别视觉模型的训练方法中涉及到的倒伏作物识别视觉模型，包括如下的步骤：

图像预处理步骤，对输入进来的现场作物图像进行剪裁和压缩，先剪裁出收割机前方的区域图像，再对该区域图像进行压缩；

卷积网络计算步骤，先用残差卷积网络对预处理的图像进行计算，提取图像中的特征，接着对残差卷积网络提取到的特征进行残差上采样网络计算，逐层放大特征图，同时级联卷积过程中同样大小的特征图来保留更多的信息；再进行卷积神经网络计算得到特征图；

softmax+diceloss操作步骤，采用softmax对卷积网络计算后的特征图进行处理，对每个对应的像素点进行二分类，判断该像素为倒伏区域或非倒伏；采用diceloss处理二分类中的样本不均衡情况。

本发明所提供的倒伏作物自动收割方法及收割机，以及作物倒伏识别方法或者作物倒伏识别视觉模型的训练方法，具有如下的优点：

1、利用深度学习技术建立的倒伏作物识别视觉模型，能够实时准确地自动识别现场的作物倒伏情况；

2、本发明提出的倒伏作物识别视觉模型在一般的终端计算设备上即可完成分析，算力要求低；

3、实施简单，只需在农机外部增加相机和车载计算终端构成外部模块即可，不对农机本身进行任何改变；

4、控制模块能够根据作物倒伏情况自动调整执行部件，实现精准收割；

5、实时控制，提升倒伏作物的收割质量，整体提高了作物的收成量。

附图说明

图1是本发明一个实施例中的倒伏作物自动收割方法的作业流程图。

图2是本发明一个实施例中的倒伏作物自动收割方法的倒伏作物识别视觉模型示意图。

图3是本发明一个实施例中的倒伏作物自动收割机的组成示意图。

其中，100-图像采集模块，200-图像处理模块，300-控制模块，400-执行模块。

具体实施方式

以下结合附图1-3，对本发明一种倒伏作物自动收割方法及收割机作进一步地说明。

如图1所示，为本发明实施例提供的倒伏作物自动收割方法的作业流程图，本发明的一种倒伏作物自动收割方法，可以包括如下的步骤：

s100：图像采集模块100获取现场作物图像并将之传输到图像处理模块；

s200：图像处理模块200对所述现场作物图像进行分析，判断作物是否倒伏，若是，则将识别结果传输到控制模块；若不是，则继续步骤s100，获取下一个现场作物图像；

s300：控制模块300根据步骤s200中的所述识别结果生成最优控制指令并传输给执行部件；

s400：执行部件400根据所述控制指令自动调整相应参数并执行收割作业；

s500：控制模块300判断收割作业是否结束，若是，则完成收割；若不是，则重复步骤s100～s400至收割作业结束。

步骤s300中，控制模块300的控制指令包括控制收割机的车速、升降割台高度、调整拨禾轮转速、调整风机转速中的一种或者多种指令。

如图3所示，本发明实施例提供的一种倒伏作物自动收割机，包括图像采集模块100、图像处理模块200、控制模块300和执行模块400；图像采集模块100负责作物(例如小麦、水稻)生长态势(是否倒伏)的图像/视频数据的采集；图像处理模块200包括车载计算设备及运行在其上的倒伏作物识别视觉模型，负责分析处理图像/视频数据，给出作物是否倒伏的识别结果，并将识别结果传输给控制模块300；控制模块300由收割机的整车控制器组成，负责根据倒伏识别结果生成割台、拨禾轮、收割机车轮、风扇等的最优控制指令；执行模块400包括割台、拨禾轮、收割机的车轮以及风机中的至少一者，根据控制模块的最优控制指令完成割台、拨禾轮、收割机车轮、风机风扇等的参数或状态调整。

图像采集模块100与图像处理模块200构成独立于收割机的外部模块，控制模块300与执行模块400构成收割机的内部模块，外部模块和内部模块通过can总线进行连接，进行数据传递。

在感知模型训练的过程中发现，判断前方倒伏占比时，多帧图像优于单帧图像的表现，所以在作业过程中需要保持至少一定速度的图像获取，这里步骤s100中优选5fps(每秒传输帧数)的图像获取。

当图像处理模块200判断作物出现倒伏时，会向控制模块300输出识别结果。在一个可选的实施例中，可以设置3个参数例如p(0/1，s，d)来表示识别结果，其中参数1中的0表示未倒伏、1表示倒伏；参数2中的s表示倒伏的面积；参数3中的d表示倒伏作物离割台的距离。

控制模块300由收割机的整车控制器组成，负责根据图像处理模块200传输过来的倒伏识别结果生成割台、拨禾轮、收割机车轮、风扇等部件的最优调整控制指令。

执行模块400响应控制模块300的控制指令，完成相关零部件的参数或状态调整。例如，针对倒伏作物的收割最佳指令包括：割台的高度、拨禾轮的高度、拨禾轮的转速、收割机车速、风机转速等都有一个最佳的取值范围，它们分别对应收割机的割台、拨禾轮、收割机车轮轮速控制部件和风机。

在本发明中，图像处理模块200所进行的图像处理步骤是一个重要的过程，它可以包括如下的分步骤：

s210：图像预处理，对输入进来的现场作物图像进行剪裁和压缩，先剪裁出收割机前方的区域图像，再对该区域图像进行压缩；

s220：卷积神经网络计算，先用残差卷积网络对预处理的图像进行计算，提取图像中的特征，接着对残差卷积网络提取到的特征进行残差上采样网络计算，逐层放大特征图，同时级联卷积过程中同样大小的特征图来保留更多的信息，再进行卷积神经网络计算得到特征图；

s230：采用softmax对卷积网络计算后的特征图进行处理，对每个对应的像素点进行二分类，判断该像素为倒伏区域或非倒伏；采用diceloss处理二分类中的样本不均衡情况；

s240：选取作业关注区域，并将该区域内呈梯形状的图像纠正为矩形；

s250：计算倒伏占比，通过步骤s210～s230所得到的倒伏作物识别视觉模型(如图2所示)，预测单帧图像倒伏区域，最终得到一张二值化图像，通过步骤s240得到作业关注区域，将该作业关注区域内的图像像素点值为1的区域与作业关注区域的比值作为倒伏占比；

s260：判断作物是否倒伏，若步骤s250获得的倒伏占比大于或等于预定的阈值，则判断作物出现了倒伏，将识别结果传输到控制模块300；若倒伏占比小于预定的阈值，则判断作物未出现倒伏(此时不会有识别结果传输到控制模块300)。

在本发明一个优选的实施例中，步骤s200中的图像处理模块200部署了基于深度学习技术训练出来的倒伏作物识别视觉模型。

以下是倒伏作物识别视觉模型的训练方法：

step1：利用采集到的倒伏作物的图像/视频数据，建立原始数据集a；

step2：利用深度学习技术建立初始的倒伏作物识别视觉模型m，m的可训练参数记为p；

step3：对数据集a进行标注处理后形成训练集b；

step4：在计算机系统上利用训练集b训练模型m，根据收割机作业指标要求设定视觉模型的识别精度，当模型m达到识别精度时停止训练，此时的倒伏作物识别视觉模型为m’，可以部署到图像处理模块200中，m’的参数记为p’。

step3中的标注方法为像素点标注，像素值为1的区域为倒伏，像素值为0的区域为未倒伏。

step4中的识别精度参照人类操作手的表现水平设定。视觉模型的目的是代替人类操作手的眼睛来识别倒伏作物，因此其识别精度应该参考人工的表现，人工的表现测定方式如下：给收割机操作手提供若干张例如1000～2000张包含倒伏作物的图片，测试其识别出倒伏作物的准确度，以此准确度来确定识别精度。

实施例1：作物倒伏识别视觉模型训练过程

倒伏识别视觉模型训练过程主要由以下一些步骤构成。

1)输入的图像由两部分组成：倒伏数据和经过倒伏标准定义与标注的数据。

a.倒伏数据采集。根据本发明的初衷，作物倒伏识别视觉模型主要是学习收割机驾驶员的收割经验，所以需要在收割机前部例如挡风玻璃上安装具有图像拍摄能力的工具例如摄像头，选取具有倒伏的地块收割，采集到各种形状的倒伏区域图片。

b.倒伏标准定义与标注。因为选择的是分割模型，需要采用像素点标注，在图像中画一个闭环区域，在新的图层中该区域值为1，其他区域值为0，即像素值为1的区域为倒伏，像素值为0的区域为未倒伏；前期标注分界处不用过于仔细，主要是用于选择模型，而且模型的学习能力也可以学到关键信息。同时模型训练过程中需要更新数据标注标准。通过模型分析发现数据标注的问题，在模型的训练过程中发现模型学习了倒伏区域边界未倒伏的竖直秸秆的特征，在很多收割过区域的边界也存在这种竖直的特征，所以这一特征会影响模型判别，在标注的过程中避免将这部分像素点标注为倒伏；同时标注最关注的是倒伏是否会引起割台调整，若仅小区域轻度倒伏则不作标注；远处由于较为模糊，特征不明显，标注区域难以确认，所以导致倒伏识别帧间差异大的问题，但由于收割更关注近处小范围区域，所以该部分对模型影响不大；在模型训练过程中需要对标注的数据进行相应的修改，逐步优化形成更完善的标注标准说明。

2)数据预处理。数据在训练前，需要进行预处理工作。前述步骤1)中采集到的图像分辨率为1280×720的视频数据。由于原图像过大，包括的范围很广，而实际作业过程中，我们所关注的是只包含收割机前方的区域，因此首先选取图片中间的720×720区域，再将图像分辨率压缩到512×512。通过这一方法可以大幅降低计算量；更重要的是能够去除图像两旁的多余信息(比如人、田埂或排出的秸秆等)；没有扭曲图像，图像在原图基础上缩放，不影响形态特征提取。

3)残差卷积网络。为了提取更深层次的特征，本发明使用全残差网络架构，每个卷积模块末尾引入卷积计算前的值进行加和，减少信息衰退，防止模型由于深度不够、或者模型太深而使得信息在网络传输中衰退太多，从而导致模型不能很好的学习到数据特征的问题。

4)残差上采样网络。经过层层卷积网络提取特征，特征图的大小逐层缩小，需要上采样逐层放大特征图；同时级联卷积过程中同样大小的特征图来保留更多的信息。这里保留更多的信息意为：上述过程得到的特征图包含了从底层到高层、从局部到整体的各个层级的图像特征，因此图像的特征信息更多更丰富。最终上采样至输入网络图片大小的分辨率。

5)卷积神经网络。经过残差上采样操作后的输出信息再进行卷积神经网络计算，得到特征图。该特征图既包含了底层的图像特征又包含了高层的图像特征。

6)softmax+diceloss。softmax通过神经网络提取的特征计算，对每个对应的像素点进行二分类，判断该像素为倒伏区域或非倒伏。由于小麦收割过程中，倒伏场景占比特别少，整个占比10％以内；并且在包含倒伏的图片中倒伏像素所占比例也在20％以内，所以存在正负样本极度不均衡的问题(其中正样本为倒伏像素，负样本为非倒伏像素)，而diceloss的提出就是解决前景比例太小的问题，diceloss源于二分类，本质上是衡量两个样本的重叠部分。该指标范围从0到1，其中“1”表示完整的重叠。所以diceloss很好地适用了小麦倒伏的情况。

7)作业关注区域选取。在实际的收割过程中只关注当前收割行的2米左右区域。同时由于相机成像有近大远小的原则，该区域在图像中呈梯形，需要纠正为矩形。由于作业关注区域初步选取较为粗糙，结合控制模型不断调整区域坐标，形成最优关注区域。

8)倒伏占比计算。通过步骤2)～6)得到作物倒伏识别视觉模型m，预测单帧图像倒伏区域，也就是softmax进行二分类为倒伏的值为1，非倒伏的值为0，最终得到一张二值化图像，步骤7)得到作业关注区域，通过计算图像像素点值为1的比例作为倒伏占比。

当作物倒伏识别视觉模型m达到识别精度时停止训练，此时的倒伏作物识别视觉模型为m’，可以部署到图像处理模块200中，m’的参数记为p’。

实施例2：倒伏作物自动收割方法的实施过程

本倒伏作物自动收割方法是实现智能无人作业的关键技术，将训练好的作物倒伏识别视觉模型部署到车载计算终端，装配至收割机并配合整车控制器实现实时无人作业。主要步骤为：作业前方图像实时获取、倒伏占比计算、整车控制器发出作业参数调整指令。

1)作业前方图像实时获取。在感知模型训练的过程中发现，单帧图像不足以准确判断前方倒伏占比，是否需要调整作业参数，所以在作业过程中需要保持至少5fps(每秒传输帧数)的图像获取。

2)倒伏占比计算。

a.作业关注区域选取。在实际的收割过程中只关注当前收割行的2米左右区域。同时由于相机成像有近大远小的原则，该区域在图像中呈梯形，需要纠正为矩形。由于作业关注区域初步选取较为粗糙，结合控制模型调整割台的开始时间与结束时间，在收割过程中观察到倒伏，开始调整割台这一时刻即可确定区域开始的坐标；再结合倒伏占比阈值的设定不断调整区域结束的坐标，在大量倒伏场景中统计倒伏占比，选取平均占比最大的区域作为最优关注区域。

b.倒伏占比计算。通过作物倒伏识别视觉模型预测单帧图像倒伏区域，得到二值化图像，在作业关注区域计算图像像素点值为1的比例作为倒伏占比，结合当前时刻前5帧输出最终的倒伏占比。

3)整车控制器发出作业参数调整指令。车载计算终端通过can总线将倒伏识别结果发送给整车控制器，整车控制器根据倒伏识别模型给出的倒伏占比，并综合作业环境、机身状态给出最优的作业参数调整指令，根据倒伏收割过程中割台调整的数据，通过设定倒伏占比阈值判断是否降低割台、拨禾轮，降低几档；倒伏占比与车速成反比；与拨禾轮转速、风机转速成正比。

在本发明中所涉及到的技术用语，以本领域技术人员常用的意义为主，个别的技术术语以本发明如下的解释为主，例如：

上采样：图像放大。采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素；或是反卷积，反卷积是一种特殊的正向卷积，先按照一定的比例通过补0来扩大输入图像的尺寸，接着旋转卷积核，再进行正向卷积。

softmax：它能将一个含任意实数的k维向量“压缩”到另一个k维实向量中，使得每一个元素的范围都在0～1之间，并且所有元素的和为1。

卷积神经网络：是一种局部连接而非全连接的神经网络结构，其包含一个卷积核，一般可设为3×3或5×5或7×7的矩阵，使用该卷积核对神经网络的某层输入向量进行卷积操作得到该层的输出向量，如此搭建而成的神经网络称为卷积神经网络，卷积神经网络相比全连接神经网络而言，前者大幅降低了模型参数量，节约了大量的算力。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。