1.一种倒伏作物自动收割方法,其特征在于,包括如下的步骤:
s100:图像采集模块(100)获取现场作物图像并将之传输到图像处理模块(200);
s200:图像处理模块(200)对所述现场作物图像进行分析,判断作物是否倒伏,若是,则将识别结果传输到控制模块(300);若不是,则继续步骤s100,获取下一个现场作物图像;
s300:控制模块(300)根据步骤s200中的所述识别结果生成最优控制指令并传输给执行部件(400);
s400:执行部件(400)根据所述控制指令自动调整相应参数并执行收割作业;
s500:重复步骤s100~s400至收割作业结束。
2.如权利要求1所述的一种倒伏作物自动收割方法,其特征在于,在所述步骤s200中,包括如下的分步骤:
图像预处理,对输入进来的现场作物图像进行剪裁和压缩,先剪裁出收割机前方的区域图像,再对该区域图像进行压缩;
卷积网络计算,先用残差卷积网络对预处理的图像进行计算,提取图像中的特征,接着对残差卷积网络提取到的特征进行残差上采样网络计算,逐层放大特征图,同时级联卷积过程中同样大小的特征图来保留更多的信息;再进行卷积神经网络计算得到特征图;
softmax+diceloss操作,采用softmax对卷积网络计算后的特征图进行处理,对每个对应的像素点进行二分类,判断该像素为倒伏区域或非倒伏;采用diceloss处理二分类中的样本不均衡情况;
选取作业关注区域,并将该区域内图像纠正为矩形;
计算倒伏占比,通过上述图像预处理、卷积网络计算、softmax+diceloss操作所形成的倒伏作物识别视觉模型,预测单帧图像倒伏区域,最终得到一张二值化图像,通过步骤s240得到作业关注区域,将该作业关注区域内的图像像素点值为1的区域与作业关注区域的比值作为倒伏占比;
判断作物是否倒伏,若步骤s250获得的倒伏占比大于或等于预定的阈值,则判断作物出现了倒伏,将识别结果传输到控制模块;若倒伏占比小于预定的阈值,则判断作物未出现倒伏。
3.如权利要求2所述的一种倒伏作物自动收割方法,其特征在于,所述步骤s200中的图像处理模块部署了基于深度学习技术训练出来的倒伏作物识别视觉模型。
4.如权利要求3所述的一种倒伏作物自动收割方法,其特征在于,所述倒伏作物识别视觉模型的训练方法如下:
利用采集到的倒伏作物的图像/视频数据,建立原始数据集a;
利用深度学习技术建立初始的倒伏作物识别视觉模型m,m的可训练参数记为p;
对数据集a进行标注处理后形成训练集b;
在计算机系统上利用训练集b训练模型m,根据收割机作业指标要求设定视觉模型的识别精度,当模型m达到识别精度时停止训练,此时的倒伏作物识别视觉模型为m’,m’的参数记为p’。
5.如权利要求4所述的一种倒伏作物自动收割方法,其特征在于,所述识别精度参照人类操作手的表现水平设定,具体是给操作手提供若干张包含倒伏作物的图片,测试其识别出倒伏作物的准确度,以此准确度来确定视觉模型的识别精度。
6.如权利要求1所述的一种倒伏作物自动收割方法,其特征在于,所述步骤s300中,所述控制模块的控制指令包括控制收割机割台的高度、拨禾轮的高度、拨禾轮的转速、车速、风机转速中的一种或者多种的指令。
7.一种倒伏作物自动收割机,包括图像采集模块(100)、图像处理模块(200)、控制模块(300)和执行模块(400);其特征在于,
所述图像采集模块(100)负责作物生长态势的图像/视频数据的采集;
所述图像处理模块(200)负责分析处理图像/视频数据,给出作物是否倒伏的识别结果,并将识别结果传输给控制模块(300);
所述控制模块(300)负责根据倒伏识别结果生成收割机割台的高度、拨禾轮的高度、拨禾轮的转速、车速、风机转速中的一种或者多种的最优控制指令;
所述执行模块(400)根据控制模块(300)的最优控制指令完成收割机割台的高度、拨禾轮的高度、拨禾轮的转速、车速、风机转速中的一种或者多种参数或状态调整。
8.如权利要求7所述的收割机,其特征在于,所述图像处理模块(200)包括车载计算设备及运行在其上的倒伏作物识别视觉模型。
9.如权利要求7所述的收割机,其特征在于,所述控制模块(300)由收割机的整车控制器组成。
10.如权利要求7所述的收割机,其特征在于,所述执行模块(400)包括割台、拨禾轮、收割机的车轮以及风机中的至少一者。
11.如权利要求7所述的收割机,其特征在于,所述图像采集模块(100)与图像处理模块(200)构成独立于收割机的外部模块,所述控制模块(300)与执行模块(400)构成收割机的内部模块,外部模块和内部模块通过can总线进行连接。