一种基于深度学习的农田残膜残留量的检测预警方法及系统与流程

本发明涉及农田污染监测技术领域，具体涉及一种基于深度学习的农田残膜残留量的检测预警方法及系统。

背景技术：

地膜技术给我们的粮食生产带来了巨大收益，给干旱节水农业生产提供了有利条件。然而，地膜覆膜后回收困难，残留的地膜给农田土壤造成了严重的污染，对土壤的透气性、透水性以及作物生长都造成不利影响。污染的治理离不开先进的监控技术，现有技术如：牛瑞坤,王旭峰,胡灿,侯书林,鲁兵,李俊宝.新疆阿克苏地区棉田残膜污染现状分析[j].新疆农业科学,2016,02:283-288、严昌荣，梅旭荣，何文清，等.农用地膜残留污染的现状与防治[j].农业工程学报，2006，22(11):269－272、cn106644939a，采取了人工取样测量方法去监管农田残膜的污染情况，或者监控残膜回收作业质量，这类方法同样具有选定区域随机性，人为影响因素大，影响了最终监测的数据精度。

图像检测地膜残留量方法明显具有先进性，现有方法首先采用无人机拍照的方式获取农田图像资料，再对图像文件进行预处理后，采用闭合运算与腐蚀运算，将二值化后的残膜形状灰度值进行量化统计相加，获取农田残膜的表层面积，再通过折算公式推出表层残膜残留的质量。另外，表层与深层残膜之间呈现一定数学关系，可计算出拍摄区域内的残膜残留值。

然而，通过大量的试验，发现虽然这种方法是先进的，但是在不同的土壤环境、光照条件、拍摄角度，土壤色泽等方面的监测数据是有较大差异的，此外，该方法的本质是基于全局阈值进行图像二值化，全局阈值的设置无法做到每张图像上的自适应，存在明显的精度瓶颈。因此，亟需一种对环境噪声更鲁棒、精度更高的残膜残留量方法。

技术实现要素：

为克服现有残膜检测方法对环境噪声不够鲁棒、精度提升会遇到瓶颈的问题，提出了一种基于深度学习的农田残膜残留量的检测预警方法及系统。

本发明提供一种基于深度学习的农田残膜残留量的检测预警方法，包括如下步骤：

s1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；

s2，对所述原始残膜图像进行位置信息标注；

s3，将标注后的原始残膜图像分为残膜图像的训练集和测试集；

s4，构建基于深度学习的可微分阈值分割网络模型；

s5，将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；

s6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；

s7.将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。

本发明还提供一种基于深度学习的农田残膜残留量的检测预警系统，包括：

图像采集单元，用于针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；

位置标注单元，用于对所述原始残膜图像进行位置信息标注；

训练划分单元，用于将标注后的原始残膜图像分为残膜图像的训练集和测试集；

模型构建单元，用于构建基于深度学习的可微分阈值分割网络模型；

模型训练单元，用于将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；

残留预测单元，用于将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；

分级预警单元，用于将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。

与现有技术相比，本发明首先进行人工标注数据，利用深度卷积层有监督的学习不同层次的特征，最关键的是将二值化函数设成可微分形式，这使得二值化的阈值可以随网络一起得到训练，增加预测的精度，更贴合实际应用场景，提高了算法的鲁棒性。

另外，本发明的方法，其噪声抑制能力强。传统阈值分割法得到的阈值图，右下角会出现严重噪声，而相比之下，本发明方法会对噪声更鲁棒。同时，随着数据规模的增大，精度也会显著提高。

并且，本发明还提出了对污染的分等定级预警方法，研发一种预警装置，当残膜残留量超过一定阀值时，系统自动产生分等定级的污染预警信号。

附图说明

图1是特征融合示意图。

图2是可微分二值化与常规二值化的对比图。

图3是k＝1和k＝60情况下，正样本损失函数的导数对比图。

图4是k＝1和k＝60情况下，负样本损失函数的导数对比图。

图5是实际拍摄的角度、面积关系示意图。

图6是基于无人机航拍监测残膜的示意图。

图7是整膜标定图。

图8是散膜标定图。

图9是进行残膜图像增广的原图。

图10是进行镜像变化后的残膜图像。

图11是变亮后的残膜图像。

图12是变暗后的残膜图像。

图13是随机裁剪后的残膜图像。

图14是平移后的残膜图像。

图15是进行残膜图像标注。

图16是进行残膜标注框的坐标。

图17是基于深度学习的训练流程图。

图18是基于深度学习的测试流程图。

图19是基于深度学习的残膜图像检测图。

图20是基于深度学习的残膜图像二值分割图。

图21是传统阈值分割方法下的残膜图像二值分割图。

图22是本发明的方法流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

如图22所示，本发明提供一种基于深度学习的农田残膜残留量的检测预警方法，包括如下步骤：

s1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；

s2，对所述原始残膜图像进行位置信息标注；

s3，将标注后的原始残膜图像分为残膜图像的训练集和测试集；

s4，构建基于深度学习的可微分阈值分割网络模型；

s5，将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型，训练流程如图17；

s6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测，测试流程如图18；

同时得到残膜检测图，如图19；和残膜分割图，如图20。残膜检测图作为直观展示，残膜分割图用于后续残膜量的计算。

s7.将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。

优选地，其中，所述s1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像，具体包括：

图像通过大疆无人机平台采集，如附图6所示，选取长期覆膜种植农田，农田需进行犁地并整地处理，地面平整，通过整地后，土壤中残膜呈规律性分布，以便于可见光图像采集。可见光图像传感器像素大于600万像素，农田图像信息获取的光照度大于2000lux，采集时间为太阳光与地面垂直，无重影，设置可见光传感器波长为390-780nm之间。无人机设定可见光传感器离农田拍摄高度为4.5米，环境风速小于5m/s，调整无人机云台，将可见光传感器与农田表面进行垂直900拍摄，设置记录好拍摄的初始经纬度坐标，沿农田边界进行飞机拍摄，获取农田表层残膜的可见光信息。其中1，无人机；2，可见光传感器；3，识别区域；4，农田；5，残膜；6，分等定级预警装置。

在图像识别前，先进行农田表层残膜残留面积与残膜残留量关系的标定。

在整地过后的农田表面，确保土壤表层无残膜及白色反光物体，将田间残膜裁剪成标准正方体形状，如图7及图8所示。图7为大块正方体整膜，边长为20cm，图8为散状地膜，边长为5cm。设定可见光传感器信息获取的光照度大于2000lux，采集时间为太阳光与地面垂直，无重影，设置可见光传感器波长为390-780nm之间。无人机可见光传感器离农田拍摄高度为5米，环境风速小于5m/s，调整无人机云台，将可见光传感器与农田表面进行垂直90°拍摄，获取相关图像各两张，通过图像算法得出标准可见光传感器采集图像中的尺寸形状，将采样区域的地膜回收，清洗烘干后称重处理，得出标准面积尺寸与农用地膜质量之间的关系按如下公式计算：

m1＝swhite×11+p

其中，m1为残膜残留量；swhite为残留面积；p为系统误差，取值为0.00154。

假设图像识别出的地膜面积为sc＝0.25m²，则代入公式可得m1＝2.75154g。

选取需测量的地块再次进行可见光图像采集，之后可以对图像进行增广处理。

增广方法有5种，即一张图最终可以变成6张，这很好地满足了深度学习对大数据样本的要求，并且增加算法鲁棒性，以一张原始图像9为例，可以进行以下增广操作：

镜像操作。相比图9，图10这里是将图片围绕对称轴进行左右翻转(在检测中有助于防止模型过拟合)。

变亮操作。相比图9，图11通过亮度的改变，模拟现场各种光照的情况，是非常好的一种数据扩增途径，尤其是在自然场景下的目标检测方面，能提高算法对光照方面的鲁棒性。

变暗操作。相比图9，图12变暗。

裁剪操作。相比图9，图13是随机裁剪成的新图像。

平移操作。相比图9，图14是将图像进行平移，目标就能出现在不同的背景下，丰富了数据样本。

将扩增后的样本数据使用标注工具进行标注。

优选地，其中，所述s2，对所述原始残膜图像进行位置信息标注，具体包括：标注规则是基于人为观察，使用标注工具，识别所述原始残膜图像中的残膜区域，用任意四边形框包围住残膜区域，如图15。生成每个包围框的坐标信息，如图16。

优选地，其中，所述s3，将标注后的原始残膜图像分为残膜图像的训练集和测试集，具体包括：

将标注后的原始残膜图像按8:2的比例划分为训练集和测试集，所述标注后的原始残膜图像包括原始残膜图像和对应的标签文件；

所述原始残膜图像为jpg格式，所述标签文件为txt格式。

优选地，其中，所述s4，构建基于深度学习的可微分阈值分割网络模型，具体包括：

s4-1，基于残膜图像训练集，进行不同尺度的特征融合，形成特征地图fm(featuremap)；

s4-2，根据特征地图fm，得到残膜的概率图pm(probabilitymap)和阈值图tm(thresholdmap)；

s4-3，结合所述概率图pm和阈值图tm，构建可微分阈值分割网络模型：

s4-4，以二值化交叉熵损失定义正样本损失和负样本损失；

s4-5，定义可微分阈值分割网络模型总的损失函数。

优选地，其中，所述s4-1，基于残膜图像训练集，进行不同尺度的特征融合，形成特征地图fm，具体包括：

s4-1-1，如图1所示，进行多层卷积、填充、池化操作，将所述训练集中残膜图像分别缩小比例至1/2、1/4、1/8、1/16/、1/32、1/64。

卷积操作经常用于图像的特征的提取，而浅层的卷积更关注于细节和位置信息，高层的卷积更关注于语义信息。

s4-1-2，提取训练集中残膜图像的不同层次特征，

s4-1-3，进行图像上采样，将各层次特征调整至对应尺寸规模，

s4-1-4，进行各层次特征的特征融合，

s4-1-5，将各层次融合特征统一缩放比例至1/4，拼接形成特征地图fm。

优选地，其中，所述s4-3，结合概率图pm和阈值图tm，构建可微分阈值分割网络模型，具体包括：

结合概率图pm和阈值图tm，构建可微分阈值分割网络模型，得到残膜图像的二值分割图：

bi,j表示二值图里第i行、第j列的像素取值；pi,j代表概率图里第i行、第j列的像素值；ti,j代表阈值图里第i行、第j列的像素值，k是增益因子，取值60。

与常规的二值化相比，可微分的二值化具有梯度，可以随着网络一起训练学习。如图2，是可微分的二值化与常规的二值化对比图。

优选地，其中，所述s4-4，以二值化交叉熵损失定义正样本损失和负样本损失，具体包括：

其中，l+为正样本损失，l-为负样本损失，k为增益因子，x＝pi,j-ti,j。

对正、负样本损失分别求偏导，公式如下：

由上述偏导公式可以看出，k是梯度增益因子，如果k值大，错误预测会对梯度的影响很大。不同k下的损失梯度对比如图3、4所示。在图3中，如果正样本被预测为负样本，就是x<0的情况，其损失接近于-60；在图4中，如果负样本被预测为正样本，就是x>0的情况，其损失接近于60。

优选地，其中，所述s4-5，定义可微分阈值分割网络模型总的损失函数，具体包括：

l＝lp+α*lb+β*lt

其中，l是总损失函数，它是由概率图损失lp、二值图损失lb及阈值图损失lt加权求和得出，α和β为放大系数，lp和lb为二值交叉熵损失，lt为光滑最小绝对值偏差损失。

优选地，其中，所述s6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测，具体包括：

s6-1，根据所述可微分阈值分割网络模型，将所述测试集二值化，得到测试集中残膜图像的二值分割图；

s6-2，根据残膜占比公式，计算残膜在所述二值分割图中的占比；

所述残膜占比公式如下：

其中，rate为白色残膜像素在图像中的占比，nwhite为二值化后白色像素的个数，h和w分别为所述二值分割图的高和宽；

s6-3，如图5所示，结合相机参数，计算残膜的实际面积，具体包括：

根据飞行高度h和视场角fov，计算所述二值分割图的图像区域的实际面积s，其中，

s6-4，计算残膜的实际面积swhite，其中，swhite＝s*rate。

s6-5，计算残膜的实际质量，即残膜残留量：

m1＝swhite×11+p

其中，m1为残膜残留量，单位为g；swhite为残留面积，单位为m²；p为系统误差，取值为0.00154，假设残膜厚度为定值。

本发明还提出一种基于深度学习的农田残膜残留量的检测预警系统，包括：

图像采集单元，用于针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；

位置标注单元，用于对所述原始残膜图像进行位置信息标注；

训练划分单元，用于将标注后的原始残膜图像分为残膜图像的训练集和测试集；

模型构建单元，用于构建基于深度学习的可微分阈值分割网络模型；

模型训练单元，用于将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；

残留预测单元，用于将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；

分级预警单元，用于将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。

与现有技术相比，本发明首先进行人工标注数据，利用深度卷积层有监督的学习不同层次的特征，最关键的是将二值化函数设成可微分形式，这使得二值化的阈值可以随网络一起得到训练，增加预测的精度，更贴合实际应用场景，提高了算法的鲁棒性。

另外，本发明的方法，其噪声抑制能力强。传统阈值分割法得到的阈值图，右下角会出现严重噪声，而相比之下，本发明方法会对噪声更鲁棒。同时，随着数据规模的增大，精度也会显著提高。

并且，本发明还提出了对污染的分等定级预警方法，研发一种预警装置，当残膜残留量超过一定阀值时，系统自动产生分等定级的污染预警信号。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。