一种基于多类型双分支卷积神经网络的农田地块提取方法与流程

本发明涉及遥感影像农田地块分割领域，尤其涉及一种通过深度卷积网络提取农田地块信息、通过改进的多尺度可变形卷积模块和动态线形约束卷积模块构建多类型卷积网络，综合且充分地提取遥感影像农田地块的边缘特征和区域特征，精确提取遥感影像农田地块。

背景技术：

1、耕地是社会发展和人类赖以生存的物质基础，农业地块是进行农业实践和应用的基本单位。

2、在如此庞大的农业生产背景中，运用科技手段对农田地块的改造、开拓以及生产环节进行监督辅助，将是十分重要的提效增产方式。

3、随着科学技术的日益发达，获取田地边界的方法也越来越多，而遥感技术作为其中最方便和快捷的手段之一而广受欢迎。遥感是一种非接触式获取远距离目标信息的方法，主要借助人造卫星或者飞机、无人机等设备进行数据采集。遥感设备能在高空传播、接收地面目标的特定电磁波信息，并加以分析应用。遥感影像具有范围广、可以动态监测以及实时性等特点，因此将遥感技术应用到农业生产当中，可以快速准确地了解农田地块分布状况、面积大小及空间地理位置信息，为土地监管和农业生产提供重要的基础数据。

4、随着对地遥感观测平台的不断发展，短时间内重复获取高清晰度地面图像已经不是问题，但从这些高质量图像中提取有价值的地块信息仍然是个难题。早期的遥感影像农田地块提取凭借人工经验进行信息提取、分类，低效率且耗费大量的人力物力。并且种植在耕地上的农作物类型丰富，不同作物的耕种方式和成熟期存在较大差异，还存在未耕种的休耕期耕地。这些因素使得不同作物类型的耕地在遥感影像上表现出较大的特征差异，同物异谱的现象比较严重，导致人工提取方法正确率不高。因此，面对遥感影像庞大的信息量和复杂的图像特征，借助计算机技术实现遥感影像农田地块的自动提取具有重要的意义，这一过程的自动化能减少人工的参与，并提高地块分割的正确率。

5、机器学习方法是遥感影像自动分类和提取广泛应用的方法。传统的机器学习方法在中低分辨率遥感影像耕地提取上的效果很好。但该方法需要人工参与参数选择和特征选取，并且只能提取浅层的特征，因此对于包含复杂地物信息的高分遥感影像，传统方法无法有效提取出各种地物的深层特征，无法准确提取出农田地块。而随着数字化农业的不断发展和遥感技术的增强。卫星采集的遥感影像更加清晰，颜色、轮廓和纹理特征更加丰富，甚至包含了大量的空间位置特征、信息熵变化特征等深层特征，因此，发展精细化农业和智慧农业对地块信息的数据质量要求也越来越高。更复杂庞大的遥感影像信息源和更加严格、高标准的地块信息需求，使得如何高效且准确地从高分辨率影像中提取农田地块成为一个亟需解决的问题。

6、将深度学习技术应用到遥感影像地块语义分割任务中，可以从像素层面识别并分类地块。在实现自动化分割遥感影像农田地块的同时，提高准确度和处理速度，并直接输出可视化分割结果图像。近年来，随着深度学习的发展，卷积神经网络(convolutionalneural network,cnn)技术在图像处理领域取得了很好的效果，cnn能够自动学习和提取图像中的特征，并且具有较好的鲁棒性。因此，越来越多的学者将cnn用于高分遥感影像分类和提取，但是直接将cnn从自然图像迁移应用到遥感影像中时，发现相对于自然图像，遥感影像除了含有红，绿，蓝波段数据外，还包含了近红外、短波红外等更多的波段数据。因此，如何充分发挥遥感影像丰富的信息优势具有重要研究意义。并且遥感影像农田地块的大小和形状各异，特征差异较大，但现有的基于cnn的农田地块提取方法大多使用固定大小的传统卷积提取特征，无法全面捕捉农田地块多样化的特征信息。因此，设计一种能够更高效地处理复杂的高分辨率遥感影像，提取复杂多样的农田地块特征，并大幅提高地块提取精度的基于卷积神经网络的农田地块提取方法至关重要。

技术实现思路

1、本发明的目的在于解决现有方法存在的特征提取单一的问题，提出了一种基于多类型卷积模块的双分支多任务网络dbmnet，该网络使用多类型卷积综合且充分地提取遥感影像农田地块的多样化特征，提升对高分辨率遥感地块图像的分割效果。

2、本发明的技术方案提供一种基于多类型双分支卷积神经网络的农田地块提取方法，包括以下步骤：

3、步骤1，构建基于多类型卷积模块的双分支多任务网络dbmnet，以u-net网络作为基准网络，设计双分支特征提取模块dbfe替换原网络的卷积层，使网络能综合提取图像的边缘特征以及不同大小和形状的田地块区域特征，增加了网络深度的同时，提升网络对不同尺度信息的感知能力；

4、步骤2，针对步骤1中的dbfe模块，设计边缘特征提取分支和区域特征提取分支，针对边缘特征的提取，设计了动态线形约束卷积模块lcdc，增强网络对细长线形结构的感知，自适应地聚焦于细长和曲折的局部结构，来准确捕捉田地边界的边缘特征。针对区域特征的提取，设计了多尺度可变形卷积特征提取模块mdfe，在不同的尺度下对输入数据进行可变形卷积操作，自适应地聚焦于田地块的形状结构，准确捕捉不同大小和形状的田地块区域特征信息；

5、步骤3，网络最终分别输出田地块的边界、掩码和边界距离，其中边界检测和距离回归用于改善农田地块掩码的精度提取，从而使网络有更好的泛化效果。

6、进一步地，步骤1中，从遥感影像中提取的多波段输入数据其中h×w为输入样本的大小，b为样本的波段通道个数；数据经过第一层3×3卷积模块处理后变为h1，其中表示网络第i层输出的特征图，h×w为特征图大小，b为特征图通道数；h1被当作第一层dbfe的输入数据，进一步被编码得到h2，如此直至最后一层，堆叠dbfe模块从原始多波段遥感影像数据中提取多尺度、由浅到深的深度农田地块特征并输出。

7、进一步地，堆叠dbfe模块包括m个dbfe模块。

8、进一步地，步骤2中，dbfe模块每一层的输入数据hi,i＝1,2,...,m分别被输入两个不同的分支用于分别提取农田地块的边缘特征和区域特征，其中m为dbfe模块的个数。dbfe的边缘特征提取分支由lcdc模块和一个传统的3×3卷积组成，输出为hi+1,i＝1,2,...,m。对于lcdc模块，其是一个可以具有任意参数n的异形可变形卷积，卷积视左上角的点为采样原点(0，0)，设r表示采样网格，r表示如下：

9、r＝{(-1,-1),(-1,0),...,(0,1),(1,1)}      (1)

10、卷积的初始采样位置pn可以自定义也可以随机生成，p0为输出图像hi,1中每个像素点的值，则输出图像中每个像素点p0的值求取公式如下：

11、

12、其中，w(pn)表示pn点的卷积核权重的大小。x(p0+pn+offsetn)表示p0+pn+offsetn点的特征值，offsetn为偏移量，但是如果模型完全自由地学习变形偏移，感受野往往会偏离目标，特别是在处理细长线形结构的情况下，因此考虑一个大小为k的卷积核，以左上角的点为采样原点c0，其余k-1个采样点在进行偏移时采用一种迭代策略：每个ci,i＝1,2,...,k-1点都相对于其前一个点ci-1,i＝1,2,...,k-1增加了偏移量δ＝{δ|δ∈[-1,1]}，并且偏移量依次累加，从而确保卷积核符合线性形态结构，公式表示如下：

13、

14、由于偏移量通常是小数，因此采用双线性插值计算得到偏移后点的像素值，公式如下：

15、

16、其中q表示在特征图上p点周围距离最近的四个整数位上的点，x(q)表示q点的像素值,x(p)表示偏移后的点p通过计算所得的值，p＝p0+pn+offsetn。

17、进一步地，步骤2中，dbfe的区域特征提取分支由mdfe模块组成，对于输入数据hi,i＝1,2,...,m，将其按通道均匀的分割成s个特征图子集hi,j,j＝1,2,...,s。除了hi,1不经过卷积层，是一个快捷连接外，其余hi,j,j＝2,3,...,s都有相应的5×5可变形卷积层，用di,j(·),j＝2,3,...,s表示，di,j(·)由3×3可变形卷积、batchnormalization(bn)和relu激活函数依次组成。用yi,j表示di,j(·)的输出，每个分支j的输出都是由该分支的输入hi,j拼接前一个分支的输出yi,j-1后，经过di,j(·)得到的，因此yi,j可以写成：

18、

19、其中，表示拼接操作，每个5×5可变形卷积运算符di,j(·)可能从所有特征分割hi,j,j≤i接收特征信息，因此每个分支输出结果所对的感受野依次增加。本文通过重复堆叠小尺寸的卷积来等效的得到更大尺寸的卷积和感受野，并且由于两个卷积层相比于一个卷积层来说多使用了一个激活函数，因此增强了非线性能力。

20、进一步地，步骤3中，掩码和边界预测任务是二分类任务，因此采用负对数似然(nll)损失，而距离图估计任务是回归任务，采用均方误差(mse)损失。

21、设lcls是像素分类损失(即nll)，x是图像空间r中的像素位置，n个输入实例的掩码和边界预测任务的损失函定义为：

22、

23、其中，pmc(x；lmc(x))表示通过softmax激活的真实标签lmc的预测概率。

24、为了获得距离图估计任务的mse损失(即lreg)，本文根据预测距离和真实距离d(x)计算偏差：

25、

26、对于多个任务，将不同子任务的损失值汇总，得出总损失：

27、ltotal＝w1·lcls1+w2·lcls2+w3·lreg (8)

28、其中，lcls1、lcls2、lreg指的是三个子任务的损失值，分别对应掩码、边界和距离预测，w1、w2、w3是对应的权重系数。

29、进一步地，训练阶段使用初始学习率为10-2和权重衰减为10-4的apollo优化器来训练掩码预测和距离图估计任务，而使用初始学习率为10-8和权重衰减为10-4的随机梯度下降(sgd)优化器来训练边缘预测任务。

30、与现有技术相比，本发明的有益效果：

31、本发明提出的基于多类型卷积模块的双分支多任务网络dbmnet，在原有u-net网络的基础上，设计了双分支特征提取模块替换原网络的卷积层，使网络能综合提取图像的边缘特征以及不同大小和形状的田地块区域特征，增加了网络深度的同时，提升网络对不同尺度信息的感知能力，从而提高网络的分割精度。网络最终分别输出田地块的边界、掩码和边界距离，而边界检测和距离回归有利于改善农田地块掩码的精度提取，从而使网络有更好的泛化效果。

32、本发明提出的双分支特征提取模块dbfe，设计了边缘特征提取分支和区域特征提取分支。针对边缘特征的提取，设计了动态线形约束卷积模块lcdc，增强网络对细长线形结构的感知，自适应地聚焦于细长和曲折的局部结构，来准确捕捉田地边界的边缘特征。针对区域特征的提取，设计了多尺度可变形卷积特征提取模块mdfe，在不同的尺度下对输入数据进行可变形卷积操作，自适应地聚焦于田地块的形状结构，准确捕捉不同大小和形状的田地块区域特征信息，提高模型的泛化能力。因此，基于多类型双分支卷积神经网络的农田地块提取方法不仅具有非常重要的学术价值，而且具有重要的现实意义和应用潜力。