端到端的方向性花生气孔表型实时智能检测方法及系统

1.本发明涉及图像数据处理技术领域，属于人工智能辅助的现代农业技术领域，具体涉及端到端的方向性花生气孔表型实时智能检测方法及系统，特别涉及基于端到端的方向性目标检测网络，构建有损和无损花生气孔表型智能分析方法及系统—peanutnet。


背景技术：

2.气孔调控植物与环境间的气体交换，是遗传改良水分利用效率的重要靶点。双子叶植物表皮气孔由一对保卫细胞和中间的孔径组成的结构，在碳同化、呼吸、蒸腾作用等气体代谢中，成为空气和水蒸气的通路，其通过量是由保卫细胞的开闭作用来调节，在生理上具有重要的意义。因此气孔的定位、密度和开度等因素对植物自身的生长发育、抗逆性等方面起着重要的作用。
3.植物体自身在长期环境适应过程中已经进化出在逆境条件下（高温、干旱等）防止水分流失、平衡对重要器官的供水、维持细胞水分含量及在干旱期间维持生存的策略，调节气孔开度及气孔密度，减少水分散失，平衡植物的抗逆性和生长发育与植物的抗逆性密切相关。受到全球气候变化和人口剧增的影响，粮食安全问题已成为世界各国面临的共同挑战。花生是我国重要的经济作物和油料作物，全国花生种植面积7096.2万亩，占全球的近20%（2020国家统计局）。据统计，常年干旱造成我国70%的花生受到不同程度干旱胁迫的影响，花生减产量占全国总产量的20%以上。因此花生在逆境条件下快速获取气孔的数量和运动调节特性的获取有着重大而又长远的理论和应用价值。对气孔动力学性状进行遗传改良从而使农作物获得更高的抗逆能力和水分利用效率，是当下科学家们研究的前沿课题，因此如何能够快读准确的在花生叶片图像（包括有损和无损方式获取的图像）下检测气孔是研究并分析花生生长特征的前提和关键。
4.在过去的几十年中，主要依靠人工手动或半自动的方法来统计气孔的数量及表型性状，耗费了大量的人力成本和时间成本，准确度也不高。开发气孔性状智能检测技术显得尤为重要。近年来该领域也陆续有相关报道。其中，sanyal等人（analysis of sem images of stomata of different tomato cultivars based on morphological features）提出了通过利用显微镜图像处理技术，采用分水岭技术提取特征，再基于气孔结构对不同的番茄类型进行分类。
5.后随着卷积神经网络的发展以及其在图像检测领域展现出的优越性能，越来越多的人将卷积神经网络用来处理气孔图像，以快速的获取气孔的特征信息。如王静涛（基于faster_r-cnn的活体植株叶片气孔检测方法研究）用faster r-cnn模型检测杨树叶片的气孔，并在白桦树叶片数据集上进行了泛化性实验得到和很好的效果；宋文龙等人利用mask r-cnn深度语义分割模型对植物的气孔进行检测，他们在训练阶段先对训练集中的气孔进的轮廓打标签，然后再进行训练，这样在检测后根据得到的气孔轮廓的标签信息，利用椭圆拟合来拟合出气孔的大小以获得气孔的表型信息。这些方法都不能获得或一次性直接获得气孔的表型信息，还需要运用分割模型等进一步的操作，增加了操作量。而目前对于花生气
孔的研究非常的少，花生是双子叶植物，生长地一般在干旱半干旱地区，经常遭受不同程度和持续时间的干旱胁迫，对其气孔的开放程度有较大的影响，相比拟南芥、大豆这些双子叶植物的气孔小些，不易于测量。对花生的气孔的密度、开度的研究，对于理解花生气孔运动和发育的调控机制及花生重要农艺性状的遗传改良均有着重要意义。因此本发明基于改进的r3det模型提出了端到端的方向性花生气孔表型性状智能检测方法及系统。


技术实现要素：

6.为了解决现有技术的不足（气孔的表型信息获取无法一次性获得；检测的气孔图像需要进行生物处理，再进行拍摄获取图像），本发明旨在提供一种端到端的方向性的且高效准确地对花生气孔进行实时的智能识别的方法及系统（命名为peanutnet），该方法对有损或者无损方式获取的花生叶片表皮气孔图像数据都可以检测，具有实时性，通过构建的端到端的方向性目标检测网络，一站式实现实时的花生叶片气孔定位，密度和开度等表型信息全自动获取。
7.为了实现上述目的，本发明采用的技术方案如下：本发明提供了一种基于端到端的方向性花生气孔智能检测方法，包括如下步骤：1) 将来自导入图像模块的花生叶片图像（有损方式获取的，或相机直接拍摄的无损图像）分成训练集、验证集、测试集，并对训练集和验证集中的花生气孔进行人工标注；2) 训练集读取和预处理，对花生叶片图像进行特征提取和气孔的表型信息及边界框预测；在边界框回归时，计算每个样本框robndbox（检测框）与ground truth（真实框）的相似程度(intersection over union, iou)，其中和代表两个不同的robndbox的面积，公式(1)表明：两个不同框的重叠面积越大，预测准确性越高，一般而言，iou 0.5即满足检测，本发明中运用c-iou来度量真实框与检测框的相似程度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)针对原网络中运用的g-iou来说，这里引入可以测量检测框长宽信息的c-iou来检测真实框和预测框的近似程度，在回归检测框的时候能够更好更快的贴合真实框，且检测框更加贴合目标的整体轮廓及更好的获取气孔的表型信息；框更加贴合目标的整体轮廓及更好的获取气孔的表型信息；框更加贴合目标的整体轮廓及更好的获取气孔的表型信息；其中为交并比损失，为预测框的中心坐标（）与真实框的中心坐标（）之间的欧氏距离，为能包含真实框和预测框的最小框的对角线距离，为权重
函数，用来衡量长宽比的相似性，为真实框的宽度，为真实框的高度，分别为预测框的宽和高。该模型最初的iou损失函数设计不包含宽高的信息，由此我们运用了其他的iou损失函数（等式（2））来弥补这一缺陷。计算得到的值，反复迭代得到最小值。
8.3) 构建预训练模型，对训练集的全部图像进行训练，计算每次迭代的网络模型的损失函数值，直至损失函数值收敛到最小，即保存当前模型和损失函数值最小时的训练权重；4) 载入训练后的模型，通过气孔检测模块对测试集中花生叶片图像进行气孔检测，并将气孔的位置图、表型性状和边界框标注的实际情况反馈给用户；用户通过识别后的图像即可判断边界框标注的实际情况；其中，气孔的边界框标注的实际情况具体有：在模型识别过程中花生叶表皮图像中的气孔是否均被边界框完全的框住、一个气孔周围是否被多个边界框框住、气孔是否被完整且精确贴合地框住（即边界框的四条边都贴合气孔边缘的四个顶点，且边界框的角度与气孔的旋转角度一样（以前的气孔检测方法都直接用水平检测框来框住目标，水平框没有角度信息，因此不能较好的贴合气孔的边界，基于水平框获得气孔的表型信息误差较大））等。
9.5) 通过模型参数调整模块，用户参与参数调整，对测试集进行识别：若用户对花生气孔表型性状的检测与识别结果满意，则停止调整参数，计算并得到气孔的尺寸、表型信息，并由保存检测与识别详细信息模块进行信息显示与识别；若不满意，则用户可以根据需要，调整气孔目标最小存在可能性，以及非极大值抑制的大小，并返回步骤4)，直至用户满意。
10.具体地，步骤1)包括：(1-1) 获取花生叶片的图像数据（包括有损和无损方式获取的图像，模型检测无损方式获取的图像，不需要在对花生叶片进行生物上的处理，直接检测，可使研究实现实时性）；(1-2) 将花生叶片图像及标注的信息进行整合，并按照用户指定的图像数量比例分为训练集、验证集和测试集；(1-3) 利用标注工具rolabelimg，对训练集和验证集的图像进行气孔标注，每个花生气孔的标注信息包括该气孔形态学的中心点横纵坐标值、宽、高旋转角度（）；(1-4) 生成并保存为对应xml文件，以此获得每个气孔的位置及边界框坐标信息，后将保存的xml文件转换成txt格式的文件，用于后续的训练；(1-5) 考虑到花生气孔的目标小、分布密集，将训练集中的图片进行分割，将每张图片分割成多个分辨率为600*600的图像，并分割对应的txt文件，使得分割后的图像与txt标签文件实现一一对应，这样在训练时对原图片的每个部分分开训练，保证模型能训练的更精确。
11.具体地，步骤2)包括：(2-1) 读取训练集全部花生叶片图像及每个图像的标签信息；(2-2) 将dota数据集和花生叶片图像数据集分别作为源领域和目标领域，
基于迁移学习对系统进行预训练和优化；(2-3) 采用特征金字塔网络(feature pyramid network)结构来融合目标的基础信息，并获取得到初步特征图；(2-4) 对上一步中得到的初步特征图输入渐进回归模块（progressive regression），在该模块的第一个阶段，即用水平框来定位目标，对初步的特征进行细化，提高模型的召回率，用定义的filter_bboxes函数对特征图的每个位置过滤预测的水平边界框，每个位置只留一个最高的水平边界框，并得到粗略的分类损失值和回归损失值；(2-5) 在（2-4）的第一个阶段后进入第二阶段—精炼阶段（refinement stage），引入角度信息，用旋转边界框来定位目标，得到特征信息，并得到分类损失值和回归损失值；(2-6) 在特征精炼阶段，运用线性插值的方法及卷积来获取更加精炼的气孔的位置信息，进行特征重构，实现特征对齐，使得和的特征分布更加接近，计算和的距离, 并得到分类损失值和回归损失值；(2-7) 每个边界框都预测一组类别，采用逻辑回归作分类器预测每个类别置信度分数，并获取最大的阈值的类别做为该边界框的类别；(2-8) 对获取的边界框类别的宽高参数及角度进行调整，再将这些信息进行堆叠、排序并拼接到一起得到最后的结果。
12.具体地，步骤3)包括：(3-1) 设置全部训练集的训练所需的迭代轮数为s，一次读入的图像数量为q张，其中s1，q1；(3-2) 将步骤(2-6)得到的加入到每一阶段的损失函数中，计算每轮迭代的网络模型的损失函数值得到络模型的损失函数值得到(5)式中，指模型总的损失函数值，和分别表示第一步的回归和分类结果的迭代损失函数值；和分别表示第二步的回归和分类的迭代损失函数值；和表示特征精炼阶段的回归和分类的迭代损失函数值；(3-3) 重复步骤(3-2)，直至得到的损失函数值最小，即保存该模型。
13.具体地，本发明还公开了用于一种端到端的方向性花生气孔智能检测方法的系统，包括以下模块：导入花生气孔图像模块，本模型既可以对花生叶片的光学显微镜图像（有损方式获取的图像）中的气孔进行识别，也可以对相机直接拍摄的花生气孔图像（无损方式获取的图像）进行识别，使得用户从本地文件中选择需要识别的单张或多张花生叶片图像；
花生叶片气孔检测模块，在模型的检测框的回归过程中引用了c-iou方法来对真实框和检测框之间的交并比进行度量，c-iou对于网络中本身的交并比度量方法来说，引入了对气孔和开度的长宽信息的约束，使训练和检测过程中，检测框能够更好更快的贴合真实框，且检测框更加贴合目标的整体轮廓，为模型更好的获取气孔的表型信息提供了可能性。系统对导入的图像进行气孔的检测和识别，以及气孔的位置和表型信息处理计算，并保存处理后的图像和结果文件，用户可以自己选择所要保存的内容，如检测图、气孔切割图、包含气孔的长宽等数据的excel文件；批量处理与显示模块，使得用户从本地文件中选择一个或多个目录下的多张花生叶片图像，系统自动对导入目录下的所有图像进行气孔检测和识别，以及气孔表型性状处理计算，并显示批量处理后的花生叶片图像，保存处理后的全部图像和结果；模型参数调整模块，使得用户自定义合适的模型参数；保存检测与识别详细信息模块，保存检测与识别后的单张花生叶片图像和该图像中气孔的位置、密度和开度等详细信息。
14.本发明具有的有益效果为：1.本发明在模型的检测框的回归过程中引用了c-iou方法来对真实框和检测框之间的交并比进行度量，c-iou对于网络中本身的交并比度量方法来说，引入了对气孔和开度的长宽信息的约束，使训练和检测过程中，检测框能够更好更快的贴合真实框，且检测框更加贴合目标的整体轮廓，为模型更好的获取气孔的表型信息提供了可能性。
15.2.本发明运用peanutnet对自定义的花生叶片图像集进行检测和识别，根据识别的实际效果让用户参与其中，并进行适当的模型参数调整，提高用户对花生气孔的位置及表型信息的计算的效率，降低了模型的训练时间，极大地方便了用户对花生叶片上气孔性状的分析，用户能通过自定义参数功能最大限度地提高花生叶片气孔表型的识别准确性和可扩展性。
16.3.本发明基于该方法的系统界面设计简洁，操作简易，易于实现，适合各类用户的使用。
附图说明
17.图1 为本发明的方法流程图；图2为花生叶片图像（左侧为有损方式获取的图像，右侧为无损方式获取的图像）；图3 检测出的花生叶片表皮细胞的气孔；图4为本发明花生叶片气孔检测的界面；图5为本发明批量显示后的结果展示界面；图6 为本发明的使用过程流程图。
具体实施方式
18.实施例1 一种端到端的方向性花生气孔智能检测方法如图1所示，本发明提出一种端到端的方向性花生气孔智能检测方法，包括步骤：1）将来自导入图像模块的花生叶片图像分成训练数据集、验证数据集、测试数据集，并分别对训练集和验证集进行花生气孔的人工标注边界框。具体实现步骤如下：
(1-1) 根据需要选取叶表皮细胞图像，分辨率为3072*2048；(1-2) 将其按照用户指定的图像数量比例(比例值可为7:2:1)分为训练数据集(83张)，验证数据集(24张)和测试数据集(12张)；(1-3) 利用标注工具rolabelimg，对训练数据集和验证数据集的部分花生叶片图像的所有气孔的表型性状进行人工标注robndbox；(1-4) 生成并保存对应的xml标记文件，将xml标记文件转化为txt文件，便于记录每张花生叶片图像的所有气孔表型性状的robndbox坐标，并用于后续的训练。
19.）读取、预处理训练集，采用深度迁移学习，使用peanutnet对生叶表皮细胞图像进行特征提取和花生气孔的表型性状的robndbox预测；常用的目标检测技术中的检测框的类别分为没有角度参数的水平检测框和有角度的旋转检测框。水平检测框的标注参数一般为,其中()为水平框的左上角点的坐标，（）为水平框的右下角的表坐标，以此来确定目标的位置信息。而旋转检测框相较于水平检测框多了一个角度信息，旋转检测框的标注参数一般为,其中参数分别为检测框的宽度、高度、中心点的横坐标、中心点的纵坐标以及检测框与水平轴正方向的夹角值。旋转的检测框关注目标较水平方向的角度信息，这对于气孔这类分布不规则、角度多变的目标来说非常适用，获得的气孔的表型信息也会更加准确。本发明采用改进的r3det网络结构—peanutnet，该网络即为旋转的目标检测网络，在训练和检测过程中会关注到目标的角度信息。本文中，在检测框的回归过程中引用了c-iou方法来对真实框和检测框之间的交并比进行度量，c-iou对于网络中本身的交并比度量方法来说，引入了对气孔的长宽信息的约束，使训练和检测过程中，检测框能够更好更快的贴合真实框，且检测框更加贴合目标的整体轮廓，给模型检测多类型的花生气孔图片及更好的获取气孔的表型信息提供了可能性。
20.为了降低计算门槛，提高对花生气孔表型性状检测与识别的准确性，本发明对密度高、分布不规则及方向不确定的花生气孔表型性状进行快速精确检测。具体实现步骤如下：(2-1) 读取训练集全部花生叶片图像及每个图像的标签信息；(2-2) 将dota数据集和花生叶片图像数据集分别作为源领域和目标领域，基于迁移学习对系统进行预训练和优化；(2-3) 采用特征金字塔网络(feature pyramid network)结构来融合目标的基础信息，并获取得到初步特征图；(2-4) 对上一步中得到的初步特征图输入检测框的分类与回归阶段，在该阶段的第一步，即用水平框来定位目标，对初步的特征进行细化，提高模型的召回率，用定义的filter_bboxes函数对特征图的每个位置过滤预测的水平边界框，每个位置只留一个最高的水平边界框，并得到粗略的分类损失值和回归损失值；(2-4-1) 计算每个样本框robndbox（检测框）与ground truth（真实框）的相似程度(intersection over union, iou)，构造一种损失函数，迭代得到最小的，包括以下过程：
(2-4-2) 计算两个框之间的交并比(iou)，即
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中和代表两个不同的robndbox的面积，公式(1)表明：两个不同框的重叠面积越大，预测准确性越高，一般而言，iou 0.5即满足检测，针对原网络中运用的g-iou来说，这里引入可以测量检测框长宽信息的c-iou来检测真实框和预测框的近似程度，在回归检测框的时候能够更好更快的贴合真实框，且检测框更加贴合目标的整体轮廓及更好的获取气孔的表型信息；(2-4-3)3)3)其中为交并比损失，为预测框的中心坐标（）与真实框的中心坐标（）之间的欧氏距离，为能包含真实框和预测框的最小框的对角线距离，为权重函数，用来衡量长宽比的相似性，为真实框的宽度，为真实框的高度，分别为预测框的宽和高。该模型最初的iou损失函数设计不包含宽高的信息，由此我们运用了其他的iou损失函数（等式（2））来弥补这一缺陷。计算得到的值，反复迭代得到最小值；(2-5) 在（2-4）的第一步后进入第二步—精炼阶段（refinement stage），引入角度信息，用旋转边界框来定位目标，得到特征信息，并得到分类损失值和回归损失值的损失值；(2-6) 在特征精炼阶段，运用线性插值的方法及卷积来获取更加精炼的气孔的位置信息，进行特征重构，实现特征对齐，使得和的特征分布更加接近，计算和的距离, 并得到分类损失值和回归损失值；(2-7) 每个边界框都预测一组类别，采用逻辑回归作分类器预测每个类别置信度分数，并获取最大的阈值的类别做为该边界框的类别；(2-8) 对获取的最大的阈值的类别的宽高参数及角度进行调整，再将这些信息进行堆叠、排序并拼接到一起得到最后的结果。
21.3) 结合peanutnet构建预训练模型，对训练集的全部图像进行训练，计算每次迭代的网络模型的损失函数值，直至损失函数值收敛到最小，即保存当前模型和损失函数值最小时的训练权重；具体包括：(3-1) 设置全部训练集的训练所需的迭代轮数为s，一次读入的花生叶片图像数量为q张，其中s1，q1；
(3-2) 将步骤(2-6)得到的加入到每一阶段的损失函数中，计算每轮迭代的网络模型的损失函数值得到；(5)式中，指模型总的损失函数值，和分别表示第一步的回归和分类结果的迭代损失函数值；和分别表示第二步的回归和分类的迭代损失函数值；和表示特征精炼阶段的回归和分类的迭代损失函数值；(3-3) 重复步骤(3-2)，直至得到的损失函数值最小，即保存该模型。
22.4） 载入训练后的模型，对测试集中花生叶片图像进行气孔检测，并将气孔的位置图、表型性状和边界框标注的实际情况反馈给用户；用户通过检测后的图像即可判断robndbox标注的实际情况；其中，花生气孔的表型性状的robndbox标注的实际情况具体有：在模型检测过程中花生叶片图像中的所有气孔是否均被robndbox框住、一个气孔周围是否被多个robndbox框住、花生气孔是否被完整且精确地框住（即边界框的四条边都贴合气孔边缘的四个顶点，且边界框的角度与气孔的旋转角度一样（以前的气孔检测方法都直接用水平检测框来框住目标，水平框不含角度信息，因此不能较好的贴合气孔的边界，基于水平框预测获得的气孔的表型信息误差较大））等。
23.5)用户参与参数调整，对测试集进行识别：若用户对花生气孔表型性状的检测与识别结果满意，则停止调整参数，计算并得到气孔的尺寸、表型信息，并进行信息显示与识别；若不满意，则用户根据需要，调整气孔目标最小存在可能性，以及非极大值抑制的大小，并返回步骤4)，直至用户满意。
24.实施例2 一种端到端的方向性花生气孔智能检测系统一种端到端的方向性花生气孔智能检测系统，包括：花生叶片图像导入图像模块、花生气孔检测模块、批量处理与显示模块、模型参数调整模块和保存检测与识别详细信息模块等。
25.花生叶片图像导入图像模块，使得用户从本地文件中选择待检测的单张或多张花生叶片图像。
26.花生叶片气孔检测模块，在模型的检测框的回归过程中引用了c-iou方法来对真实框和检测框之间的交并比进行度量，c-iou对于网络中本身的交并比度量方法来说，引入了对气孔和开度的长宽的约束，使训练和检测过程中，检测框能够更好更快的贴合真实框，且检测框更加贴合目标的整体轮廓，为模型更好的获取气孔的表型信息提供了可能性。系统自动对导入的图像进行花生气孔智能识别，以及花生气孔表型性状处理计算，并保存处理后的图像和详细信息结果excel格式文件。
27.批量处理与显示模块，使得用户从本地文件中选择一个或多个目录下的多张花生叶片图像，系统自动对导入目录下的所有图像进行花生气孔的检测和识别，以及气孔表型性状处理计算，并显示批量处理后的花生叶片图像，其中，批量显示结果如图5所示；保存处理后的全部图像和花生气孔检测后的详细信息结果为excel格式文件。
28.模型参数调整模块，使得用户自定义合适的模型参数，包括花生气孔最小存在可能性、置信度参数。
29.保存检测与识别详细信息模块，显示识别后的花生叶片图像和该图像中每个气孔的形态学计算详细结果，包括气孔和开度的个数、尺寸、密度、开孔率和闭孔率。
30.实施例3 仿真实验本发明的方法及系统用仿真实验给予进一步的展示，本系统的具体使用方法参照图6所示，以获取的花生叶片图像进行批量处理，并将图片作为用户选择并导入的待检测图像，仿真实验的检测图和结果图如图2（左边为有损方式获取图像，右边为无损方式获取的图像）和图3（左边为有损方式获取图像，右边为无损方式获取的图像）所示。
31.如图4（上面图为有损方式获取的图像，下面图为无损方式获取的图像）所示的花生气孔检测界面中，左边显示用户从花生叶片图像库中选图像作为待检测图像，在模型参数调整模块中设置气孔最小存在可能性为20%，点击“花生气孔检测”，即可在检测与识别系统的保存检测与识别详细信息模块得到该图像的所有花生气孔的检测与识别结果；中间为待测图像的检测图，其中每个气孔被检测与识别后用边界框围住，每个边界框上均标注该气孔置信度；右边部分为每张花生气孔图像检测后的详细数据，如每个花生气孔和开度的个数、尺寸、密度、开孔率和闭孔率。图5表示用户进行批量处理后的系统结果展示界面。
32.根据图2和图3所示，本发明的花生气孔智能检测方法有较高的准确性和提供较全面的气孔检测信息。系统界面设计简洁，操作简易，适合各类用户的使用。
33.本发明能够批量处理待检测的花生叶片图像（包括有损方式和无损方式获取图像），通过旋转的目标检测模块快速、准确定位花生气孔，并且进一步对气孔进行分析以获取大小等信息，极大地方便了用户对待测的花生气孔表型性状的分析，模型训练耗时短，最大限度地提高花生气孔自动检测与识别准确性和高效性。