作物品种鉴定方法、装置、设备及存储介质

本发明涉及品种鉴定，尤其涉及到一种作物品种鉴定方法、装置、设备及存储介质。

背景技术：

1、栽培品种鉴定通常是植物引种或改良计划的第一步，品种鉴定在作物品种的评估、筛选繁殖和品种授权中起着至关重要的作用，一个快速、准确、有效的栽培品种鉴定方法对现代农业具有重要意义。现有在农业界实际应用的栽培品种鉴定方法以传统方法为主，传统品种鉴定方法主要通过分析植物的形态特征和dna分子片段对植物品种鉴定，这类方法具有鉴定周期长，成本高，鉴定条件苛刻，对植株具有入侵性等局限性。叶片相比于其它植物器官拥有更为显著的特征，通常拥有明显的颜色、形状、叶脉和纹理特征，是提高品种鉴定效率的良好研究对象。已有研究从多方面证明植物叶片图像可以用于植物物种(species)的区分，然而植物叶片是否可以用于品种(cultivar)分类，还是一个少有研究的具有挑战性的问题。与采用叶片图像对物种进行分类不同，品种分类的叶片图像特征模式更难获取，如图1中a)来自swedish数据集的6个不同种类植物叶片所示，植物物种间具有显然不相同的图像特征，如形状，色彩和轮廓，仅凭视觉差异可以轻松对这些物种进行区分。而对于同一种物种的不同品种，则难以凭借视觉差异对这些品种进行区分，同一个物种的不同品种的叶片图像几乎共享所有的几何形状和色彩信息，如图1中b)所示，来自6个不同品种的樱桃叶片视觉上具有很高的相似性，即使是专门从事樱桃研究的专家也很难根据叶片图像将这些樱桃的品种进行区分。

2、随着机器学习(machine learning)的发展，研究人员开始使用机器学习方法来描述植物叶片的特征，以此进行植物物种或栽培品种分类，主要是一些手工特征定义的方法。手工提取特征的方法通常通过定义特征描述算子描述植物叶片的形状、叶脉和纹理特征，在描述植物物种间差异的应用中取得了良好的效果，但在描述同一物种品种间微小差异时效果不佳。随着深度学习(deep learning)的快速发展，使得用深度学习方法提取叶片图像特征进行品种分类成为了可能。深度神经网络具备自动特征工程能力，以大量训练数据迭代训练生成的深度神经网络可以学习到具有代表性的抽象特征，研究表明，以卷积、池化、激活函数堆叠而成的深度卷积神经网络方法在植物物种分类的任务中取得了卓越的效果。

3、2、现在技术方案：

4、1)传统方法：形态描述符鉴定法使用株高、茎宽、叶宽、叶长、叶长宽比、花冠长度、花冠宽度、花冠长度、花冠长宽比、花药长度、果实重量、果实长度、果实直径、果实长宽比等植物形态特征作为形态学描述符，通过选定形态学描述符，在植物生长的整个生命周期收集和比较这些形态描述符之间的差异，并采用记录的方式生成栽培品种鉴定图谱，可有效鉴定植物品种。另一种是实验室鉴定方法，在专用实验室中使用化学试剂和专业设备对作物叶片或者其组织进行处理的实验室鉴定方法，主要有高光谱鉴定技术和dna分子标定技术。高光谱鉴定技术一般使用能够充分表达叶片样本内部的物理结构和化学信息的叶片高光谱图像作为研究对象进行植物品种鉴定，通过使用高光谱成像仪采集叶片高光谱图像，并使用掩膜提取图像的光谱特征，对光谱进行降维，最后分析光谱特征的波长可以对植物品种进行鉴定。

5、2)机器学习方法：

6、在基于手工特征的品种鉴定方法中，火元莲等人采用图像二值化和灰度化的方法对叶片图像进行处理，提取得到叶片的形状特征参数、灰度共生矩阵、不变矩特征等组成26维特征向量，在此基础上使用极限学习机(elm)算法对特征向量进行分类，他们的实验在公开数据集flavia上对13个植物种类进行分类，测试集准确率达到了98％。wang b等人提出了多尺度拱高(march)法，该方法从叶片的每个轮廓点提取不同弦跨度的分层拱高特征以提供紧凑的多尺度叶片形状描述算子，在四个公开的数据集swedish、flavia、icl、imageclef上进行了实验，实现了更高的分类效率和分类速度。mouine s等人提出了三角形表示法作为叶片形状描述算子，通过定义四种多尺度三角形使得模型鲁棒性得到提高，在叶片出现平移、旋转、缩放和部分遮挡的情况时仍能有效提取叶片的形状特征。梅星宇等人提出了一种叶片复频域纹理特征描述算法，首先通过对叶片图像进行灰度处理，中值滤波，去噪，然后对分块后的每块叶片图像计算多频域局部二元模式(lbp)和局部向位量化(lpq)，最后通过特征融合并使用knn分类算法进行分类，在公开数据集flavia上去的了96％的准确率。

7、在基于自动特征提取的深度学习品种鉴定方法中，目前已经有深度学习集成分类算法、全卷积神经网络、反卷积网络(dn)、微调dcnn、优化cnn-softmax等成果相继提出用于叶片图像分类任务。在具体工作中，grinblat g l等人使用深度神经网络对大豆叶片的叶脉模式特征进行识别，实验对大豆、红豆、白豆三种豆科植物进行分类取得了成功。zhang c等人提出了一个9层卷积神经网络，在网络中添加了局部响应归一化(lrn)以提高模型的泛化能力，上述研究初步证明了深度卷积神经网络在叶片分类中的可行性。nasiri a等人使用微调vgg16网络从葡萄叶片的高光谱图像中提取高级光谱特征，在6个葡萄栽培品种的识别中取得了92.72％的准确性。他们的方法比传统的基于人工特征的方法更加准确和高效。wei tan j等人提出了一种新颖的神经网络d-leaf，将多个预训练的模型和微调的alexnet相结合用于叶片叶形、叶脉特征提取，将所得特征分别使用svm、knn、cnn等分类器进行分类，验证了联合模型对叶脉特征提取的有效性。tavakoli h等人提出了一种判别性卷积神经网络，用加法角度边际损失和大边际余弦损失替换了softmax层和交叉熵损失函数，使得分类网络更具判别能力。zhang y等人提出了一种mfcis方法，该方法使用xception网络来提取樱桃叶的特征，通过额外增加叶片的纹理叶脉等人工特征，过对88个樱桃栽培品种进行分类，获得了83.5％的准确率。

8、传统鉴定方法存在的缺点：实验室品种鉴定方法的性能在很大程度上受到实验环境和实验设备的影响，通常鉴定成本较高并，目前农业界使用的品种鉴定方法还是以形态描述符鉴定方法为主。而形态描述符的收集需要贯穿植物生长的整个生命周期，一旦在途中出现差错，研究者需要再次对植物进行播种并再次进行收集，导致了形态描述符方法的鉴定周期更长。更重要的是，该方法的鉴定性能通常与描述符的选择密切相关，栽培品种鉴定中使用什么样的描述符是由检验员主观决定的，检验员的经验和先验知识储备直接决定了作物栽培品种鉴定的准确性，对于一些叶片外观几乎一致的近似品种，行业专家也难以做出鉴定，故形态描述符栽培品种鉴定还存在一定的局限性，准确性受检验人员的主观性影响较大。

9、机器学习方法存在的缺点：在基于手工特征的品种鉴定方法中，对于不同种类的植物叶片，叶片具有独特的形状、纹理、和色彩特征，对于不同种类的植物叶片需要设计不同的特征描述算子，导致人工定义特征进行品种分类的方式人工成本依然较高，自动化程度较低。另外，特征描述算子的好坏很大程度上仍旧取决于研究人员的主观判断，研究人员的主观性会影响鉴定模型的准确率，这并没有解决传统方法中的主观性局限。自动特征提取的品种鉴定方法解决了传统方法和手工特征方法所存在的成本高、周期长等问题，但该类方法仍然存在一定局限，基于深度学习的自动特征提取过程仍然沿用单一过程的方式，即使用卷积核扫描叶子图像，提取图像的整体视觉信息，包括纹理、颜色、形状等。这种策略忽略了一个事实，即鉴别性的特征只包含在叶子图像的局部，全局特征不会提供足够的信息来支持识别过程。此外，大多数现有的基于深度学习的方法利用了计算机视觉领域广泛采用的架构，如vgg16，而没有考虑基于叶子图像的植物栽培品种识别的特殊性。这些方法忽略了网络结构对栽培品种识别的影响，强调通过优化损失函数来实现更好的性能。基于深度学习的模型通过对损失函数进行直接优化使得模型侧重于捕捉叶子图像的全局特征，而在实际应用过程中，同一个植物的需要进行分类的品种是成百上千种，已有自动特征提取的植物品种鉴定工作的分类数量大多为几种和几十种，一旦将其分类品种的数量增加，其性能与实际应用的要求仍有距离，仍有很大的改进空间。

技术实现思路

1、本发明的主要目的在于提供一种作物品种鉴定方法、装置、设备及存储介质，旨在解决目前传统品种鉴定方法鉴定成本较高且鉴定等待时间漫长，鉴定准确率因检验员的水平差异而具有主观性，以及现有基于机器学习的品种鉴定方法中存在的自动化程度不够高，基于深度学习方法中准确率较低等问题。

2、为实现上述目的，本发明提供一种作物品种鉴定方法，所述方法包括以下步骤：

3、将叶片图像经过多层卷积神经网络后获得的特征图输入fpn网络，生成多尺度特征图；

4、使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

5、使用kl散度进行候选区域判别性排序，选择top-k个具有判别性的k个候选区域；

6、使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

7、可选的，fpn网络具有：自上而下的途径和自下而上的途径，且自下而上的路径和自上而下的路径的特征图通过元素相加的方式进行合并。

8、可选的，生成多个候选区域步骤中，采用缩放运算符为每个滑动窗口中心的锚点生成多个局部区域r＝ηs×θs，得到n个候选区域组成的候选区域集合其中η和θ是缩放比例。

9、可选的，使用kl散度进行候选区域判别性排序，选择top-k个具有判别性的k个候选区域步骤，具体包括：

10、利用one-hot编码子模块将栽培品种信息转换为二进制向量l向量中有且只有一个元素为1，表示每一张叶片图像真实的栽培品种信息；k是所识别的栽培品种的数量；

11、将候选区域输入特征提取子模块进行特征提取，获得候选区域cri的特征向量

12、根据每个局部候选区域的可判别性对候选区域集cr＝{cri|i∈[1，n]}进行排序，选择top-k个具有判别性的k个候选区域。

13、可选的，所述候选区域集cri的判别性的表达式，具体为：

14、

15、表示局部候选区域cri对作物品种分类的有用性，表示局部候选区域cri的信息量，α代表有用性对信息量的相对重要性，为第j哥局部区域的特征向量表达。

16、可选的，全连接层神经网络训练的损失函数的表达式，

17、具体为：

18、l＝μl1+βl2+γl3

19、其中，l1为候选区域检测损失，l2为判别性区域提出损失，l3为品种栽培品种分类损失，超参数μ、β、γ是三部分损失的权重。

20、可选的，对于局部候选区域检测损失l1，给定一个叶片图像的候选区域集cr＝{cri|i∈[1，n]}和该栽培品种的真实one-hot编码向量l，信息量排序ir(cri)和有用性ur(cri)排序定义为：

21、

22、

23、其中，s(·，·)是相似性函数，是特征提取模块fθ中全连接层的输出；

24、判别性局部区域检测损失函数l1的具体定义如下：

25、

26、对于判别性区域提出损失l2，定义为：

27、

28、其中，fθ(·)表示特征提取网络；

29、对于品种栽培品种分类损失l3，定义为：

30、

31、其中，m为测试样本数，p是批尺寸，yi为当前栽培品种的真实标签，gθ(x)为叶片图像xi的栽培品种分类结果，gθ(·)为栽培品种识分类模块。

32、此外，为了实现上述目的，本发明还提供了一种作物品种鉴定装置，所述作物品种鉴定装置包括：

33、第一生成模块，用于将叶片图像经过多层卷积神经网络后获得的特征图输入fpn网络，生成多尺度特征图；

34、第二生成模块，用于使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

35、选择模块，用于使用kl散度进行候选区域判别性排序，选择top-k个具有判别性的k个候选区域；

36、分类模块，用于使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

37、此外，为了实现上述目的，本发明还提供了一种作物品种鉴定设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的作物品种鉴定程序，所述作物品种鉴定程序被所述处理器执行时实现上述的作物品种鉴定方法的步骤。

38、此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有作物品种鉴定程序，所述作物品种鉴定程序被处理器执行时实现上述的作物品种鉴定方法的步骤。

39、本发明实施例提出的一种作物品种鉴定方法、装置、设备及存储介质，所述方法包括：将叶片图像经过多层卷积神经网络后获得的特征图输入fpn网络，生成多尺度特征图；使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；使用kl散度进行候选区域判别性排序，选择top-k个具有判别性的k个候选区域；使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。本技术使用fpn检测叶片图像的多尺度局部特征，采用rpn生成若干局部候选区域，通过排序网络筛选局部区域的判别性，最后通过全连接网络进行特征拼接实现作物栽培品种的准确鉴定，提升了品种鉴定的自动化与准确性。