玉米冠层叶色建模系统及方法与流程

本发明涉及农业遥感技术领域，具体涉及一种玉米冠层叶色建模系统及方法。

背景技术：

玉米是我国广泛种植的粮食和饲料作物，同时也是重要的工业原料。玉米叶片是进行光合作用的主要场所，其颜色特征可以反映叶片内部的生理生化属性，并且与叶绿素含量及光合速率等生理性状具有一定相关性。叶绿素含量是作物的重要生理指标，常规测定方法包括分光光度计法和amon法等。但这些测量方法通常会对作物造成损伤，而且工作量大、难以实现作物全生育期连续测量。另外，传统的玉米叶色判定主要依靠人工目测观察，主观性较强，对玉米叶色类型判定缺乏定量化指标。目前，图像处理技术在作物表型性状检测中发挥了重要作用，在一些应用领域甚至已经逐步代替了人工操作，就作物颜色表型而言，图像处理与分析已逐步成为标准研究方法。

大田环境异常复杂，玉米叶色易受天气、光照、湿度等自然因素的影响，使得玉米叶色在田间的不同气象和土壤墒情条件下显示出较大变异区间。迄今为止，对玉米整个生育期内叶色变化进行定量化分析仍然是个研究难点。hsv是根据颜色直观特性创建的一种颜色空间，包括色相(h，取值范围0-360度)、饱和度(s，取值范围0～1)与亮度(v，取值范围0～1)分量，其中色相表示颜色类别(叶色)、饱和度表示颜色纯度、亮度表示颜色明暗。与rgb等颜色空间相比，hsv直观表示了颜色的明暗、色调和鲜艳程度，有利于进行颜色之间定量比较和分析。玉米叶色直观地反映了玉米长势长相状况，与营养、水分、病虫害状况也直接相关。

因此，现有的亟待解决的技术问题之一为：如何提出一种适用于全生育期的玉米冠层叶色建模方法，满足田间环境下进行全生育期玉米叶色定量化分析、叶绿素测定、长势长相监测等需求。

技术实现要素：

为了解决上述技术问题，本发明提出如下技术方案：

本发明一方面提供了一种玉米冠层叶色建模系统，包括位于田间预设地点的支架模块，以及位于所述支架模块上的图像采集模块、自动气象熵情采集模块、数据采集与传输模块以及云端存储与计算模块；

所述图像采集模块用于实时采集目标区域内的全生育期的玉米冠层图像；

所述自动气象熵情采集模块用于测量所述目标区域内的气象数据和土壤信息；

所述数据采集与传输模块用于采集所述玉米冠层图像、所述气象数据和土壤信息，并将所述玉米冠层图像、所述气象数据和土壤信息发送到所述云端存储与计算模块；

所述云端存储与计算模块用于存储所述玉米冠层图像、所述气象数据和土壤信息并根据所述玉米冠层图像、所述气象数据和土壤信息进行玉米冠层图像序列分析，并根据所述冠层图像序列分析的结果建立玉米冠层叶色变化模型，以根据所述玉米冠层叶色变化模型进行实时采集图像的冠层叶色、长势长相的分析与评价。

可选地，所述支架模块包括支柱和位于所述支柱上侧的横梁；所述横梁的上侧还设置有避雷针。

可选地，所述图像采集模块包括工业相机、位于所述工业相机上的镜头和辅助拍摄灯，以及罩设于所述工业相机上的防水罩；所述工业相机的光轴垂直于地面；所述防水罩的顶端位于所述横梁上。

可选地，还包括：

远程控制模块，用于通过远程终端进行数据预览和/或计算分析结果显示。

可选地，所述云端存储与计算模块具体用于：

根据采集的全生育期的所述玉米冠层图像确定玉米冠层全生育期图像序列；并根据所述气象数据和土壤信息；

基于预先建立的作物知识模型对所述玉米冠层全生育期图像序列按照不同生育期和不同天气进行分类，并基于机器学习方法根据所述分类结果对所述玉米冠层图像进行标记，以分别获取不同生育期对应的图像数据集和不同天气对应的图像数据集；

根据所述不同生育期对应的图像数据集和所述不同天气对应的图像数据集确定所述玉米冠层全生育期图像序列于不同生育期、不同天气对应的多项标签，并根据所述多项标签进行图像分析，以根据所述图像分析的结果建立所述玉米冠层叶色变化模型。

可选地，所述气象数据包括空气温度、空气湿度、风速、风向、降雨量以及太阳辐射；所述土壤信息包括多个深度的土壤湿度和多个深度的土壤温度。

另一方面，本发明还提供了一种玉米冠层叶色建模方法，包括：

获取实时采集的目标区域内全生育期的玉米冠层图像以及测量的所述目标区域内的气象数据和土壤信息；

根据所述玉米冠层图像、所述气象数据和土壤信息进行玉米冠层图像序列分析，并根据所述冠层图像序列分析的结果建立玉米冠层叶色变化模型；

根据所述玉米冠层叶色变化模型进行实时采集图像的冠层叶色、长势长相的分析与评价。

可选地，所述根据所述玉米冠层图像、所述气象数据和土壤信息进行玉米冠层图像序列分析，包括：

根据采集的全生育期的所述玉米冠层图像确定玉米冠层全生育期图像序列；

根据所述气象数据和土壤信息，基于预先建立的作物知识模型对所述玉米冠层全生育期图像序列按照不同生育期和不同天气进行分类，并基于机器学习方法根据所述分类结果对所述玉米冠层图像进行标记，以分别获取不同生育期对应的图像数据集和不同天气对应的图像数据集。

可选地，所述根据所述冠层图像序列分析的结果建立玉米冠层叶色变化模型，包括：

根据所述不同生育期对应的图像数据集和所述不同天气对应的图像数据集确定所述玉米冠层全生育期图像序列于不同生育期、不同天气对应的多项标签；

根据所述多项标签进行图像分析，并根据所述图像分析的结果建立不同生育期的第一叶色变化模型以及同一生育期的不同天气条件下的第二叶色变化模型，以根据所述第一叶色变化模型和所述第二叶色变化模型建立玉米全生育期的玉米冠层叶色变化模型。

可选地，所述分别获取不同生育期对应的图像数据集和不同天气对应的图像数据集，还包括：

利用预设的图像分割方法对所述不同生育期对应的图像数据集和不同天气对应的图像数据集中的各玉米冠层图像进行分割；其中，所述分割的结果为仅包含玉米冠层结构的二值图像；

通过图像运算方法确定所述玉米冠层结构的rgb图像，并将所述rgb图像转换到hsi颜色空间下。

本发明的玉米冠层叶色建模系统及方法，可实现田间玉米群体全生育期连续监测，并考虑不同气象和土壤墒情等因素对玉米叶色的影响，建立玉米冠层叶色变化模型，并基于建立的全生育期的玉米冠层叶色变化模型，为基于玉米冠层叶色的叶绿素含量测定、玉米长势长相分析提供了可行性方案。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的玉米冠层叶色建模系统的结构示意图；

图2为本发明另一个实施例的玉米冠层叶色建模系统的结构示意图；

图3为本发明一个实施例的玉米冠层叶色建模方法的流程示意图；

图4为本发明另一个实施例的玉米冠层叶色建模方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例的玉米冠层叶色建模系统的结构示意图；如图1所示，该系统包括位于田间预设地点的支架模块11，以及位于所述支架模块11上的图像采集模块12、自动气象熵情采集模块13、数据采集与传输模块14以及云端存储与计算模块15；

所述图像采集模块12用于实时采集目标区域内全生育期的玉米冠层图像；

所述自动气象熵情采集模块13用于测量所述目标区域内的气象数据和土壤信息；

所述数据采集与传输模块14用于采集所述玉米冠层图像、所述气象数据和土壤信息，并将所述玉米冠层图像、所述气象数据和土壤信息发送到所述云端存储与计算模块15；

其中，作为本实施例的优选，所述气象数据可以包括但不限于空气温度、空气湿度、风速、风向、降雨量以及太阳辐射；所述土壤信息可以包括但不限于包括多个深度的土壤湿度和多个深度的土壤温度。

所述云端存储与计算模块15用于存储所述玉米冠层图像、所述气象数据和土壤信息并根据所述玉米冠层图像、所述气象数据和土壤信息进行玉米冠层图像序列分析，并根据所述冠层图像序列分析的结果建立玉米冠层叶色变化模型，以根据所述玉米冠层叶色变化模型进行实时采集图像的冠层叶色、长势长相的分析与评价。

具体来说，所述云端存储与计算模块具体用于：

根据采集的全生育期的所述玉米冠层图像确定玉米冠层全生育期图像序列；并根据所述气象数据和土壤信息；

基于预先建立的作物知识模型对所述玉米冠层全生育期图像序列按照不同生育期和不同天气进行分类，并基于机器学习方法根据所述分类结果对所述玉米冠层图像进行标记，以分别获取不同生育期对应的图像数据集和不同天气对应的图像数据集；

根据所述不同生育期对应的图像数据集和所述不同天气对应的图像数据集确定所述玉米冠层全生育期图像序列于不同生育期、不同天气对应的多项标签，并根据所述多项标签进行图像分析，以根据所述图像分析的结果建立所述玉米冠层叶色变化模型。

进一步地，作为上述实施例的优选，所述支架模块11可以包括支柱和位于所述支柱上侧的横梁；

所述横梁的上侧还设置有避雷针。

进一步地，作为上述实施例的优选，所述图像采集模块12可以包括工业相机、位于所述工业相机上的镜头和辅助拍摄灯，以及罩设于所述工业相机上的防水罩；所述工业相机的光轴垂直于地面；所述防水罩的顶端位于所述横梁上。

进一步地，作为上述实施例的优选，所述数据采集与传输模块14可以包括数据采集控制器、wifi和3g无线路由器以及电源灯。

进一步地，作为上述实施例的优选，所述系统还可以包括：

远程控制模块，用于通过远程终端进行数据预览和/或计算分析结果显示。

本实施例的玉米冠层叶色建模系统，可实现田间玉米群体全生育期连续监测，并考虑不同气象和土壤墒情等因素对玉米叶色的影响，建立玉米冠层叶色变化模型，并基于建立的全生育期的玉米冠层叶色变化模型，为基于玉米冠层叶色的叶绿素含量测定、玉米长势长相分析提供了可行性方案。

图2为本发明另一个实施例的玉米冠层叶色建模系统的结构示意图；如图2所示，该系统包括支架模块21、图像采集模块22、自动气象墒情采集模块23、数据采集与传输模块24、云端存储与计算模块25以及远程控制模块26；

其中，支架模块21包括在田间定点安装的直立支柱211和横梁212，支柱距离地面100高度为5m，横梁212(悬臂梁)安装在支柱211上侧，支柱211上侧连接避雷针213。

图像采集模块22用于采集目标区域的玉米200冠层图像，例如为工业相机，其包括镜头221、辅助拍摄灯(图中未示出)、防水罩222等，安装在距离立柱顶部横杆上的预设位置(距离立柱2米左右)；所述工业相机的光轴垂直于地面，且其电源和数据线从空心的横梁212和支柱211中引出到数据采集与传输模块24；

自动气象墒情采集模块23，用于测量气象数据和土壤信息，其位于所述支柱211中部偏下的位置；其中，所述气象数据可以包括但不限于空气温度、空气湿度、风速、风向、降雨量、太阳辐射等6个量，土壤信息可以包括但不限于4个深度的土壤湿度和4个深度的土壤温度；

数据采集与传输模块24，用于控制数据数据并发送到云端存储，其可以包括数据采集控制器、wifi和3g无线路由器以及电源灯；

云端存储与计算模块25，用于接收和管理通过网络传输的玉米冠层图像序列和气象墒情数据，启动预设的玉米冠层叶色分析模块计算，存储和反馈计算结果。

需要说明的是，所述玉米冠层叶色分析模块，用于进行玉米冠层图像序列分析，建立玉米冠层叶色统计模型，实现实时采集图像的冠层叶色、长势长相的分析与评价。

作为本实施例的优选，所述远程控制模块26可以支持远程桌面端、平板以及手机端等设备进行数据预览、计算分析结果显示等。

图3为本发明一个实施例的玉米冠层叶色建模方法的流程示意图。

需要说明的是，本实施例的方法为基于上述系统实施例的玉米冠层叶色建模方法。

如图3所示，该方法包括：

s1：获取实时采集的目标区域内全生育期的玉米冠层图像以及测量的所述目标区域内的气象数据和土壤信息；

s2：根据所述玉米冠层图像、所述气象数据和土壤信息进行玉米冠层图像序列分析，并根据所述冠层图像序列分析的结果建立玉米冠层叶色变化模型；

s3：根据所述玉米冠层叶色变化模型进行实时采集图像的冠层叶色、长势长相的分析与评价。

进一步地，作为上述方法实施例的优选，步骤s2中所述根据所述玉米冠层图像、所述气象数据和土壤信息进行玉米冠层图像序列分析，可以包括：

s21：根据采集的全生育期的所述玉米冠层图像确定玉米冠层全生育期图像序列；

s22：根据所述气象数据和土壤信息，基于预先建立的作物知识模型对所述玉米冠层全生育期图像序列按照不同生育期和不同天气进行分类，并基于机器学习方法根据所述分类结果对所述玉米冠层图像进行标记，以分别获取不同生育期对应的图像数据集和不同天气对应的图像数据集。

需要说明的是，本实施所的作物知识模型和机器学习方法均可以根据实际需要采用现有的技术方案，本发明对此不进行限制。

进一步地，作为上述方法实施例的优选，步骤s2中所述根据所述冠层图像序列分析的结果建立玉米冠层叶色变化模型，还可以包括：

s23：根据所述不同生育期对应的图像数据集和所述不同天气对应的图像数据集确定所述玉米冠层全生育期图像序列于不同生育期、不同天气对应的多项标签；

s24：根据所述多项标签进行图像分析，并根据所述图像分析的结果建立不同生育期的第一叶色变化模型以及同一生育期的不同天气条件下的第二叶色变化模型，以根据所述第一叶色变化模型和所述第二叶色变化模型建立玉米全生育期的玉米冠层叶色变化模型。

在此基础上，步骤s22中所述分别获取不同生育期对应的图像数据集和不同天气对应的图像数据集，还可以包括：

利用预设的图像分割方法对所述不同生育期对应的图像数据集和不同天气对应的图像数据集中的各玉米冠层图像进行分割；其中，所述分割的结果为仅包含玉米冠层结构的二值图像；

通过图像运算方法确定所述玉米冠层结构的rgb图像，并将所述rgb图像转换到hsi颜色空间下。

本实施例为对应于上述系统实施例进行玉米冠层叶色变化模型建立的方法实施例，其原理和技术效果类似，此处不再赘述。

需要说明的是，对于方法实施例而言，由于其与系统实施例基本相似，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。

下面以一具体的实施例来说明本发明，但不限定本发明的保护范围。

图4为本发明另一个实施例的玉米冠层叶色建模方法的流程示意图；如图4所示，该方法包括以下步骤：

a1、根据采集的田间玉米群体冠层图像进行数据分析；

具体来说，基于图2所示的玉米冠层图像采集设备，连续采集田间玉米群体冠层图像，并将其加入到玉米冠层全生育期图像序列，进而结合自动气象墒情数据、预先建立的作物知识模型和机器学习方法对图像序列进行分类和标记。

其中图像分类，目的是为采集的每张图像设置4个标签值来确定图像内容信息，各标签分别表示：生育期、天气、天气置信度和所用冠层分割方法类型。具体地实现过程包括：

首先，根据作物知识模型将图像序列分成不同生育期图像数据集，分配生育期标签；然后，根据自动气象墒情数据将不同生育期图像数据集分成不同天气图像数据集，分配天气标签；最后，利用机器学习方法对所拍摄图像和历史图像进行有监督分类，主要根据光照强度计算每张图像的天气置信度。

其中，作物知识模型用于明确该品种玉米在当前生长条件下，各个典型生育期的起止时间，典型生育期分成3叶期、9叶期、16叶期、吐丝期、透明期和乳熟期6类，因此实时采集的玉米冠层图像将按照采集时间匹配到不同生育期标签。

进一步地，在每个生育期中，利用当前气象墒情数据(太阳辐射、土壤湿度等)对天气情况进行分类，分成晴天、阴天和雨天3类，由此将实时采集的玉米冠层图像匹配相应的天气类型标签。

其中，所述机器学习计算的天气置信度包括：基于包含晴天、阴天、雨天的3类玉米冠层图像数据作为训练集，建立判定天气类型的机器学习模型，该模型可基于多分类的支持向量机、神经网络、随机森林等方法实现，为输入的每张玉米冠层图像分配一个天气置信度标签(浮点数)。

a2、对所述玉米冠层图像进行冠层结构分割；

具体来说，玉米在不同生育期显示出显著的颜色变化，从出苗期的绿色、成熟期的逐渐转黄再到衰老期的全叶枯黄，客观上体现了玉米植株内部生理生化条件的变化。另外，田间复杂环境对作物颜色产生较大影响，使得同一生育期内玉米冠层颜色在不同太阳辐射条件下存在明显差异。因而，单一基于颜色特征的图像分割方法往往难以处理不同玉米生育期中叶片颜色变化，无法满足自动、准确分割需求，需要针对不同天气条件、生育期进行适应性图像分割。

实现田间玉米冠层图像自动分割，需要借助图像的生育期、天气、天气置信度标签来选择适合的图像分割方法。具体采用的图像分割方法均为基于像素级别的颜色分析，包括exg、exg-exr、veg、cive、h和hi等方法。其中，exg、exgr、veg和cive方法是利用各个颜色空间各个通道之间关系进行目标分割，而h和hi是利用了图像色相及亮度信息进行目标分割。这些分割方法对图像中目标颜色变化显示出了不同的适应性和分割精度，按照下面步骤选择最佳玉米冠层图像分割方法：

(1)按照天气和生育期标签进行图像序列检索，为各种天气和生育期构造样本数据集。

(2)人工监督分割结果作为参考图像数据集。

(3)算法分割得到的结果作为测试图像集。

(4)基于像素统计分析计算出测试图像集与参考图像集的比值(错分率)，选择作物错分率最低的方法作为对应天气和生育期的作物冠层分割方法。

上述选择最佳作物冠层图像分割方法需要利用到全生育期作物冠层图像数据，这需要构造较为完备的不同天气、生育期的作物冠层图像数据集，但是在每季作物生长期间难以保证各个生育期内均会出现晴天、雨天和阴天等不同天气情况。因此，构造完备的冠层图像分割数据集往往需要利用到多个作物生长季的全生育期图像序列。

a3、建立全生育期的玉米冠层叶色变化模型；

在上述实施例的基础上，为玉米冠层图像序列均可确定出4项标签，根据标签信息进行图像分析和冠层叶色建模。首先，利用图像的分割方法类型执行作物冠层分割，分割结果为仅包含玉米冠层结构的二值图像，进而利用图像运算可以得到冠层结构的rgb图像，并将其转换到hsi颜色空间下，基于上述分割后玉米冠层图像序列进行玉米冠层叶色建模。

a31、同一生育期：基于亮度的叶色查找表(t1)

具体过程包括：分别取得同一生育期标签、所有天气类型下分割后图像序列，针对所有玉米冠层像素，计算在亮度值域[0,255]内每个亮度值所对应的叶色分布直方图，得到该生育期内玉米冠层叶片基于亮度的叶色查找表(t1)，即通过亮度值可检索到对应的叶色均值和方差。

a32、同一生育期：基于天气类型的亮度和叶色查找表(t2)

具体过程包括：分别取得同一生育期标签、同一天气标签分割后图像序列，对叶片区域像素进行直方图分析，统计亮度和叶色均值与方差；将3类不同天气状况下的统计值，按照亮度均值进行排序，得到描述同一生育期与天气类型对应的亮度和叶色二维查找表，即根据天气类型可以检索到对应亮度和叶色。

a33、不同生育期：计算6个生育期的亮度和叶色查找表(t3)，可得到包含6个生育期的三维查找表(t3)，即通过生育期和天气类型可以检索到亮度和叶色。

在此基础上，通过查找表，基于不同天气条件下亮度与叶色关系，建立玉米同一生育期内基于亮度的叶色变化模型；基于不同生育期内亮度和叶色关系，建立不同生育期叶色变化模型。上述模型结合在一起，共同构成了全生育期玉米冠层叶色变化模型，用于描述田间环境下玉米冠层叶色变化规律。

a4、根据建立的全生育期的玉米冠层叶色变化模型进行田间玉米表型性状检测；

具体来说，上述全生育期玉米冠层叶色模型，揭示了玉米整个生育期内叶色的变化趋势，为田间玉米表型性状检测提供了基础方法：

a41、基于田间实测的玉米各个生育期叶绿素含量，结合玉米叶色模型进行线性拟合和回归分析，建立基于玉米叶色的玉米全生育期叶绿素含量估算模型。

a42、基于自动气象墒情和作物知识数据确定了当前的玉米生育期和天气类型，即可通过查找表t3找到特定生育期的t2表，进而从t2表中找到指定天气类型下的玉米叶色均值和方差。

a43、基于作物知识数据确定了当前的玉米生育期，但不确定天气类型，则通过t1表可查找到所有亮度下的叶色均值和方差，由此实现对输入图像中所有像素进行亮度条件下的叶色过滤，分割出满足叶色要求的像素；根据t2表提供的天气与亮度查找表，可确定输入图像对应的天气类型。

a44、若未知玉米生育期和天气类型，则通过查找表t3拟合的叶色分布曲线进行匹配，查找到该输入玉米冠层图像中玉米植株所对应的生育期。

本实施例可以使基于田间搭建的玉米冠层图像采集装置能够直接面向农业应用，利用玉米冠层叶色模型不但可以实时检测玉米冠层颜色变化，而且实现对叶绿素含量测定、对玉米长势长相评价，并为田间水肥调控、病虫害预防提供了参考依据。

本发明提供了全生育期内玉米冠层叶色建模系统，可以实现完整获取玉米全生育期的冠层图像序列，结合自动气象墒情数据、作物知识模型和机器学习方法对图像序列进行分类和标记，并根据天气类型、生育期为每张图像确定最佳玉米冠层分割方法，进而建立全生育期玉米冠层叶色模型，最后基于玉米冠层叶色模型实现叶绿素含量测定、对玉米长势长相分析与评价。

与现有技术相比，本发明的玉米冠层叶色建模系统以及方法，利用玉米全生育期的冠层图像序列，揭示了在田间复杂环境下玉米叶色变化规律，实现了田间玉米群体全生育期连续监测，根据作物知识、气象和墒情数据对图像序列进行自动分类和标注；在不同气象和土壤墒情条件下，考虑天气、湿度、光照等因素对玉米叶色的影响，建立玉米冠层叶色模型；建立全生育期玉米冠层叶色模型，为基于玉米冠层叶色的叶绿素含量测定、玉米长势长相分析提供了可行性的技术方案。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。