多光谱成像系统及方法与流程

文档序号:20358157发布日期:2020-04-10 23:29阅读:617来源:国知局
多光谱成像系统及方法与流程

本申请涉及无人机技术领域,具体而言,涉及一种多光谱成像系统及方法。



背景技术:

随着无人机行业的快速发展,无人机在农业方面的应用也越来越广。无人机遥感系统凭借其运载便利、灵活性高、作业周期短等优势,已被广泛应用于农田药物喷洒、农田信息监测、农业保险勘察等专业领域。

现有的光谱遥感技术通常采用无人机搭载多光谱传感器对农作物的光谱信息进行检测得到多光谱数据,再由专业人员对数据进行后续分析和处理得到植物信息,整个过程需要耗费大量人力。



技术实现要素:

本申请的目的在于提供一种多光谱成像系统及方法,用以解决现有的光谱遥感技术检测植物信息需要耗费大量人力的问题。

为了实现上述目的,本申请实施例采用的技术方案如下:

第一方面,本申请提供了一种多光谱成像系统,所述多光谱成像系统包括控制器及与所述控制器电连接的多目摄像头、光照传感器和数字处理器;所述控制器用于当无人机飞行到设定拍照点时,控制所述多目摄像头对目标地块进行拍摄,得到多个光谱图像,其中,每个所述光谱图像分别对应一个不同的预设波段;所述光照传感器用于测量每个所述预设波段的光照强度值;所述数字处理器用于根据每个所述预设波段的光照强度值对每个所述光谱图像均进行辐射校正,得到多个反射率图像;所述数字处理器还用于按照植被指数,从多个反射率图像中获取所述植被指数对应的目标反射率图像并进行指数计算,得到植被指数图。

可选地,所述多光谱成像系统还包括彩色摄像头,所述彩色摄像头与所述控制器电连接;所述控制器还用于在控制所述多目摄像头进行拍摄的同一时刻,控制所述彩色摄像头对所述目标地块进行拍摄,得到彩色图像;所述数字处理器还用于利用所述彩色图像,对每个所述反射率图像均进行图像增强。

可选地,多个所述预设波段包括绿光波段、红光波段、红边光波段和近红外波段;所述多目摄像头还用于对所述目标地块进行拍摄,得到绿光波段的光谱图像、红光波段的光谱图像、红边光波段的光谱图像和近红外波段的光谱图像。

可选地,所述多个反射率图像包括绿光波段的反射率图像、红光波段的反射率图像、红边光波段的反射率图像和近红外波段的反射率图像;所述植被指数包括归一化植被指数,所述归一化植被指数对应红光波段和近红外波段,所述植被指数图包括归一化植被指数图;所述数字处理器还用于按照所述归一化植被指数,从所述多个反射率图像中获取红光波段的反射率图像和近红外波段的反射率图像,并对红光波段的反射率图像和近红外波段的反射率图像进行指数计算,得到所述归一化植被指数图。

可选地,所述植被指数包括归一化红边差异指数,所述归一化红边差异指数对应红光波段和红边光波段,所述植被指数图包括归一化红边差异指数图;所述数字处理器还用于按照所述归一化红边差异指数,从所述多个反射率图像中获取红光波段的反射率图像和红边光波段的反射率图像,并对红光波段的反射率图像和红边光波段的反射率图像进行指数计算,得到所述归一化红边差异指数图。

可选地,所述植被指数包括土壤植被指数,所述土壤植被指数对应红光波段和红外光波段,所述植被指数图包括土壤植被指数图;所述数字处理器还用于按照所述土壤植被指数,从所述多个反射率图像中获取红光波段的反射率图像和红外光波段的反射率图像,并对红光波段的反射率图像和红外光波段的反射率图像进行指数计算,得到所述土壤植被指数图。

可选地,所述数字处理器还用于获取所述多目摄像头中每个镜头的相对位置关系,并根据每个镜头的相对位置关系对每个所述光谱图像均进行图像对齐。

可选地,所述数字处理器还用于对每个所述光谱图像均进行背景噪声校正,以去除每个所述光谱图像的背景噪声。

可选地,所述数字处理器还用于获取所述多目摄像头的镜头畸变模型参数,并根据所述镜头畸变模型参数,对每个所述光谱图像均进行畸变校正,以去除每个所述光谱图像的畸变。

可选地,所述数字处理器还用于对每个所述光谱图像均进行渐晕效应校正,以去除每个所述光谱图像的渐晕效应。

可选地,所述多光谱成像系统还包括通信单元,所述通信单元与所述控制器电连接,且与终端通信连接;所述通信单元用于在所述控制器的控制下,将所述植被指数图发送至所述终端。

可选地,所述多光谱成像系统还包括存储单元,所述存储单元与所述控制器电连接;所述存储单元用于在所述控制器的控制下,对所述植被指数图进行存储。

可选地,所述多光谱成像系统还包括显示单元,所述显示单元与所述控制器电连接;所述显示单元用于在所述控制器的控制下,对所述植被指数图进行显示。

第二方面,本申请还提供了一种多光谱成像方法,应用于多光谱成像系统,所述多光谱成像系统包括控制器及与所述控制器电连接的多目摄像头、光照传感器和数字处理器;所述多光谱成像方法包括:当无人机飞行到设定拍照点时,所述控制器控制所述多目摄像头对目标地块进行拍摄得到多个光谱图像,其中,每个所述光谱图像分别对应一个不同的预设波段;所述光照传感器测量每个所述预设波段的光照强度值;所述数字处理器根据每个所述预设波段的光照强度值对每个所述光谱图像均进行辐射校正,得到多个反射率图像;所述数字处理器按照植被指数,从多个反射率图像中获取所述植被指数对应的目标反射率图像并进行指数计算,得到植被指数图。

可选地,所述多光谱成像系统还包括彩色摄像头,所述彩色摄像头与所述控制器电连接;所述多光谱成像方法还包括:所述控制器在控制所述多目摄像头进行拍摄的同一时刻,控制所述彩色摄像头对所述目标地块进行拍摄,得到彩色图像;所述数字处理器利用所述彩色图像,对每个所述反射率图像均进行图像增强。

可选地,多个所述预设波段包括绿光波段、红光波段、红边光波段和近红外波段;所述控制器控制多目摄像头对目标地块进行拍摄得到多个光谱图像的步骤,包括:所述控制器控制多目摄像头对所述目标地块进行拍摄,得到绿光波段的光谱图像、红光波段的光谱图像、红边光波段的光谱图像和近红外波段的光谱图像。

可选地,所述多个反射率图像包括绿光波段的反射率图像、红光波段的反射率图像、红边光波段的反射率图像和近红外波段的反射率图像;

所述植被指数包括归一化植被指数,所述归一化植被指数对应红光波段和近红外波段,所述植被指数图包括归一化植被指数图;所述数字处理器按照植被指数,从多个反射率图像中获取所述植被指数对应的目标反射率图像并进行指数计算,得到植被指数图的步骤,包括:所述数字处理器按照所述归一化植被指数,从所述多个反射率图像中获取红光波段的反射率图像和近红外波段的反射率图像,并对红光波段的反射率图像和近红外波段的反射率图像进行指数计算,得到所述归一化植被指数图。

可选地,所述植被指数包括归一化红边差异指数,所述归一化红边差异指数对应红光波段和红边光波段,所述植被指数图包括归一化红边差异指数图;所述数字处理器按照植被指数,从多个反射率图像中获取所述植被指数对应的目标反射率图像并进行指数计算,得到植被指数图的步骤,包括:所述数字处理器按照所述归一化红边差异指数,从所述多个反射率图像中获取红光波段的反射率图像和红边光波段的反射率图像,并对红光波段的反射率图像和红边光波段的反射率图像进行指数计算,得到所述归一化红边差异指数图。

可选地,所述植被指数包括土壤植被指数,所述土壤植被指数对应红光波段和红外光波段,所述植被指数图包括土壤植被指数图;所述数字处理器按照植被指数,从多个反射率图像中获取所述植被指数对应的目标反射率图像并进行指数计算,得到植被指数图的步骤,包括:所述数字处理器按照所述土壤植被指数,从所述多个反射率图像中获取红光波段的反射率图像和红外光波段的反射率图像,并对红光波段的反射率图像和红外光波段的反射率图像进行指数计算,得到所述土壤植被指数图。

可选地,在所述光照传感器测量每个所述预设波段的光照强度值的步骤之前,所述多光谱成像方法还包括:所述数字处理器获取所述多目摄像头中每个镜头的相对位置关系,并根据每个镜头的相对位置关系对每个所述光谱图像均进行图像对齐。

可选地,在所述光照传感器测量每个所述预设波段的光照强度值的步骤之前,所述多光谱成像方法还包括:所述数字处理器对每个所述光谱图像均进行背景噪声校正,以去除每个所述光谱图像的背景噪声。

可选地,在所述光照传感器测量每个所述预设波段的光照强度值的步骤之前,所述多光谱成像方法还包括:所述数字处理器获取所述多目摄像头的镜头畸变模型参数,并根据所述镜头畸变模型参数,对每个所述光谱图像均进行畸变校正,以去除每个所述光谱图像的畸变。

可选地,在所述光照传感器测量每个所述预设波段的光照强度值的步骤之前,所述多光谱成像方法还包括:所述数字处理器对每个所述光谱图像均进行渐晕效应校正,以去除每个所述光谱图像的渐晕效应。

可选地,所述多光谱成像系统还包括通信单元,所述通信单元与所述控制器电连接,且与终端通信连接;所述多光谱成像方法还包括:所述通信单元在所述控制器的控制下,将所述植被指数图发送至所述终端。

可选地,所述多光谱成像系统还包括存储单元,所述存储单元与所述控制器电连接;所述多光谱成像方法还包括:所述存储单元在所述控制器的控制下,对所述植被指数图进行存储。

可选地,所述多光谱成像系统还包括显示单元,所述显示单元与所述控制器电连接;所述多光谱成像方法还包括:所述显示单元在所述控制器的控制下,对所述植被指数图进行显示。

相对现有技术,本申请提供的一种多光谱成像系统及方法,多光谱成像系统包括控制器及与控制器电连接的多目摄像头、光照传感器和数字处理器,当无人机飞行到设定拍照点时,通过多目摄像头对目标地块进行拍摄得到每个预设波段的光谱图像,同时利用光照传感器测量每个预设波段的光照强度值;然后,数字处理器按照每个预设波段的光照强度值对每个光谱图像均进行辐射校正,得到多个反射率图像;再按照植被指数从多个反射率图像中获取植被指数对应的目标反射率图像并进行指数计算,得到植被指数图。本申请无需人工参与即可自动生成反映目标地块中植物信息的植被指数图,节约了人力资源,提高了检测效率。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的多光谱成像系统的一种方框示意图。

图2示出了本申请实施例提供的拍照点的示例图。

图3示出了本申请实施例提供的多光谱成像系统的另一种方框示意图。

图4示出了本申请实施例提供的多光谱成像系统的另一种方框示意图。

图5示出了本申请实施例提供的多光谱成像方法的一种流程示意图。

图6示出了本申请实施例提供的多光谱成像方法的另一种流程示意图。

图7示出了本申请实施例提供的多光谱成像方法的另一种流程示意图。

图8示出了本申请实施例提供的多光谱成像方法的另一种流程示意图。

图标:100-多光谱成像系统;110-控制器;120-多目摄像头;130-光照传感器;140-数字处理器;150-彩色摄像头;160-通信单元;170-存储单元;180-显示单元。

具体实施方式

下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

随着无人机行业的快速发展,无人机在农业方面的应用也越来越广。无人机遥感系统凭借其运载便利、灵活性高、作业周期短等优势,已被广泛应用于农田药物喷洒、农田信息监测、农业保险勘察等专业领域。

光谱遥感技术具有分辨率高、光谱连续性强、数据信息丰富等特点,能够动态、快速、准确、及时地提供地物数据信息,是农业中获取信息的有效手段。光谱遥感技术可以探测到作物叶片生长过程中的生理化学变化,能将得到的光谱数据绘制成光谱响应曲线,光谱响应曲线可以反映作物中叶绿素、叶片水分、微量元素的含量及其变化。因此,依据光谱遥感技术的特性,可以及时了解作物生长信息,为农田药物喷洒、农田信息监测、农业保险勘察等提供重要参考。

现有的光谱遥感技术通常采用无人机搭载多光谱传感器对农作物的光谱信息进行检测得到多光谱数据,再由专业人员对数据进行后续分析和处理得到植物信息,整个过程需要耗费大量人力,检测效率低。

为了解决上述问题,本申请提供一种多光谱成像系统及方法,无需人工参与即可自动生成反映目标地块中植物信息的植被指数图,节约了人力资源,提高了检测效率,下面进行详细描述。

请参照图1,图1示出了本申请实施例提供的多光谱成像系统100的一种方框示意图。该多光谱成像系统100应用于无人机,包括控制器110、多目摄像头120、光照传感器130及数字处理器140,控制器110与多目摄像头120、光照传感器130及数字处理器140均电连接。

控制器110,用于当无人机飞行到设定拍照点时,控制多目摄像头对目标地块进行拍摄,得到多个光谱图像,其中,每个光谱图像分别对应一个不同的预设波段。

在本实施例中,目标地块是指需要利用无人机检测植物信息的地块,目标地块可以是植保作业人员通过点选或框选电子地图中的相应区域得到的。

无人机检测过程中,会按照预先规划好的作业航线进行飞行,通常作业航线会覆盖整个目标地块,而为了确保无人机能够检测到目标地块中各个角落的植物信息,需要根据无人机的飞行速度和飞行高度,结合航线重叠率,在预先规划好的作业航线上确定出各个拍照点,例如,请参照图2,图2中的黑色原点即为设定的拍照点,这样无人机在飞行过程中,就能通过机载定位装置(例如,rtk(real-timekinematic,实时动态差分技术)定位装置)实时定位飞行过程中的各个拍照点,并在到达一个拍照点时,通知控制器110触发多目摄像头120进行拍摄。

通常,植被在可见光波段(400-760nm),对绿光(520-600nm)反射性强,对红光(630-690nm)和蓝光(400-520nm)反射性弱,并且相对于可见光波段,植被在近红外波段具有更强的反射特性,多数植被在可见光波段的光谱差异小,在近红外波段(760-900nm)的光谱差异大。同时,由于植物体内叶绿素吸收作用的影响,植被反射光谱在红到近红外区(660~770nm)会出现一个陡峭的爬山脊,称为红边。

因此,可以设置多目摄像头120拍摄绿光波段(520-600nm)、红光波段(630-690nm)、红边光波段(660~770nm)和近红外波段(760-900nm)的光谱图像,也就是,多个预设波段包括绿光波段、红光波段、红边光波段和近红外波段。

可选地,控制器110还用于对多光谱成像系统100中的其它硬件,例如,多目摄像头120、光照传感器130及数字处理器140等进行控制和管理。控制器110可以是嵌入式arm、单片机、微控制单元(microcontrollerunit,mcu)、复杂可编程逻辑器件(complexprogrammablelogicdevice,cpld)、现场可编程门阵列(field-programmablegatearray,fpga)等芯片。

多目摄像头120用于对目标地块进行拍摄,得到多个光谱图像。

在本实施例中,多个光谱图像可以包括绿光波段的光谱图像、红光波段的光谱图像、红边光波段的光谱图像和近红外波段的光谱图像,因此,多目摄像头120还用于对目标地块进行拍摄,得到绿光波段的光谱图像、红光波段的光谱图像、红边光波段的光谱图像和近红外波段的光谱图像,并将多个光谱图像发送至控制器110。

可选地,多目摄像头120设置在无人机朝向植物的一侧,通过4个独立镜头来捕捉植物反射的不同波段:绿光波段、红光波段、近红外波段和红边光波段。也就是,多目摄像头120可以包括4个具有全局曝光功能的镜头,例如,ar0144镜头等,同时,每个镜头分别携带一个不同预设波段的滤光片,也就是,4个镜头分别携带绿光波段(520-600nm)、红光波段(630-690nm)、红边光波段(660~770nm)和近红外波段(760-900nm)的滤光片,使得多目摄像头120对目标地块进行拍摄时,4个镜头在对应滤波片的作用下,可以分别得到绿光波段的光谱图像、红光波段的光谱图像、红边光波段的光谱图像和近红外波段的光谱图像。

可选地,每个镜头携带的滤光片的波长只要在对应的波段内即可,例如,4个镜头分别携带波长为550nm、660nm、735nm、790nm的滤波片,在此不做限定。

光照传感器130用于测量每个所述预设波段的光照强度值。

在本实施例中,光照传感器130设置在无人机朝向天空的一侧,用来检测每个预设波段,即,绿光波段、红光波段、红边光波段和近红外波段的光照强度值,并将测得的每个预设波段的光照强度值发送至控制器110。

可选地,光照传感器130可以携带4个不同波段的滤光片,即,绿光波段的滤光片、红光波段的滤光片、红边光波段的滤光片和近红外波段(760-900nm)的滤光片,通过这4个滤波片,分别测量每个对应波段的光照强度值。光照传感器130携带的4个滤波片的波长与多目摄像头120的4个镜头携带的滤波片的波长是一一对应的,例如,550nm、660nm、735nm、790nm。

可选地,光照传感器130在出厂前,会进行辐射标定,也就是利用光谱仪建立辐射转换关系,辐射转换关系包括多个波长和多个转换效率,多个波长和多个转换效率一一对应。在实际应用中,当特定波长的光到达光照传感器130时,光照传感器130会将光照强度值转为电压值,即,u=i*a,其中,u表示电压值,i表示光照强度值,a表示转换效率;然后结合预先建立的辐射转换关系,确定出该特定波长对应的转换效率;再根据电压值和该转换效率,即可得到该特定波长的光照强度值。

数字处理器140用于,根据每个预设波段的光照强度值对每个光谱图像均进行辐射校正,得到多个反射率图像。

在本实施例中,多目摄像头120将拍摄的多个光谱图像发送给控制器110、光照传感器130将测得的每个预设波段的光照强度值发送给控制器110之后,控制器110将多个光谱图像和每个预设波段的光照强度值均发送至数字处理器140进行辐射校正。多个反射率图像可以包括绿光波段的反射率图像、红光波段的反射率图像、红边光波段的反射率图像和近红外波段的反射率图像。

在本实施例中,由于多目摄像头120的响应特性和大气的吸收、散射以及其它随机因素的影响,可能会导致光谱图像模糊失真,造成图像的分辨率和对比度相对下降,因此,需要通过辐射校正进行复原,也就是消除光谱图像中依附在辐射亮度中的各种失真,尽可能复原光谱图像本来的面目,保证植物信息检测的准确性。

可选地,可以根据每个预设波段的光照强度值,对每个预设波段对应的光谱图像进行辐射校正,以一个预设波段的光照强度值和对应的光谱图像为例,根据该光照强度值对该光谱图像进行辐射校正的过程,可以包括:

首先,计算该光谱图像的辐射亮度值,也就是,将光谱图像对应波段的像素灰度值转换为具有辐射意义的亮度值,可以利用式(1)进行计算:

l=gain*dn+bias(1)

其中,l表示辐射亮度值,gain表示定标斜率,bias表示定标截距,dn表示像素灰度值,gain和bias可以通过光谱图像中对应波段的最大辐射值lmax和最小辐射值lmin计算得到,且gain=(lmax-lmin)/255,bias=lmin。

然后,利用电磁波在大气中的辐射传输原理建立起来的辐射传输模型对光谱图像进行大气校正,计算出地物光谱反射率,辐射传输模型可以是6s模型,如式(2)所示:

其中,l表示辐射亮度值,es表示太阳辐射值,θs表示太阳天顶角,θv表示太阳方位角,t()表示大气透射率,φs表示镜头天顶角,φv表示镜头观测角,ρα表示光谱图像的像素点反射率,ρ表示路径反射率,s表示球面反射率;

最后,根据计算出的地物光谱反射率,对光谱图像中每个像素点的灰度值进行校正,即可得到对应的反射图像。

可选地,数字处理器140是一种集成电路芯片,具有信号的处理能力,数字处理器140可以是双核数字信号处理(digitalsignalprocessing,dsp)、fpga、图形处理器(graphicsprocessingunit,gpu)等芯片。

在本实施例中,数字处理器140可以采用双核dsp芯片,该双核dsp芯片采用共享内存的方式,每个内核的处理结果都会存放到共享内存中,每个内核的处理任务均由控制器110下达,其中,指数计算由浮点计算能力强的内核进行处理。

数字处理器140还用于,按照植被指数,从多个反射率图像中获取植被指数对应的目标反射率图像并进行指数计算,得到植被指数图。

在本实施例中,植被指数图是指利用不同波段的光谱数据组合而成,能反映植物生长状况的指数。例如,植物叶面在红光波段有很强的吸收特性,不能真实客观的反映植物生长状态,但在近红外波段却有很强的反射特性,因此,可以将红光波段的光谱数据和近红外波段的光谱数据进行组合。

植被指数可以包括归一化植被指数(ndvi)、归一化红边差异指数(ndre)、土壤植被指数(savi)等,相应的,植被指数图可以包括归一化植被指数图、归一化红边差异指数图、土壤植被指数图等。可以根据想要检测的植被信息,灵活选择植被指数,例如,采用ndvi检测植物覆盖度,采用savi检测土壤调节度,采用ndre检测植物健康度等;开发人员可以根据实际需求选择具体的植被指数,例如,用于检测病虫害、营养度、肥料、水质等,在此不做限定。

作为一种实施方式,当植被指数为归一化植被指数时,归一化植被指数对应红光波段和近红外波段,植被指数图包括归一化植被指数图。数字处理器还用于按照归一化植被指数,从多个反射率图像中获取红光波段的反射率图像和近红外波段的反射率图像,并对红光波段的反射率图像和近红外波段的反射率图像进行指数计算,得到归一化植被指数图。

在本实施例中,ndvi是由植被反射的可见光和近红外光计算出来的,即,近红外波段的反射值与红光波段的反射值之差比上两者之和,由于健康的植被吸收大部分可见光并反射大部分近红外光,不健康或稀疏的植被反射更多的可见光和更少的近红外光,因此,ndvi可以用于检测植被生长状态和植被覆盖度、消除部分辐射误差等。

对红光波段的反射率图像和近红外波段的反射率图像进行指数计算,得到归一化植被指数图的过程,可以包括:

按照公式ndvi(x,y)=(nir(x,y)-red(x,y))/(nir(x,y)+red(x,y))计算出每个像素点的归一化植被指数,得到归一化植被指数图,其中,(x,y)表示像素点坐标,ndvi(x,y)表示归一化植被指数,nir(x,y)表示近红外波段的反射率图像,red(x,y)表示红光波段的反射率图像。

作为另一种实施方式,当植被指数为归一化红边差异指数时,归一化红边差异指数对应红光波段和红边光波段,植被指数图包括归一化红边差异指数图。数字处理器还用于按照归一化红边差异指数,从多个反射率图像中获取红光波段的反射率图像和红边光波段的反射率图像,并对红光波段的反射率图像和红边光波段的反射率图像进行指数计算,得到归一化红边差异指数图。

在本实施例中,ndre可用于分析图像中的植被健康与否,它类似于归一化差异植被指数,但是利用红光波段的反射率图像和红边光波段的反射率图像进行计算。

对红光波段的反射率图像和红边光波段的反射率图像进行指数计算,得到归一化红边差异指数图的过程,可以包括:按照公式ndre(x,y)=(rededge(x,y)-red(x,y))/(rededge(x,y)+red(x,y))计算出每个像素点的归一化红边差异指数,得到归一化红边差异指数图,其中,ndre(x,y)表示归一化红边差异指数,rededge(x,y)表示红边光波段的反射率图像。

作为另一种实施方式,当植被指数包括土壤植被指数时,土壤植被指数对应红光波段和红外光波段,植被指数图包括土壤植被指数图。数字处理器还用于按照土壤植被指数,从多个反射率图像中获取红光波段的反射率图像和红外光波段的反射率图像,并对红光波段的反射率图像和红外光波段的反射率图像进行指数计算,得到土壤植被指数图。

在本实施例中,对红光波段的反射率图像和红外光波段的反射率图像进行指数计算,得到土壤植被指数图的过程,可以包括:

按照公式savi(x,y)=(nir(x,y)-red(x,y))/(nir(x,y)+red(x,y)*(1+l))计算出每个像素点的归一化红边差异指数,得到归一化红边差异指数图,其中,savi(x,y)表示归一化红边差异指数,l表示土壤调节系数。

与ndvi相比,savi增加了根据实际情况确定的土壤调节系数l,取值范围0~1;l=0时,表示植被覆盖度为零;l=1时,表示土壤背景的影响为零,即植被覆盖度非常高;土壤背景的影响为零,这种情况只有在被树冠浓密的高大树木覆盖的地方才会出现。

可选地,为了提高植物信息的检测准确度,可以采用彩色图像增强每个反射率图像的光谱细节,因此,在图1的基础上,请参照图3,该多光谱成像系统100还包括彩色摄像头150,彩色摄像头150与控制器110电连接。

控制器110还用于,在控制多目摄像头120进行拍摄的同一时刻,控制彩色摄像头150对目标地块进行拍摄,得到彩色图像。

在本实施例中,当无人机飞行到设定拍照点时,控制器110可以在同一时刻触发控制多目摄像头120和彩色摄像头150同时拍摄,也就是说,多个光谱图像和彩色图像是同一时刻拍摄得到的。

彩色摄像头150用于对目标地块进行拍摄,得到彩色图像。

在本实施例中,彩色摄像头150设置在无人机朝向植物的一侧,用于对目标地块进行拍摄,得到彩色图像后发送至控制器110。

数字处理器140还用于,利用彩色图像,对每个反射率图像均进行图像增强。

在本实施例中,彩色摄像头150将拍摄的彩色图像发送给控制器110之后,控制器110将彩色图像发送至数字处理器140,以使数字处理器140利用彩色图像,对每个反射率图像均进行图像增强。数字处理器140可以将彩色图像分别与每个反射率图像进行融合,以增强每个反射率图像中的光谱细节。

可选地,以彩色图像和一个反射率图像为例,利用彩色图像对该反射率图像均进行图像增强的过程,可以包括:

首先,对反射率图像的各个波段进行主分量变换,变换后第一主分量含有变换前各波段的相同信息,而各波段中唯一对应各波段的部分,被分配到变换后的其它波段;

然后,将彩色图像和第一主分量进行直方图匹配,使彩色图像与第一主分量具有相近的均值和方差;

最后,用直方图匹配后的彩色图像代替第一主分量进行逆变换,即可得到增强光谱细节后的反射率图像。

可选地,以彩色图像和一个反射率图像为例,利用彩色图像对该反射率图像均进行图像增强的过程,还可以包括:将彩色图像作为一个波段和反射率图像组合在一起进行kl变换,变换后图像信息再进行分配,以实现彩色图像和反射率图像的融合。

进一步地,多目摄像头120拍摄的光谱图像,可能会因为外部因素和镜头本身的影响,出现模糊、畸变等,因此,为了提高检测的准确性,数字处理器140在根据每个预设波段的光照强度值对每个光谱图像均进行辐射校正得到多个反射率图像之前,数字处理器140还需要对每个光谱图像进行预处理,包括图像对齐、背景噪声校正、畸变校正、渐晕效应校正等,具体的校正顺序可以由开发人员灵活设置,在此不做限定,下面进行详细介绍。

数字处理器140,还用于获取多目摄像头中每个镜头的相对位置关系,并根据每个镜头的相对位置关系对每个光谱图像均进行图像对齐。

数字处理器140,还用于对每个光谱图像均进行背景噪声校正,以去除每个光谱图像的背景噪声。

在本实施例中,可以采用均值滤波、中值滤波、高斯滤波、双边滤波、自适应维纳滤波等对光谱图像进行背景噪声校正,以去除每个光谱图像的背景噪声。可选地,以中值滤波为例,可以用中值代替光谱图像中各个像素点的原像素点,即,对于当前像素点,首先选择一个模板,该模板由当前像素点邻域窗口内的所有像素点组成;然后求模板中所有像素点的中值,再用中值代替当前像素点的原像素值;遍历光谱图像中的每个像素点,即可完成光谱图像的中值滤波。

数字处理器140,还用于获取多目摄像头的镜头畸变模型参数,并根据镜头畸变模型参数,对每个光谱图像均进行畸变校正,以去除每个光谱图像的畸变。

在本实施例中,多目摄像头120包括4个镜头,每个镜头均有对应的镜头畸变模型参数,每个镜头畸变模型参数均与对应镜头的实际畸变模型有关,实际畸变模型可以是布朗-康拉迪(brown-conrady)畸变模型、多项式模型、除法模型等。同时,每个镜头畸变模型参数可以相同也可以不同。当多目摄像头120的4个镜头为同一批次生产或者工艺参数相同时,可以认为每个镜头的实际畸变模型相同,从而可以认为每个镜头的镜头畸变模型参数相同。

数字处理器140,还用于对每个光谱图像均进行渐晕效应校正,以去除每个光谱图像的渐晕效应。

在本实施例中,多目摄像头120在远距离成像时,容易产生渐晕效应导致光谱图像的灰度分布不均匀,也就是,随着视场角的增大,能通过物镜的斜光束的截面面积将逐渐减小,从而导致生成的光谱图像中间亮、边缘亮,影响成像质量,因此,需要对每个光谱图像均进行渐晕效应校正,以去除光谱图像的渐晕效应。

在图1的基础上,请参照图4,该多光谱成像系统100还包括通信单元160、存储单元170及显示单元180,通信单元160、存储单元170及显示单元180均与控制器110电连接。

通信单元160用于在控制器110的控制下,将植被指数图发送至终端。

在本实施例中,通信单元160通过网络与终端通信连接,终端可以是服务器、地面工作站、智能手机、平板电脑、便携式笔记本电脑、台式电脑等。数字处理器140生成植被指数图之后,可以将植被指数图发送至控制器110,控制器110再控制通信单元160将植被指数图发送至终端。

可选地,通信单元可以是wifi装置、4g装置等,或者其它任何能够实现与终端之间进行通信的芯片。

存储单元170用于在控制器110的控制下,对植被指数图进行存储。

在本实施例中,数字处理器140生成植被指数图之后,可以将植被指数图发送至控制器110,控制器110再将植被指数图发送至存储单元170进行存储。

可选地,存储单元170可以是高速随机存取存储器(randomaccessmemory,ram)、包括非易失存储器(non-volatilememory,nvm)等。

显示单元180用于在控制器110的控制下,对植被指数图进行显示。

在本实施例中,数字处理器140生成植被指数图之后,可以将植被指数图发送至控制器110,控制器110再控制显示单元180对植被指数图进行显示。

与现有技术相比,本申请具有以下有益效果:

首先,无需人工参与即可自动生成反映目标地块中植物信息的植被指数图,节约了人力资源,提高了检测效率;

其次,能够实时按照归一化植被指数(ndvi)、归一化红边差异指数(ndre)、土壤植被指数(savi)等与植物生长状态相关的植被指数计算出对应的植被指数图,便于后续应用;

第三,根据光照传感器130测量的光照强度值对相应波段的光谱图像进行辐射校正,可以提高多目摄像头120的反射率稳定性,从而在晴天和多云天气下,都能保证多目摄像头120的反射率波动较小;

第四,采用彩色摄像机拍摄的彩色图像增强每个反射率图像的光谱细节,可以提高植物信息的检测准确度;

第五,采用嵌入式的控制器110和数字处理器140,重量小,同时可以实现多个波段的光谱成像。

下面给出一种应用于多光谱成像系统100的多光谱成像方法,请参照图5,该多光谱成像方法可以包括以下步骤:

步骤s101,当无人机飞行到设定拍照点时,控制器控制多目摄像头对目标物进行拍摄得到多个光谱图像,其中,每个光谱图像分别对应一个不同的预设波段。

可选地,多个预设波段包括绿光波段、红光波段、红边光波段和近红外波段;控制器控制多目摄像头对目标地块进行拍摄得到多个光谱图像的方式,包括:控制器控制多目摄像头对目标地块进行拍摄,得到绿光波段的光谱图像、红光波段的光谱图像、红边光波段的光谱图像和近红外波段的光谱图像。

步骤s102,光照传感器测量每个预设波段的光照强度值。

步骤s103,数字处理器根据每个预设波段的光照强度值对每个光谱图像均进行辐射校正,得到多个反射率图像。

步骤s104,数字处理器按照植被指数,从多个反射率图像中获取植被指数对应的目标反射率图像并进行指数计算,得到植被指数图。

可选地,多个反射率图像包括绿光波段的反射率图像、红光波段的反射率图像、红边光波段的反射率图像和近红外波段的反射率图像。

植被指数包括归一化植被指数,归一化植被指数对应红光波段和近红外波段,植被指数图包括归一化植被指数图;数字处理器按照植被指数,从多个反射率图像中获取植被指数对应的目标反射率图像并进行指数计算,得到植被指数图的方式,包括:数字处理器按照归一化植被指数,从多个反射率图像中获取红光波段的反射率图像和近红外波段的反射率图像,并对红光波段的反射率图像和近红外波段的反射率图像进行指数计算,得到归一化植被指数图。

可选地,植被指数包括归一化红边差异指数,归一化红边差异指数对应红光波段和红边光波段,植被指数图包括归一化红边差异指数图;数字处理器按照植被指数,从多个反射率图像中获取植被指数对应的目标反射率图像并进行指数计算,得到植被指数图的方式,包括:数字处理器按照归一化红边差异指数,从多个反射率图像中获取红光波段的反射率图像和红边光波段的反射率图像,并对红光波段的反射率图像和红边光波段的反射率图像进行指数计算,得到归一化红边差异指数图。

可选地,植被指数包括土壤植被指数,土壤植被指数对应红光波段和红外光波段,植被指数图包括土壤植被指数图;数字处理器按照植被指数,从多个反射率图像中获取植被指数对应的目标反射率图像并进行指数计算,得到植被指数图的方式,包括:数字处理器按照土壤植被指数,从多个反射率图像中获取红光波段的反射率图像和红外光波段的反射率图像,并对红光波段的反射率图像和红外光波段的反射率图像进行指数计算,得到土壤植被指数图。

在图5的基础上,请参照图6,在步骤s102之前,该多光谱成像方法还可以包括步骤s111;在步骤s103之后,该多光谱成像方法还可以包括步骤s112。

步骤s111,控制器在控制多目摄像头进行拍摄的同一时刻,控制彩色摄像头对目标物进行拍摄,得到彩色图像。

步骤s112,数字处理器利用彩色图像,对每个反射率图像均进行图像增强。

在图5的基础上,请参照图7,在步骤s102之前,该多光谱成像方法还可以包括步骤s121~s124。

步骤s121,数字处理器获取多目摄像头中每个镜头的相对位置关系,并根据每个镜头的相对位置关系对每个光谱图像均进行图像对齐。

步骤s122,数字处理器对每个光谱图像均进行背景噪声校正,以去除每个光谱图像的背景噪声。

步骤s123,数字处理器获取多目摄像头的镜头畸变模型参数,并根据镜头畸变模型参数,对每个光谱图像均进行畸变校正,以去除每个光谱图像的畸变。

步骤s124,数字处理器对每个光谱图像均进行渐晕效应校正,以去除每个光谱图像的渐晕效应。

需要指出的是,步骤s121~s124还可以在图6的步骤s102之前执行。

在图5的基础上,请参照图8,在步骤s104之后,该多光谱成像方法还可以包括步骤s105~s107。

步骤s105,通信单元在控制器的控制下,将植被指数图发送至终端。

步骤s106,存储单元在控制器的控制下,对植被指数图进行存储。

步骤s107,显示单元在控制器的控制下,对植被指数图进行显示。

需要指出的是,步骤s121~s124还可以在图6的步骤s104之后执行、或者在图7的步骤s104之后执行。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的多光谱成像方法的具体流程,可以参考前述系统实施例中对应的硬件功能描述,在此不再赘述。

综上所述,本申请提供的一种多光谱成像系统及方法,多光谱成像系统包括控制器及与控制器电连接的多目摄像头、光照传感器和数字处理器;控制器用于当无人机飞行到设定拍照点时,控制多目摄像头对目标地块进行拍摄,得到多个光谱图像,其中,每个光谱图像分别对应一个不同的预设波段;光照传感器用于测量每个预设波段的光照强度值;数字处理器用于根据每个预设波段的光照强度值对每个光谱图像均进行辐射校正,得到多个反射率图像;数字处理器还用于按照植被指数,从多个反射率图像中获取植被指数对应的目标反射率图像并进行指数计算,得到植被指数图。本申请无需人工参与即可自动生成反映目标地块中植物信息的植被指数图,节约了人力资源,提高了检测效率。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1