一种基于后台图像定位的无人机生姜种植巡检系统

1.本发明涉及生姜种植技术领域，具体涉及一种基于后台图像定位的无人机生姜种植巡检系统。


背景技术：

2.在生姜种植过程中，从出苗到收获需经历180天、共四个阶段；生姜种植的前两个阶段为幼苗期，其根系较弱、幼小，容易生病，从而导致生姜苗无法正常生长、甚至影响周围幼苗，造成生姜种植田减产、生姜成品率低、食用效果差等问题。
3.农田信息的实时采集是农业智能化的基本需求，如何能够实现及时、准确、高效的获取生产过程中农田内的各项指标，是提高农业生产管理及决策的关键要素。目前，在农业生产过程中，人们通常利用现场拍摄照片的方式获取农田内的种苗数据指标；然而，生姜苗矮小且姜苗与姜苗之间间隔小，此外，影像特征具有一定的误差(由拍摄设备本身或拍摄环境等导致)，造成对异常姜苗的定位不准确、定位精度低，无法有效获取异常苗的位置，影响后续处理效率。


技术实现要素：

4.针对以上现有技术存在的问题，本发明的目的在于提供一种基于后台图像定位的无人机生姜种植巡检系统，该巡检系统能够高效的对生姜苗的生长情况进行监测，且对异常苗的定位准确、误差小，确保对异常苗及时、有效的处理，避免异常苗异响周围姜苗，从而保证生姜的高产及品质。
5.本发明目的通过如下技术方案实现：
6.一种基于后台图像定位的无人机生姜种植巡检系统，其特征在于：包括无人机模块、无人机摄像模块、异常检测模块及异常定位模块；
7.所述无人机模块上设置gps定位模块，用于获取拍摄点gps定位值；
8.所述无人机摄像模块安装在无人机模块上，包括摄像头、垂直发射模块与角度发射模块；所述摄像头固定安装在无人机模块的正下方且镜头垂直向下；垂直发射模块与角度发射模块分别设置在摄像头的左、右两侧，且垂直发射模块与摄像头平行设置、即垂直发射模块的发射线垂直向下，角度发射模块与摄像头呈角度a设置、即角度发射模块的发射线与摄像头视线呈角度a；所述垂直发射模块与角度发射模块均包括激光测距仪与可见红外激光发射器；
9.所述异常检测模块，采用线下训练完成生姜异常生长图像检测模型对无人机摄像模块传输的拍摄图像进行检测，输出生姜异常检测框；
10.所述异常定位模块包括可见光红外激光点检测模块与修正模块。
11.作进一步优化，所述无人机模块还包括无人机飞控模块与无线传输模块，所述无人机飞控模块用于控制无人机模块的飞行、降落、转向等；所述无线传输模块用于远程连接无人机摄像模块与异常检测模块，从而将无人机摄像模块的拍摄图像、角度a及拍摄点gps
定位值传输给异常检测模块。
12.作进一步优化，所述异常检测模块通过筛选带标注的生姜异常生长图片组成数据集，采用识别框架进行训练，从而获得生姜异常生长图像检测模型。
13.优选的，所述识别框架可采用yolov3模型、yolov4模型、yolov5模型中的任一种。
14.作进一步优化，所述生姜异常检测框为矩形框，生姜异常生长图像检测模型输出数据包括矩形框的左上角坐标及矩形框的宽、高。
15.作进一步优化，所述可见红外激光点检测模块用于检测无人机摄像模块传输的拍摄图像中可见红外激光发射器发出的红外激光点；所述修正模块根据拍摄点的gps定位值、角度a、生姜异常检测框、红外激光点，修正图像中生姜异常位置的gps定位值。
16.作进一步优化，所述修正图像中生姜异常位置的gps定位值的具体步骤包括：
17.s01、通过垂直发射模块与角度发射模块的激光点物理距离获取两个激光测距仪、即两个激光点在地面的1/2间实际距离d，具体为：
18.当种植地为斜面时：
[0019][0020]
式中，x表示垂直发射模块的激光测距仪与地面之间的距离；y表示角度发射模块的激光测距仪与地面之间的距离；
[0021]
当种植地为平面时，即x＝y
·
cos a：
[0022]
d＝y sinα＝x tanα；
[0023]
s02、获取图像像素距离d
p
与实际距离d之间的映射关系β，具体为：
[0024][0025]
式中，d
p
通过测量垂直发射模块的可见红外激光发射器与角度发射模块的可见红外激光发射器在拍摄图像中的红外激光点之间的像素值距离获得；
[0026]
s03、获取生姜异常检测框位置图像的像素距离与角度，具体为：
[0027]
通过拍摄图像测量出生姜异常检测框中心与拍摄图像中垂直发射模块的红外激光点之间的像素距离d
l
；
[0028]
通过拍摄图像测量出第一连线与第二连线之间的逆时针方向夹角θ；其中，第一连线为生姜异常检测框中心与垂直发射模块的红外激光点之间的连线，第二连线为垂直发射模块的红外激光点与角度发射模块的红外激光点之间的连线；
[0029]
s04、获取生姜异常检测框位置图像的实际距离df与实际角度θf，具体为：
[0030]df
＝d
l
·
β；
[0031]
θf＝θ+θ
l
；
[0032]
式中，θ
l
为无人机拍摄图片时，发射器平面与正北方向之间的逆时针夹角；其中，发射器平面垂直发射模块的可见红外激光发射器与角度发射模块的可见红外激光发射器组成的平面；
[0033]
s05、通过生姜异常检测框位置图像的实际距离df与实际角度θf、结合此时拍摄点gps定位值，能够获取实际生姜异常生长苗的矩形框，从而实现异常苗的准确定位。
[0034]
作进一步优化，所述巡检系统还包括存储模块、数据库及比对模块，所述存储模块与异常检测模块的输出端连接、且与数据库交互，从而将含有生姜异常检测框的拍摄图像进行分类储存；所述比对模块分别与存储模块、数据库连接，从而当发生异常生长的生姜图像时、与储存在数据库中的同一区域的不同时间段的图像进行对比(时间维度上进行比较)，获取更详细的分析结果。
[0035]
本发明具有如下技术效果：
[0036]
本技术通过无人机模块实现对生姜种植田内进行巡检，自动化程度高、巡检范围广，配合无人机摄像模块与异常检测模块，能够高效、快速、及时的识别出异常生长的生姜苗，有效节省人力物力，识别效率高；通过可见光红外激光点检测模块与修正模块的配合，通过后台图像即可获得异常生长生姜苗的位置定位，定位精确、误差小，能够精准通过后台图像获得前端种植田内的异常生长生姜苗的位置，降低系统前端(即无人机模块)的硬件需求及算力需求，从而降低无人机模块的操作难度、运行成本，提高巡检识别的效率(如无人机模块需降低高度或落地才能准确获得实际中异常生姜苗的位置，既提高了无人机模块的运行成本，又十分考验操作人员的无人机操作水平，同时还拉长了识别巡检的时间、降低巡检效率)。同时，本技术的无人机前端仅用于拍摄图像与巡检飞行，将需要复杂运算判断与逻辑处理的部分交给后端进行，能够有效降低前端无人机的运算工作量，避免无人机模块过载(由于无人机模块设置空间有效)而出现短路、运行缓慢等问题；此外，通过后端的训练、识别及判断，精准度更高、判断更及时，从而为异常苗的处理和维护提供更充分的时间。
附图说明
[0037]
图1为本发明实施例中获取两个激光测距仪在地面的实际距离的结构示意图。
[0038]
其中，100、摄像头。
具体实施方式
[0039]
下面通过实施例对本发明进行具体的描述，有必要在此指出的是以下实施例只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限制，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]
实施例1：
[0041]
一种基于后台图像定位的无人机生姜种植巡检系统，其特征在于：包括无人机模块、无人机摄像模块、异常检测模块及异常定位模块；
[0042]
无人机模块上设置gps定位模块，用于获取拍摄点gps定位值；无人机模块还包括无人机飞控模块与无线传输模块，无人机飞控模块用于控制无人机模块的飞行、降落、转向等；无线传输模块用于远程连接无人机摄像模块与异常检测模块，从而将无人机摄像模块的拍摄图像、角度a及拍摄点gps定位值传输给异常检测模块。同时，无人机模块上还可以配置电池组、电池充放电电路及太阳能电池板，从而利用太阳能进行充电、提高无人机模块的续航能力(无人机模块可采用现有常见的农业生产用无人机)。
[0043]
无人机摄像模块安装在无人机模块上，包括摄像头100、垂直发射模块与角度发射模块；摄像头100固定安装在无人机模块的正下方(具体为安装在无人机底部)且镜头垂直
向下(即摄像角度垂直向下)；垂直发射模块与角度发射模块分别设置在摄像头100的左、右两侧，且垂直发射模块与摄像头100平行设置、即垂直发射模块的发射线垂直向下，角度发射模块与摄像头100呈角度a设置、即角度发射模块的发射线与摄像头100视线呈角度a(如图1所示)；垂直发射模块与角度发射模块均包括激光测距仪与可见红外激光发射器；
[0044]
异常检测模块通过筛选带标注的生姜异常生长图片(即筛选以往生姜异常生长图片且进行标注)组成数据集(数据集包括训练集、测试集与验证集)，采用识别框架进行训练(训练方式采用本领域常规图像训练方式，即利用训练集得到初模型，再利用验证集对初模型进行验证，获得生姜异常生长图像检测模型)，识别框架可采用yolov3模型、yolov4模型、yolov5模型中的任一种(优选yolov5模型)，从而获得生姜异常生长图像检测模型；然后采用线下训练完成生姜异常生长图像检测模型对无人机摄像模块传输的拍摄图像进行检测，输出生姜异常检测框；生姜异常检测框为矩形框，则生姜异常生长图像检测模型输出数据包括矩形框的左上角坐标及矩形框的宽、高。
[0045]
异常定位模块包括可见光红外激光点检测模块与修正模块；
[0046]
可见红外激光点检测模块用于检测无人机摄像模块传输的拍摄图像中可见红外激光发射器发出的红外激光点；修正模块根据拍摄点的gps定位值、角度a、生姜异常检测框、红外激光点，修正图像中生姜异常位置的gps定位值。
[0047]
修正图像中生姜异常位置的gps定位值的具体步骤包括：
[0048]
s01、通过垂直发射模块与角度发射模块的激光点物理距离获取两个激光测距仪、即两个激光点在地面的1/2间实际距离d，如图1所示，具体为：
[0049]
当种植地为斜面时：
[0050][0051]
式中，x表示垂直发射模块的激光测距仪与地面之间的距离；y表示角度发射模块的激光测距仪与地面之间的距离；
[0052]
当种植地为平面时，即x＝y
·
cos a：
[0053]
d＝y sinα＝x tanα；
[0054]
s02、获取图像像素距离d
p
与实际距离d之间的映射关系β，具体为：
[0055][0056]
式中，d
p
通过测量垂直发射模块的可见红外激光发射器与角度发射模块的可见红外激光发射器在拍摄图像中的红外激光点之间的像素值距离获得；
[0057]
s03、获取生姜异常检测框位置图像的像素距离与角度，具体为：
[0058]
通过拍摄图像测量出生姜异常检测框中心与拍摄图像中垂直发射模块的红外激光点之间的像素距离d
l
；
[0059]
通过拍摄图像测量出第一连线与第二连线之间的逆时针方向夹角θ；其中，第一连线为生姜异常检测框中心与垂直发射模块的红外激光点之间的连线，第二连线为垂直发射模块的红外激光点与角度发射模块的红外激光点之间的连线；
[0060]
s04、获取生姜异常检测框位置图像的实际距离df与实际角度θf，具体为：
[0061]df
＝d
l
·
β；
[0062]
θf＝θ+θ
l
；
[0063]
式中，θ
l
为无人机拍摄图片时，发射器平面与正北方向之间的逆时针夹角；其中，发射器平面垂直发射模块的可见红外激光发射器与角度发射模块的可见红外激光发射器组成的平面；
[0064]
s05、通过生姜异常检测框位置图像的实际距离df与实际角度θf、结合此时拍摄点gps定位值，能够获取实际生姜异常生长苗的矩形框，从而实现异常苗的准确定位。
[0065]
实施例2：
[0066]
异常检测模块中还可以设置分类模块，用于输出具有的异常原因估计，如缺水、缺营养、虫害等；即异常检测模块获得生姜异常生长图像检测模型后、输入到预先训练完成的分类模块中进行分类(分类模型可采用支撑向量机或深度神经网络中任一种，如vgg、rexnet等，本领域技术人员能够理解，本技术不做过多论述)，从而输出具有异常原因的结果。
[0067]
实施例3：
[0068]
巡检系统还包括存储模块、数据库及比对模块，存储模块与异常检测模块的输出端连接、且与数据库交互，从而将含有生姜异常检测框的拍摄图像进行分类储存；比对模块分别与存储模块、数据库连接，从而当发生异常生长的生姜图像时、与储存在数据库中的同一区域的不同时间段的图像进行对比(时间维度上进行比较)，获取更详细的分析结果。
[0069]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。