作物姿态采集检测设备及关键点检测方法

本技术涉及作物表型处理技术，具体而言涉及一种作物姿态采集检测设备及关键点检测方法。

背景技术：

1、小麦作为全球重要的粮食作物，其株高、茎宽和叶倾角等重要表型性状，可以有效地反映作物的生长、胁迫和营养状况。深度学习蓬勃发展的同时，姿态评估在人体方面取得了成功，在其他可变形关节物体(如动物)也不断有新的进展。

2、但在植物检测方面，姿态估计与关键点检测方向的研究进展缓慢。

3、植物的形态学结构与参数在农业生产和研究中有重要的生物学意义。其可实时检测出不同环境条件以及植物不同基因型等因素对植物形态学参数的变化影响。因此，基于机器视觉、图像分割和深度学习等技术准确地捕捉和分析植物的重要特征对生物育种和农业生产起到至关重要的作用。

技术实现思路

1、本技术针对现有技术的不足，提供一种作物姿态采集检测设备及关键点检测方法，其基于深度学习和机器视觉技术，通过作物表型图像采集机器人自动化采集盆栽作物侧视姿态图像、制作作物姿态评估数据集，利用坐标回归网络和热图回归网络对作物姿态关键点检测的适用性展开讨论，选择最优网络模型unet对作物的形态学结构进行量化，进而分析作物的生理状态。本技术不仅为非侵入性分析作物生理状态提供了新思路，还对作物干旱防灾减灾有重要意义。本技术具体采用如下技术方案。

2、首先，为实现上述目的，提出一种作物姿态采集检测设备，其主体结构包括：车载底盘和安装在车载底盘上的图像采集平台；其中，所述车载底盘采用轮式底盘，轮式底盘的主体结构包括两块钢板，两块钢板从上到下依次设置为控制层和引导动力层，其中，引导动力层的钢板上装配有驱动系统，引导动力层的钢板底部装配有循迹系统以及传感器，控制层的钢板上装配有控制单元，用于控制驱动系统运行，并对图像采集平台采集获得的作物表型图像进行传输处理；所述图像采集平台与控制层中控制单元电连接，所述图像采集平台中设置有usb摄像头用于进行图像采集，图像采集平台中还设置有摄像头支架，所述摄像头支架具有以垂直于轮式底盘钢板平面的轴线为旋转中心的第一偏转自由度转台，以及，安装在第一偏转自由度转台上并且设置为以平行于轮式底盘钢板平面的轴线为旋转中心的第二俯仰自由度转台，usb摄像头安装在所述第二俯仰自由度转台上，第一偏转自由度转台以及第二俯仰自由度转台分别由两个舵机提供两个自由度方向上的转向动力，来实现多角度的作物表型图像采集；所述控制单元还在接收到作物表型图像后，实现对图像数据的传输与自动存储，以触发对图像数据进行筛选分析，得到穗长、叶长、叶夹角的形态学参数。

3、可选的，如上任一所述的作物姿态采集检测设备，其中，所述控制单元还在接收到作物表型图像后，触发对图像数据进行如下筛选分析步骤，得到作物姿态关键点连线图像和作物姿态图像形态学参数：使用pytorch深度学习框架构建模型，借助深度神经网络通过热图回归检测算法识别、预测单株作物的关键点，寻找损失函数最小的非线性映射关系，得到各张作物姿态关键点连线图像中热图最大值的位置坐标，通过heatmap_to_numpy函数将热图最大值的位置坐标转换为关键点坐标，然后按照作物形态学参数计算公式，根据各关键点坐标计算获取穗长、叶长、叶夹角的形态学参数

4、可选的，如上任一所述的作物姿态采集检测设备，其中，所述传感器包括红外循迹传感器，其固定在底盘下方前端，用于检测作物姿态采集检测设备运行路面上所铺设的黑色引导线吸收的热辐射，并由此确定车体中心红外循迹传感器安装位置与黑色引导线之间的位置信息，使作物姿态采集检测设备的驱动系统沿着预铺设在泡沫板上的黑色引导线循迹运行。

5、同时，为实现上述目的，本技术还提供一种作物姿态关键点检测方法，用于对如上任一所述作物姿态采集检测设备采集获得的图像数据进行如下筛选分析步骤，以得到作物姿态关键点连线图像和作物姿态图像形态学参数：使用pytorch深度学习框架构建模型，借助深度神经网络通过热图回归检测算法识别、预测单株作物的关键点，寻找损失函数最小的非线性映射关系，得到各张作物姿态关键点连线图像中热图最大值的位置坐标，通过heatmap_to_numpy函数将热图最大值的位置坐标转换为关键点坐标，然后按照作物形态学参数计算公式，根据各关键点坐标计算获取穗长、叶长、叶夹角的形态学参数。

6、可选的，如上任一所述的作物姿态关键点检测方法，其中，使用通过如下步骤训练获得的模型进行作物形态学参数的识别和提取：采用landmark_annotation软件标定每张作物侧视姿态图像的关键点，按照固定比例分别将各图像归入训练数据集、验证数据集和测试数据集；然后在配置为nvidiartx3060的pc上，使用pytorch深度学习框架构建热图网络模型，将训练数据集中作物侧视姿态图像和对应的关键点标签信息融合，输入编码器解码器进行模型训练，得到关键点检测模型和热图信息，用验证数据集验证关键点检测模型的拟合程度并相应调节网络参数，最后用测试数据集测试关键点检测模型的准确性，得到损失函数最小的非线性映射关系完成模型训练。

7、可选的，如上任一所述的关键点检测方法，其中，采用landmark_annotation软件标定每张作物侧视姿态图像的关键点后，还分别对各图像进行以下任意的增强操作：翻转、旋转、亮度增强、对比度增强，并将增强操作所获得的图像按照相同的固定比例归入训练数据集、验证数据集和测试数据集。

8、可选的，如上任一所述的关键点检测方法，其中，盆栽作物侧视姿态图像的关键点包括：麦穗、顶一叶、顶二叶、顶三叶的端点坐标和/或其中部坐标。

9、可选的，如上任一所述的关键点检测方法，其中，所述作物姿态图像形态学参数包括：顶一、二、三叶的夹角和/或顶一、二、三叶的长度；记landmark[0]代表麦穗顶部的关键点坐标，landmark[1]代表麦穗底部的关键点坐标，landmark[2]代表顶一叶顶部的关键点坐标，landmark[3]代表顶一叶中部的关键点坐标，landmark[4]代表顶一叶底部的关键点坐标，landmark[5]代表顶二叶顶部的关键点坐标，landmark[6]代表顶二叶中部的关键点坐标，landmark[7]代表顶二叶底部的关键点坐标，landmark[8]代表顶三叶顶部的关键点坐标，landmark[9]代表顶三叶中部的关键点坐标，landmark[10]代表顶三叶底部的关键点坐标；则，穗长的形态学参数计算公式为line(landmark[0],landmark[1])；顶一叶长度的形态学参数计算公式为line(landmark[2],landmark[3])+line(landmark[3],landmark[4])；顶二叶长度的形态学参数计算公式为line(landmark[5],landmark[6])+line(landmark[6],landmark[7])；顶三叶长度的形态学参数计算公式为line(landmark[8],landmark[9])+line(landmark[9],landmark[10])；顶一叶夹角的形态学参数计算公式为ng(landmark[1],landmark[4],landmark[3])；顶二叶夹角的形态学参数计算公式为ang(landmark[4],landmark[7],landmark[6])；顶三叶夹角的形态学参数计算公式为ang(landmark[7],landmark[10],landmark[9])；其中，line为欧氏距离计算公式，用于计算关键点像素坐标在图中的距离；ang为角度计算公式，用于计算3个关键点像素坐标之间所夹的角度。

10、可选的，如上任一所述的关键点检测方法，其中，将训练数据集中作物侧视姿态图像和对应的关键点标签信息融合以输入编码器解码器进行模型训练的步骤还包括如下对关键点坐标的预处理步骤，由此将关键点的坐标转化成三维张量，获得关键点所对应的热图标签：首先，对标注的每个关键点生成一个二维矩阵，所述二维矩阵的大小与作物侧视姿态图像的分辨率相同；然后，将作物侧视姿态图像上所标记的关键点的坐标映射至大小与作物侧视姿态图像的分辨率相同的所述二维矩阵中；最后，采用高斯编码的形式，确定关键点在热力图中的值为其中，σ为该高斯函数的标准差，(xi，yi)表示第i个关键点在热力图中的坐标值，(x，y)表示该关键点在原始图像上的标签坐标值。

11、可选的，如上任一所述的关键点检测方法，其中，pytorch深度学习框架构建模型包括：res-net18、unet、hrnet48和hrnet32模型，其采用adam、sgd优化器，batch size根据模型复杂程度的不同设置为16、8、6、4、2，训练次数设置为100、150、200次迭代，学习率从1×10-4逐渐下降到1×10-5；输入到模型中图像大小设置为1280×1024。热图大小设置为输入大小的1/2；模型中对热图的解码过程具体通过argmax函数求出预测热图最大值点的坐标，将其放缩回原始图片空间，并输出；热图回归过程中，采用均方误差(mse)损失函数或二值交叉熵损失函数(bce)开展基于热图回归网络的小麦关键点检测。

12、有益效果

13、本技术所提供的作物姿态采集检测设备及关键点检测方法，该检测设备利用车载底盘实现自动驱动循迹行走，通过其上的图像采集平台为摄像头提供支撑以及两个转向自由度，以此实现多角度的作物表型图像采集。本技术基于人体关键点检测评价指标提出了小麦关键点检测的评价指标，采用热图回归检测算法实现关键点检测，然后通过pytorch深度学习框架构建小麦姿态关键点检测的最优unet为作物姿态关键点检测的最优网络模型，并针对小麦作物表型特征优选采用改进的11关键点检测方法以获得优于原假设关键点的模型检测效果。本技术能够有效识别作物姿态中顶一、二、三叶的夹角以及顶一、二、三叶的长度参数，更直观地显示小麦叶长，叶夹角在干旱胁迫过程中的变化趋势，以满足更多参数的检测需求。本技术为研究多样化的小麦姿态变化，并进行识别与分类提供了有力工具，具有很高的实用价值。

14、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。