一种基于光场相机的茶叶采摘点检测方法

1.本发明属于农业智能化领域，具体涉及一种基于光场相机的茶叶采摘点检测方法。


背景技术：

2.茶叶的智能化采摘对减轻茶叶工作量具有重要的意义。目前对茶叶嫩芽检测的研究主要集中二维领域。主要是二维图像结合传统算法和二维图像与深度学习算法结合。在传统算法方面，通过提取茶叶嫩芽特征，再使用基于超绿特征的阈值，分割茶叶嫩芽图像，最后对茶叶嫩梢整体进行识别。在深度学习算法上，通过通用目标检测算法对茶叶嫩梢进行分类和定位。
3.但是以上技术仍存在一下缺陷：
①
由于茶叶的生长特性，基于二维图像的茶叶嫩梢检测方法在目标检测是对于遮挡目标的检测效果较差，无法检测到被遮挡的芽叶。
②
传统算法和深度学习算法在处理无序点云数据时表现差，无法获得很好的检测精度。


技术实现要素：

4.本发明针对传统神经网络在目标检测精度上有一定的上限的问题，提出了一种基于光场相机的茶叶嫩稍检测方法。
5.本发明提出了一种基于光场相机的茶叶采摘点检测方法，包括如下步骤：
6.步骤(1)：利用光场相机获取4d光场数据；
7.步骤(2)：在低分辨率下的实现茶叶嫩芽区域粗定位；
8.步骤(3)：茶叶嫩梢部位小景深数字重聚焦；
9.步骤(4)：对重聚焦部位应用超分辨算法得到高分辨率的茶叶嫩梢图像；
10.步骤(5)：使用基于改进iou计算方法的旋转目标检测算法检测茶叶茎秆部位；
11.步骤(6)：茶叶茎秆三维重建；
12.步骤(7)：基于ppf算法的茎秆点云匹配得到茶叶嫩梢采摘点。
13.具体步骤如下：
14.步骤(1)：利用光场相机获取4d光场数据。
15.使用一台光场相机在45
°
角下对茶树进行拍摄，获取茶树的4d光场数据，并根据获取 的茶树的4d光场数据合成低分辨率大景深的茶树二维rgb图像和相应的深度图像。
16.步骤(2)：低分辨率下的茶叶嫩芽区域粗定位。
17.使用低分辨率大景深的茶树二维rgb图像结合英伟达旋转框物体目标检测工具箱实现对象区域的快速粗定位。英伟达提供了一个开源的旋转目标检测工具箱，它使用retinanet作为骨干网络进行旋转目标检测。该工具箱集成了混合精度训练，数据加载，高度优化的推理引擎，智能视频分析解决方案以及一个静态图的解决方案五个模块，可以便捷的进行旋转目标检测。在这里，我们实现了在低分辨率下的茶叶嫩芽区域定位，作为初步目标检测的结果。
18.步骤(3)：茶叶嫩梢部位小景深数字重聚焦。
19.光场数字重聚焦就是将采集到的光场重新投影到新的像平面进行积分。以二维情况为例，l(u,s)为采集到的光场，u和s分别表示主镜头孔径所在的平面和微透镜阵列所在平面，两个平面之间的距离为l。选择新的对焦平面s'，与u平面的距离为l'，令l'＝α
×
l，s'平面上所成的像等于u-s'之间光场的积分，即：
20.i(s')＝∫l'(u,s')du，而对于同一条光线，应该有l(u,s)＝l'(u,s')，同时根据光线与各平面的交点坐标可以得到:令l'＝al，经过变换后得到:代入积分公式得到:若推广到四维情况，可以得到重聚焦公式:重聚焦就是对光场在位置维度进行平移后在方向维度进行积分的过程。
21.步骤(4)：对重聚焦部位应用超分辨算法得到高分辨率的茶叶嫩梢图像。
22.本发明提出了一种使用残差卷积网络的基于学习的方法来重建具有更高空间分辨率的光场。一个光场中的视图图像首先被分组到具有一致的亚像素偏移的不同图像堆栈中，并馈送到不同的网络分支以隐式学习内在的对应关系。然后从每个分支计算不同空间方向上的残差信息，并进一步整合以补充视图图像的高频细节。
23.步骤(5)：使用基于改进iou计算方法的旋转目标检测算法检测茶叶茎秆部位。
24.本发明通过改进iou计算方法提高了旋转目标检测的精度。设a＝[a1,a2,a3,a4],b＝[b1,b2,b3,b4]是两个矩形，p＝a∩b。如果a与b有重叠，那么p就是一个m边的多边形，其中m的取值是在集合{0,1,...,8}中的整数。如果m＝0则p是一个 点，如果m＝1则p是一条线段，如果m≥3则p是一个具有非零曲面的m边多边形。在后一种情况中，我们用l＝{i1,i2,...,im}表示p的顶点。l的元素可以划分为两个子序列。l1为第一个子列表包含a的一条边与b的一条边的所有交点，它们与a或b的顶点不同。l2为第二个子列表，包含a在b区域内的顶点，以及位于a区域内部的b的顶点。我们定义如下概念：如果l的一个元素既是a或b的顶点，又是a的一条边与b的一条边的交点，则称其为多阶点。l的元素称为单点，如果它是a的边与b的边的交点，而不是a或b的顶点。假设ik,k＝1,...,m在二维欧几里得仿射平面的笛卡尔坐标系β＝(o,i,j)上的坐标为(xk,yk)
t
。
[0025]
为了对凸多边形p的顶点l＝{i1,i2,...,im}进行逆时针排序，我们首先考虑集合l的质心g，然后计算每个顶点相对于质心g的极角。最后按照顶点i1,...,im的极角升序对顶点进行排列。随后，我们将其记为jk＝(x
(k)
,y
(k)
)
t
,k＝1,...,m，作为p＝a∩b的有序顶点的逆时针排列。并且令(x
(0)
,y
(0)
)＝(x
(m)
,y
(m)
)，(x
(m+1)
,y
(m+1)
)＝(x
(1)
,y
(1)
)。计算出相交区域为 并通过计算出最终的iou值。在旋转目标检测方面，我们使用r3det算法作为主干网络进行目标框的预测。
[0026]
步骤(6)：茶叶茎秆三维重建。
[0027]
本发明使用基于相移的亚像素多视角立体匹配算法实现光场的深度估计。该算法的核心就是用到了相移理论，即空域的一个小的位移在频域为原始信号的频域表达与位移
的指数的幂乘积，即如下公式：所以，经过位移后图像可以表示为：通过相移的思想能够实现亚像素精度的匹配，在一定程度上解决了基线短的问题。为了能够使子视角图像之间进行匹配，设计了两种不同的代价量：sad以及grad，最终通过加权的方式获得最终的匹配量c，它是位点x以及损失编号l的函数，具体形式如下公式所示：c(x,l)＝αca(x,l)+(1-α)cg(x,l)，其中α∈[0,1]表示sad损失量ca以及sgd损失量cg之间的权重。同时其中的ca被定义为如下形式：其中的r
x
表示在x点邻域的矩形区域；τ1是代价的截断值；v表示除了中心视角uc之外的其余视角。上述公式通过比较中 心视角图像i(uc,x)与其余视角i(u,x)的差异来构建损失量，具体而言就是通过不断地在某个视角i(ui,x)上点x的周围移动一个小的距离并于中心视角做差；重复这个过程直到比较完所有的视角为止。其中提到的小的距离即为公式中的δx，它被定义为：δx(u，l)＝lk(u-uc)，其中k表示深度/视差层的单位(像素)，δx会随着任意视角与中心视角之间距离的增大而线性增加。同理，可以构造出第二个匹配代价量sgd，其基本形式如下所示：
[0028]
其中的diff
x
表示子孔径图像在x方向上的梯度；β(u)控制着两个方向代价量的权重，它由任意视角与中心视角之间的相对距离表示：
[0029][0030]
至此，代价函数构建完毕。随后对于该代价函数利用边缘保持滤波器进行损失聚合，得到优化后的代价量。随后构建一个迭代优化模型对深度图进行优化。
[0031]
在得到深度图后将其输入open3d库恢复出茶叶茎秆的三维点云。
[0032]
步骤(7)：基于ppf算法的茎秆点云匹配。
[0033]
在全局建模阶段会先利用模型点信息进行采样的预处理，因模型中的点可能有很多是不需要的。接着使用离散化的ppf特征作为索引，建立储存模型对的四维查找表。这个表储存了模型中许多对点的四维特征，将会提供后续在场景对中得到的离散化ppf特征，进行对应的参考点与旋转角度的搜索。匹配阶段，一样要先对场景的点云进行采样做预处理。接着在此场景中任意取两点构成ppf特征，这些ppf特征被离散化并当作索引，再利用刚刚全局建模时所建立的四维查找表进行搜寻，经过搜寻后可以获得一组模型点对以及对应其模型点对之所有可能的候选场景点对。得到模型点对与候选的场景点对后会利用类似于广义霍夫变换的方式进行投票。霍夫变换是用来检测能够被精确定义的形状，可以利用此数据找出这些形状在图像中的位置和方向，而广义霍夫变换则是在霍夫变换的基础上根据模板匹配的原理进行调整，它可以检测任意的形状。在投票过程中，找到场景候选点对中最佳的局部匹配点对，在处理完所有的模型点对后，接着可以从这个最佳局部点对座标计算出全局的刚性运动，借此找到目标物件的位置与方向。本方法在构建模型时，将模型中段定义为茶叶嫩梢的采摘部位。
[0034]
上述的光场数字重聚焦通过不同深度的物体在多视角子图像中对应的视差不同
这一原 理，将多视角子图像按照规律进行平移并叠加，最终凭借较大的等效孔径实现“小景深”的效果，达到茶叶茎秆部位精确定位的效果。
[0035]
上述的光场超分辨算法使用一种基于学习的利用残差卷积网络重建高空间分辨率光场的方法。首先将一个光场中的多视角图像以一致的亚像素偏移量分组成不同的图像堆栈，并将其送入不同的网络分支中，隐式学习其内在的对应关系。然后从每个分支计算出不同空间方向上的剩余信息，并进一步集成以补充视图图像的高频细节。通过获取高分辨率图像进一步提高茶叶茎秆的识别效率和检测精度。
[0036]
本发明的有益效果：本发明使用光场相机作为图像采集设备，利用光场相机可以进行重聚焦的特点，先进行在低分辨率下的茶叶嫩梢粗定位，后经数字重聚焦和光场高分辨方法后，对茶叶茎秆部位进行精确地旋转目标检测。并在此基础上结合得到的深度图像恢复出茶叶茎秆部位的三维点云，通过点云匹配得到最终的采摘点。
附图说明
[0037]
图1为本发明的技术路线
[0038]
图2为本发明涉及的光场重聚焦原理图；(a)为联合位移后的光场子图像的叠加；(b)为光场子图像的叠加；(c)为光线在不同平面所成像的示意图；
[0039]
图3为本发明涉及的基于全局特征建模与局部匹配的点云匹配方法；(a)为全局建模示意图；(b)为局部匹配示意图；
具体实施方式
[0040]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0041]
步骤(1)：利用光场相机获取4d光场数据。
[0042]
使用一台光场相机在45
°
角下对茶树进行拍摄，获取茶树的4d光场数据，并根据获取的茶树的4d光场数据合成低分辨率大景深的茶树二维rgb图像和相应的深度图像。
[0043]
步骤(2)：低分辨率下的茶叶嫩芽区域粗定位。
[0044]
使用低分辨率大景深的茶树二维rgb图像结合英伟达旋转框物体目标检测工具箱实现对象区域的快速粗定位。英伟达提供了一个开源的旋转目标检测工具箱，它使用retinanet作为骨干网络进行旋转目标检测。该工具箱集成了混合精度训练，数据加载，高度优化的推理引擎，智能视频分析解决方案以及一个静态图的解决方案五个模块，可以便捷的进行旋转目标检测。在这里，我们实现了在低分辨率下的茶叶嫩芽区域定位，作为初步目标检 测的结果。
[0045]
步骤(3)：茶叶嫩梢部位小景深数字重聚焦。
[0046]
光场数字重聚焦就是将采集到的光场重新投影到新的像平面进行积分。以二维情况为例，l(u,s)为采集到的光场，u和s分别表示主镜头孔径所在的平面和微透镜阵列所在平面，两个平面之间的距离为l。选择新的对焦平面s'，与u平面的距离为l'，令l'＝α
×
l，s'平面上所成的像等于u-s'之间光场的积分，即：
[0047]
i(s')＝∫l'(u,s')du，而对于同一条光线，应该有l(u,s)＝l'(u,s')，同时根据光
线与各平面的交点坐标可以得到:令l'＝al，经过变换后得到:代入积分公式得到:若推广到四维情况，可以得到重聚焦公式:重聚焦就是对光场在位置维度进行平移后在方向维度进行积分的过程。
[0048]
步骤(4)：对重聚焦部位应用超分辨算法得到高分辨率的茶叶嫩梢图像。
[0049]
本发明提出了一种使用残差卷积网络的基于学习的方法来重建具有更高空间分辨率的光场。一个光场中的视图图像首先被分组到具有一致的亚像素偏移的不同图像堆栈中，并馈送到不同的网络分支以隐式学习内在的对应关系。然后从每个分支计算不同空间方向上的残差信息，并进一步整合以补充视图图像的高频细节。
[0050]
步骤(5)：使用基于改进iou计算方法的旋转目标检测算法检测茶叶茎秆部位。
[0051]
本发明通过改进iou计算方法提高了旋转目标检测的精度。设a＝[a1,a2,a3,a4],b＝[b1,b2,b3,b4]是两个矩形，p＝a∩b。如果a与b有重叠，那么p就是一个m边的多边形，其中m的取值是在集合{0,1,...,8}中的整数。如果m＝0则p是一个点，如果m＝1则p是一条线段，如果m≥3则p是一个具有非零曲面的m边多边形。在后一种情况中，我们用l＝{i1,i2,...,im}表示p的顶点。l的元素可以划分为两个子序列。l1为第一个子列表包含a的一条边与b的一条边的所有交点，它们与a或b的顶点不同。l2为第二个子列表，包含a在b区域内的顶点，以及位于a区域内部的b的顶点。我们定义如下概念：如果l的一个元素既是a或b的顶点，又是a的一条边与b的一条边的交点，则称其为多阶点。l的元素称为单点，如果它是a的边与b的边的交点，而不是a或b的顶 点。假设ik,k＝1,...,m在二维欧几里得仿射平面的笛卡尔坐标系β＝(o,i,j)上的坐标为(xk,yk)
t
。
[0052]
为了对凸多边形p的顶点l＝{i1,i2,...,im}进行逆时针排序，我们首先考虑集合l的质心g，然后计算每个顶点相对于质心g的极角。最后按照顶点i1,...,im的极角升序对顶点进行排列。随后，我们将其记为jk＝(x
(k)
,y
(k)
)
t
,k＝1,...,m，作为p＝a∩b的有序顶点的逆时针排列。并且令(x
(0)
,y
(0)
)＝(x
(m)
,y
(m)
)，(x
(m+1)
,y
(m+1)
)＝(x
(1)
,y
(1)
)。计算出相交区域为 并通过计算出最终的iou值。在旋转目标检测方面，我们使用r3det算法作为主干网络进行目标框的预测。
[0053]
步骤(6)：茶叶茎秆三维重建。
[0054]
本发明使用基于相移的亚像素多视角立体匹配算法实现光场的深度估计。该算法的核心就是用到了相移理论，即空域的一个小的位移在频域为原始信号的频域表达与位移的指数的幂乘积，即如下公式：所以，经过位移后图像可以表示为：
[0055][0056]
通过相移的思想能够实现亚像素精度的匹配，在一定程度上解决了基线短的问题。为了能够使子视角图像之间进行匹配，设计了两种不同的代价量：sad以及grad，最终通
过加权的方式获得最终的匹配量c，它是位点x以及损失编号l的函数，具体形式如下公式所示：c(x,l)＝αca(x,l)+(1-α)cg(x,l)，其中α∈[0,1]表示sad损失量ca以及sgd损失量cg之间的权重。同时其中的ca被定义为如下形式：
[0057][0058]
其中的r
x
表示在x点邻域的矩形区域；τ1是代价的截断值；v表示除了中心视角uc之外的其余视角。上述公式通过比较中心视角图像i(uc,x)与其余视角i(u,x)的差异来构建损失量，具体而言就是通过不断地在某个视角i(ui,x)上点x的周围移动一个小的距离并于中心视角做差；重复这个过程直到比较完所有的视角为止。其中提到的小的距离即为公式中 的δx，它被定义为：δx(u,l)＝lk(u-uc)，其中k表示深度/视差层的单位(像素)，δx会随着任意视角与中心视角之间距离的增大而线性增加。同理，可以构造出第二个匹配代价量sgd，其基本形式如下所示：
[0059][0060]
其中的diff
x
表示子孔径图像在x方向上的梯度；β(u)控制着两个方向代价量的权重，它由任意视角与中心视角之间的相对距离表示：
[0061][0062]
至此，代价函数构建完毕。随后对于该代价函数利用边缘保持滤波器进行损失聚合，得到优化后的代价量。随后构建一个迭代优化模型对深度图进行优化。在得到深度图后将其输入open3d库恢复出茶叶茎秆的三维点云。
[0063]
步骤(7)：基于ppf算法的茎秆点云匹配。
[0064]
在全局建模阶段会先利用模型点资讯进行采样的预处理，因模型中的点可能有很多是不需要的。接着使用离散化的ppf特征作为索引，建立储存模型对的四维查找表。这个表储存了模型中许多对点的四维特征，将会提供后续在场景对中得到的离散化ppf特征，进行对应的参考点与旋转角度的搜索。匹配阶段，一样要先对场景的点云进行采样做预处理。接着在此场景中任意取两点构成ppf特征，这些ppf特征被离散化并当作索引，再利用刚刚全局建模时所建立的四维查找表进行搜寻，经过搜寻后可以获得一组模型点对以及对应其模型点对之所有可能的候选场景点对。得到模型点对与候选的场景点对后会利用类似于广义霍夫变换的方式进行投票。霍夫变换是用来检测能够被精确定义的形状，可以利用此数据找出这些形状在图像中的位置和方向，而广义霍夫变换则是在霍夫变换的基础上根据模板匹配的原理进行调整，它可以检测任意的形状。在投票过程中，找到场景候选点对中最佳的局部匹配点对，在处理完所有的模型点对后，接着可以从这个最佳局部点对座标计算出全局的刚性运动，借此找到目标物件的位置与方向。本方法在构建模型时，将模型中段定义为茶叶嫩梢的采摘部位。
[0065]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语 的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者
特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0066]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。