菠萝果眼定位方法、装置和电子设备

1.本发明涉及数据识别技术领域，尤其涉及一种菠萝果眼定位方法、装置和电子设备。


背景技术：

2.菠萝是一种日常生活中常见的热带水果，菠萝虽然口味鲜美，但由于菠萝的皮为花苞状的硬皮，并且呈螺旋状排列，而且每个花苞片上都有一个较深的“果眼”或“黑芯”，导致菠萝食用前的处理工作繁琐，尤其是去眼环节。
3.目前，用刀具手工去除菠萝果眼是人们最主要和最常用的手段，但用刀具手工去除菠萝果眼比较麻烦，需要人工操作v形刀沿着“果眼”的螺旋方向进行去眼，不仅费时费力，而且手容易被刀具伤到。 也有很多去除菠萝果眼的设备，但是由于对于不同的菠萝，果眼的位置不同，难以较准确的进行确定，从而导致这些设备去除果眼时造成很大浪费，且果眼的去除效果较差。


技术实现要素：

4.本发明提供一种菠萝果眼定位方法、装置和电子设备，用以解决现有技术中采用机器设备去除菠萝果眼时难以对菠萝果眼进行定位或定位不准确的缺陷，实现一种准确率高且定位速度快的菠萝果眼定位方法。
5.本发明提供一种菠萝果眼定位方法，该方法包括：从多个角度拍摄削皮后的菠萝的rgb图像和深度图像；从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像；根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据；将所述菠萝的多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型，所述重建点云模型包括所述菠萝的整体点云数据和所述菠萝上果眼的点云数据；滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据；根据所述目标果眼的点云数据确定所述菠萝上果眼的三维坐标。
6.根据本发明提供的一种菠萝果眼定位方法，所述从多个角度拍摄削皮后的菠萝的rgb图像和深度图像，包括：取菠萝并进行削皮；以所述菠萝的轴线为轴，采用深度相机绕所述菠萝的轴线从多个旋转角度拍摄削皮后的所述菠萝的rgb图像和深度图像，其中，多个角度之间的夹角相等。
7.根据本发明提供的一种菠萝果眼定位方法，所述从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像，包括：将从多个角度拍摄的所述菠萝的rgb图像输入预训练的实例分割网络模型，从而获得菠萝部分的目标rgb图像；
根据所述目标rgb图像，从所述深度图像中获得菠萝部分对应的目标深度图像。
8.根据本发明提供的一种菠萝果眼定位方法，所述实例分割网络模型的训练方法包括：建立初始实例分割网络模型；建立训练集，所述训练集包括削皮后所述菠萝的rgb图像以及标签信息，所述标签信息包括所述菠萝的轮廓区域标签信息以及所述菠萝上果眼的区域标签信息；采用训练集对所述初始实例分割网络模型进行训练，获得实例分割网络模型。
9.根据本发明提供的一种菠萝果眼定位方法，所述滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据，包括：将所述菠萝的重建点云模型进行摆正；将所述菠萝上果眼的点云的质心投射到二维极坐标系上；根据所述菠萝上果眼的点云质心拟合出所述菠萝的螺旋线投射在二维极坐标上的直线；获取所述菠萝上各果眼的点云质心距离最近的所述直线的距离；当所述果眼的点云质心距离最近的所述直线的距离大于预设距离阈值时，则确定所述果眼为错误点并进行滤除。
10.根据本发明提供的一种菠萝果眼定位方法，所述将所述菠萝的重建点云模型进行摆正，包括：基于所述菠萝的整体点云数据，计算出所述重建点云模型的轴线方向；根据所述重建点云模型的轴线方向确定所述菠萝上果眼与所述菠萝的基准面的相对位置以及所述重建点云模型的位姿；根据所述菠萝上果眼与所述菠萝的基准面的相对位置以及所述重建点云模型的位姿，将所述重建点云模型进行摆正。
11.根据本发明提供的一种菠萝果眼定位方法，所述将所述菠萝的多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型前，还包括：将所述菠萝的多个角度的点云数据中位于所述菠萝的轮廓范围外的菠萝果眼的点云进行滤除。
12.本发明还提供一种菠萝果眼定位装置，包括：拍摄模块，用于从多个角度拍摄削皮后的菠萝的rgb图像和深度图像；目标获取模块，用于从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像；点云数据获取模块，用于根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据；拼接模块，用于将所述菠萝的多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型，所述重建点云模型包括所述菠萝的整体点云数据和所述菠萝上果眼的点云数据；滤除模块，用于滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据；确定模块，用于根据所述目标果眼的点云数据确定所述菠萝上果眼的三维坐标。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述菠萝果眼定位方法。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述菠萝果眼定位方法。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述菠萝果眼定位方法。
16.本发明提供的菠萝果眼定位方法、装置和电子设备，通过采集削皮后菠萝各角度的rgb图像和深度图像从而获得菠萝的重建点云模型，在滤除错误果眼的点云数据后，获得重建点云模型中的果眼的三维坐标数据，从而对菠萝上的果眼进行定位，该方法定位快速且定位准确度较高，便于后续采用机器设备对菠萝果眼精准去除。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的菠萝果眼定位方法的流程示意图；图2是本发明提供的重建点云模型中菠萝果眼的点云效果图；图3是本发明提供的从多个角度拍摄削皮后的菠萝的rgb图像和深度图像的方法的流程示意图；图4是本发明提供的从6个旋转角度拍摄削皮后的菠萝的示意图；图5是本发明提供的获得目标rgb图像和目标深度图像的方法的流程示意图；图6是本发明提供的目标rgb图像的示意图；图7是本发明提供的实例分割网络模型的训练方法的流程示意图；图8是本发明提供的获得目标果眼的点云数据的方法的流程示意图；图9是本发明提供的二维极坐标系下菠萝果眼质心分布图；图10是本发明提供的将菠萝的重建点云模型进行摆正的方法的流程示意图；图11是本发明提供的菠萝果眼定位装置的结构示意图；图12是本发明提供的电子设备的结构示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.下面结合图1-图10描述本发明的一种菠萝果眼定位方法，该方法包括：s101：从多个角度拍摄削皮后的菠萝的rgb图像和深度图像。
21.示例性的，由于菠萝为类似圆柱形的形状，因此需要从多个角度拍摄削皮后的菠
萝的rgb图像和深度图像，以获得削皮后菠萝的完整的rgb图像和深度图像。
22.深度图像（depth images），也被称为距离影像（range images），是指将图像采集器采集到的场景中各点的距离（深度）值作为像素值的图像，它直接反映了景物可见表面的几何形状。
23.其中，当以菠萝的菠萝芯的轴线为轴进行旋转拍摄时，相邻两个拍摄角度之间的夹角最好小于等于60
°
，以便能够完整的获取菠萝各个角度的图像。
24.s102：从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像。
25.具体的，多角度拍摄的菠萝的rgb图像和深度图像中包括菠萝图像外还包括背景图像。因此，需要从rgb图像和深度图像中仅获得菠萝部分的目标rgb图像和目标深度图像。
26.s103：根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据。
27.示例性的，将每个角度获得的目标rgb图像和目标深度图像分别进行结合可以得到菠萝多个角度的点云数据。例如，将从第一个角度获得的目标rgb图像和目标深度图像进行结合得到第一个角度的点云数据；将从第二个角度获得的目标rgb图像和目标深度图像进行结合得到第二个角度的点云数据；以此类推得到削皮后菠萝的多个角度的点云数据。
28.s104：将所述菠萝的多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型，所述重建点云模型包括所述菠萝的整体点云数据和所述菠萝上果眼的点云数据。
29.具体的，根据多个拍摄角度的顺序，以及多个拍摄角度之间的夹角，将得到的削皮后菠萝的多个角度的点云数据进行拼接，可以获得菠萝的重建点云模型，重建点云模型包括菠萝的整体点云数据和菠萝上果眼的点云数据。参考图2中所示，图2为重建点云模型中菠萝果眼的点云效果图。
30.s105：滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据。
31.可以理解的是，在重建点云模型的时，可能会误识别一些干扰点，从而将干扰点当做菠萝的果眼。因此在重建好菠萝上果眼的点云数据后需要对误识别的干扰点进行滤除，滤除后得到目标果眼的点云数据，以提高菠萝上果眼的准确性。
32.s106：根据所述目标果眼的点云数据确定所述菠萝上果眼的三维坐标。
33.在得到目标果眼的点云数据后则可以确定菠萝上果眼的三位坐标，获知果眼的定位信息。
34.本发明提供的菠萝果眼定位方法，通过采集削皮后菠萝各角度的rgb图像和深度图像从而获得菠萝的重建点云模型，在滤除错误果眼的点云数据后，获得重建点云模型中的果眼的三位坐标数据，从而对菠萝上的果眼进行定位，该方法定位快速且定位准确度较高，便于后续采用机器设备对菠萝果眼精准去除。
35.在一个实施例中，所述从多个角度拍摄削皮后的菠萝的rgb图像和深度图像，包括：s301：取菠萝并进行削皮。
36.s302：以所述菠萝的轴线为轴，采用深度相机绕所述菠萝的轴线从多个旋转角度拍摄削皮后的所述菠萝的rgb图像和深度图像，其中，多个角度之间的夹角相等。
37.具体的，菠萝的轴线也是菠萝芯的轴线，采用深度相机绕菠萝的轴线进行旋转拍
摄，可以从多个旋转角度拍摄削皮后的菠萝的rgb图像和深度图像。
38.示例性的，参考图4中所示，具体可以从6个旋转角度拍摄削皮后的菠萝的rgb图像和深度图像，并且6个角度之间的夹角相同，均为60
°
。当拍摄的角度更少时，则可能难以获得菠萝的全部的图像信息，当拍摄的角度更多时，则可能会增加整个方法过程中的数据处理难度。
39.将上述6个角度的点云数据进行旋转拼接获得菠萝的重建点云模型的算法为：第n（n的取值为0-5）副图像对应的所有菠萝果眼的点云质心为：pcl::pointxyz pic_n_cloud。
40.菠萝果眼的个数为：num = pic_n_cloud.size()。
41.第n副图像对应的重建后的点云为：pcl::pointxyz pic_n_cloud_restruct。
42.重建点云模型后菠萝第k个果眼的质心坐标为：。
43.在一个实施例中，所述从所述rgb图像和深度图像中获得菠萝部分的目标rgb图像和目标深度图像，包括：s501：将从多个角度拍摄的所述菠萝的rgb图像输入预训练的实例分割网络模型，从而获得菠萝部分的目标rgb图像。
44.具体的，从多个角度拍摄的所述菠萝的rgb图像输入预训练的实例分割网络模型，如图6所示，可以获得菠萝部分的目标rgb图像，目标rgb图像中有菠萝轮廓图像及菠萝黑点识别图像。
45.s502：根据所述目标rgb图像，从所述深度图像中获得菠萝部分对应的目标深度图像。
46.具体的，根据目标rgb图像，从深度图像中筛选目标rgb图像的上的各像素点对应的深度值，从而得到目标深度图像。
47.在一个实施例中，所述实例分割网络模型的训练方法包括：s701：建立初始实例分割网络模型。
48.具体的，初始实例分割网络模型可以是基于深度神经网络的实例分割模型blendmask。
49.s702：建立训练集，所述训练集包括削皮后所述菠萝的rgb图像以及标签信息，所述标签信息包括所述菠萝的轮廓区域标签信息以及所述菠萝上果眼的区域标签信息。
50.基于建立的初始实例分割网络模型来建立训练集，训练集包括采集的削皮后菠萝的rgb图像，可以采用图像增强对采集的菠萝的rgb图像进行扩展以得到更多的训练数据。标签信息可以为人工进行标注的，具体可以通过在线标注软件来对菠萝的rgb图像上的菠
萝的轮廓区域和菠萝上果眼的区域进行标注。
51.s703：采用训练集对所述初始实例分割网络模型进行训练，获得实例分割网络模型。
52.具体的，基于训练集对初始实例分割网络模型进行训练，以获得实例分割网络模型。基于训练集对初始实例分割网络模型进行训练，训练时以菠萝的rgb图像作为输入，输出得到菠萝部分的估计rgb图像。根据估计rgb图像与标签信息之间的误差建立损失函数，优化损失函数，更新初始实例分割网络模型的参数，直至收敛得到实例分割网络模型。
53.在一个实施例中，所述滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据，包括：s801：将所述菠萝的重建点云模型进行摆正。
54.s802：将所述菠萝上果眼的点云的质心投射到二维极坐标系上。
55.具体的，将重建点云模型中菠萝上果眼的三维点云的质心投射到二维极坐标系下，得到如图9中所示的菠萝果眼质心分布图。
56.示例性的，菠萝的果眼的三维点云质心投射在z-θ二维极坐标系的坐标的算法为：求第i个菠萝果眼点云：pcl::pointxyz eye_i_cloud。
57.组成果眼点云的点的数量size = eye_i_cloud.size()。
58.质心的x坐标 center_i_x = sum(eye_i_cloud.point[j].x for j in range(0，size))/size；质心的y坐标 center_i_y = sum(eye_i_cloud.point[j].y for j in range(0，size))/size；质心的z坐标 center_i_z = sum(eye_i_cloud.point[j].z for j range (0，size))/size。
[0059]
则，第i个点云质心的极坐标(center_i_θ，center_i_z)为：center_i_θ = arctan(center_i_y/center_i_x)；center_i_z = center_i_z。
[0060]
s803：根据所述菠萝上果眼的点云质心拟合出所述菠萝的螺旋线投射在二维极坐标上的直线。
[0061]
具体的，已知菠萝上果眼基本是位于菠萝的螺旋线上的，投射到二维极坐标下螺旋线则为直线。因此，可以根据果眼的点云质心的位置，基于二维极坐标下直线的大致的斜率范围，拟合出菠萝的螺旋线投射在二维极坐标上的直线。
[0062]
s804：获取所述菠萝上各果眼的点云质心距离最近的所述直线的距离。
[0063]
可以理解的是，根据菠萝的构造，菠萝的果眼大多都应当位于螺旋线投射在二维极坐标上的直线上，个别不位于直线上的果眼，也应当在靠近直线的位置处。
[0064]
基于菠萝上果眼的上述性质，计算菠萝上各果眼的点云质心距离最近的直线的距离。
[0065]
s805：当所述果眼的点云质心距离最近的所述直线的距离大于预设距离阈值时，则确定所述果眼为错误点并进行滤除。
[0066]
具体的，当菠萝上果眼的点云质心距离最近的直线的距离小于预设距离阈值时则表明果眼不是错误的，当菠萝上果眼的点云质心距离最近的直线的距离大于预设距离阈值
时则表明果眼是错误的，需要进行滤除。
[0067]
在一个实施例中，所述将所述菠萝的重建点云模型进行摆正，包括：s1001：基于所述菠萝的整体点云数据，计算出所述重建点云模型的轴线方向。
[0068]
重建点云模型的轴线方向，即是重建点云模型上菠萝芯的轴线的方向。
[0069]
s1002：根据所述重建点云模型的轴线方向确定所述菠萝上果眼与所述菠萝的基准面的相对位置以及所述重建点云模型的位姿。
[0070]
具体的，菠萝的基准面可以为菠萝的上顶面或下顶面，根据重建点云模型的轴线方向，可以确定菠萝上果眼与菠萝的基准面的相对位置。基于重建点云模型的轴线方向，通过主成分分析（pca）算法可以获知重建点云模型的位姿。
[0071]
s1003：根据所述菠萝上果眼与所述菠萝的基准面的相对位置以及所述重建点云模型的位姿，将所述重建点云模型进行摆正。
[0072]
在一个实施例中，所述将所述菠萝的多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型前，还包括：将所述菠萝的多个角度的点云数据中位于所述菠萝的轮廓范围外的菠萝果眼的点云进行滤除。
[0073]
具体的，在步骤根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据后，在步骤将所述多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型前。还可以将菠萝的多个点云数据中，位于菠萝的轮廓范围外的点筛选出来进行滤除。可以理解的是，位于菠萝轮廓外部的点即为异常点，对其进行滤除可以提高重建点云模型的准确度。
[0074]
下面对本发明提供的菠萝果眼定位装置进行描述，下文描述的菠萝果眼定位装置与上文描述的菠萝果眼定位方法可相互对应参照。该菠萝果眼定位装置包括：拍摄模块1101，用于从多个角度拍摄削皮后的菠萝的rgb图像和深度图像。
[0075]
目标获取模块1102，用于从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像。
[0076]
点云数据获取模块1103，用于根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据。
[0077]
拼接模块1104，用于将所述菠萝的多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型，所述重建点云模型包括所述菠萝的整体点云数据和所述菠萝上果眼的点云数据。
[0078]
滤除模块1105，用于滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据。
[0079]
确定模块1106，用于根据所述目标果眼的点云数据确定所述菠萝上果眼的三维坐标。
[0080]
本发明提供的菠萝果眼定位装置，通过采集削皮后菠萝各角度的rgb图像和深度图像从而获得菠萝的重建点云模型，在滤除错误果眼的点云数据后，获得重建点云模型中的果眼的三位坐标数据，从而对菠萝上的果眼进行定位，该方法定位快速且定位准确度较高。
[0081]
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：
处理器(processor)1210、通信接口(communications interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行菠萝果眼定位方法，该方法包括：从多个角度拍摄削皮后的菠萝的rgb图像和深度图像；从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像；根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据；将所述多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型，所述重建点云模型包括所述菠萝的整体点云数据和所述菠萝上果眼的点云数据；滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据；根据所述目标果眼的点云数据确定所述菠萝上果眼的三维坐标。
[0082]
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0083]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的菠萝果眼定位方法，该方法包括：从多个角度拍摄削皮后的菠萝的rgb图像和深度图像；从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像；根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据；将所述多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型，所述重建点云模型包括所述菠萝的整体点云数据和所述菠萝上果眼的点云数据；滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据；根据所述目标果眼的点云数据确定所述菠萝上果眼的三维坐标。
[0084]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的菠萝果眼定位方法，该方法包括：从多个角度拍摄削皮后的菠萝的rgb图像和深度图像；从所述rgb图像和所述深度图像中获得菠萝部分的目标rgb图像和目标深度图像；根据所述目标rgb图像和所述目标深度图像获得所述菠萝的多个角度的点云数据；将所述多个角度的点云数据进行旋转拼接获得所述菠萝的重建点云模型，所述重建点云模型包括所述菠萝的整体点云数据和所述菠萝上果眼的点云数据；滤除所述菠萝上果眼的点云数据中的错误点得到目标果眼的点云数据；根据所述目标果眼的点云数据确定所述菠萝上果眼的三维坐标。
[0085]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0086]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0087]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。