一种视触觉感知的采摘末端抓手以及果实大小和姿态解析方法

本发明涉及果实采摘领域，具体是一种视触觉感知的采摘末端抓手以及果实大小和姿态解析方法。

背景技术：

1、在果实种植生产过程中，每年需要大量的劳动力进行采摘作业。然而，随着城乡人口转型和老龄化问题加剧，使得相关劳动人口进一步减少，劳动力成本进一步上升。而开发采摘机器人是解决上述问题的可行方向之一。

2、采摘末端抓手作为采摘机器人核心基础部件已得到了广泛应用，但在实际使用过程中还存在一些不足之处，比如，目前的采摘末端抓手大都不具备柔性抓取能力，因此容易造成果实损伤，并且采摘时主要依靠视觉识别来获取果实信息，但视觉识别容易受到自然光照变化和枝叶遮挡的影响，造成信息缺失和不准确，在判断果实大小和姿态时误差较大，影响后续作业。

技术实现思路

1、本发明的目的是克服上述背景技术中的不足，提供一种视触觉感知的采摘末端抓手以及果实大小和姿态解析方法，以实现柔性抓取并准确判断果实的大小和姿态。

2、本发明的技术方案是：

3、一种视触觉感知的采摘末端抓手，包括设有三条手指的底座；其特征在于：所述手指包括通过弹性件连接的前指节与后指节，后指节通过转轴可转动地定位在底座上，转轴上设有带动手指张开的扭簧，底座上还设有带动三条手指同时合拢的驱动机构；所述前指节与后指节上设有视触觉传感器；所述视触觉传感器与驱动机构同时电连接控制器。

4、所述视触觉传感器包括框架、设置在框架前部的弹性体、设置在框架中用于支撑弹性体的透明板、设置在框架后部的相机、照射弹性体的led灯。

5、所述视触觉传感器的弹性体位于前指节与后指节的指腹；所述弹性体包括依次布置的透明弹性体、矩形阵列的标记点、不透明弹性体。

6、所述驱动机构包括电推杆以及分别连接电推杆的伸缩杆与各手指的三条传动绳。

7、所述后座包括支架以及固定在支架端部的支板；所述电推杆设置在支架内部，三条传动绳的一端连接电推杆的伸缩杆并且另一端穿过支板的中心孔后分别连接各手指。

8、所述传动绳伸出支板的中心孔后，先从前往后延伸到后手指的后部，然后绕过视触觉传感器并从后往前延伸到后手指的前部，再穿过后手指与前指节的间隙并与前手指固定。

9、所述弹性件为硅胶制成；所述弹性体的透明弹性体与不透明弹性体为硅胶制成。

10、一种果实大小和姿态解析方法，用于视触觉感知的采摘末端抓手，包括以下步骤：

11、步骤1：采摘末端抓手抓取目标果实，弹性体与目标果实接触发生形变，相机拍摄弹性体内嵌标记点变形的图像后，进行相机标定，得到标记点的切向位移，再基于dfd方法得到标记点的法向位移，最后得到各视触觉传感器坐标系下标记点的三维坐标点云；

12、步骤2：通过采用d-h矩阵法，将所有视触觉传感器坐标系下标记点的三维坐标点云变换到同一坐标系下，得到目标果实局部外轮廓的三维坐标点云；

13、步骤3：通过pca算法将目标果实局部外轮廓的三维坐标点云与果实外轮廓模板点云进行粗配准，再通过icp算法将目标果实局部外轮廓的三维坐标点云与果实外轮廓模板点云进行精配准，得到目标果实的大小和姿态信息。

14、所述果实外轮廓模板点云的获取方法为：

15、通过激光扫描仪对同一品种不同大小和形状的果实进行扫描，采集果实外轮廓点云集，通过点云叠加可以得到番茄果实外轮廓点云带，以点云带中心为原点建立三维坐标系，将番茄果实外轮廓点云带的x、y、z坐标进行缩放，得到不同大小和形状的番茄外轮廓模型作为果实外轮廓模板点云。

16、本发明的有益效果是：

17、本发明通过视触觉传感器的弹性体实现对果实柔性接触和柔性抓取，通过视触觉信息感知克服传统纯视觉信息感知存在的不足，从而减少与果实接触时的损伤，提高采摘质量；本发明的手指指节之间采用弹体件连接，确保抓取时各指节对果实外轮廓更好地自适应性包裹，避免因抓取力过大而损伤果实，实现柔性抓取；本发明可以克服视觉感知受限于自然光照变化、茎叶遮挡、果实重叠簇生等影响因素，更加准确地检测果实姿态和大小。

技术特征：

1.一种视触觉感知的采摘末端抓手，包括设有三条手指的底座；其特征在于：所述手指包括通过弹性件(3)连接的前指节(1)与后指节(2)，后指节通过转轴可转动地定位在底座上，转轴上设有带动手指张开的扭簧(4)，底座上还设有带动三条手指同时合拢的驱动机构；所述前指节与后指节上设有视触觉传感器(5)；所述视触觉传感器与驱动机构同时电连接控制器。

2.根据权利要求1所述的视触觉感知的采摘末端抓手，其特征在于：所述视触觉传感器包括框架(6)、设置在框架前部的弹性体(7)、设置在框架中用于支撑弹性体的透明板(8)、设置在框架后部的相机(9)、照射弹性体的led灯(10)。

3.根据权利要求2所述的视触觉感知的采摘末端抓手，其特征在于：所述视触觉传感器的弹性体位于前指节与后指节的指腹；所述弹性体包括依次布置的透明弹性体(7.1)、矩形阵列的标记点(7.2)、不透明弹性体(7.3)。

4.根据权利要求3所述的视触觉感知的采摘末端抓手，其特征在于：所述驱动机构包括电推杆(11)以及分别连接电推杆的伸缩杆与各手指的三条传动绳(12)。

5.根据权利要求4所述的视触觉感知的采摘末端抓手，其特征在于：所述后座包括支架(13)以及固定在支架端部的支板(14)；所述电推杆设置在支架内部，三条传动绳的一端连接电推杆的伸缩杆并且另一端穿过支板的中心孔后分别连接各手指。

6.根据权利要求5所述的视触觉感知的采摘末端抓手，其特征在于：所述传动绳伸出支板的中心孔后，先从前往后延伸到后手指的后部，然后绕过视触觉传感器并从后往前延伸到后手指的前部，再穿过后手指与前指节的间隙并与前手指固定。

7.根据权利要求6所述的视触觉感知的采摘末端抓手，其特征在于：所述弹性件为硅胶制成；所述弹性体的透明弹性体与不透明弹性体为硅胶制成。

8.一种果实大小和姿态解析方法，用于权利要求1至7中任一项所述的视触觉感知的采摘末端抓手，包括以下步骤：

9.根据权利要求8所述的果实大小和姿态解析方法，其特征在于：所述果实外轮廓模板点云的获取方法为：

技术总结
本发明涉及果实采摘领域，目的是提供一种视触觉感知的采摘末端抓手以及果实大小和姿态解析方法，以实现柔性抓取并准确判断果实的大小和姿态。技术方案是一种视触觉感知的采摘末端抓手，包括设有三条手指的底座；其特征在于：所述手指包括通过弹性件连接的前指节与后指节，后指节通过转轴可转动地定位在底座上，转轴上设有带动手指张开的扭簧，底座上还设有带动三条手指同时合拢的驱动机构；所述前指节与后指节上设有视触觉传感器；所述视触觉传感器与驱动机构同时电连接控制器。

技术研发人员：谭励,马锃宏,曾伟,杜小强,贺磊盈
受保护的技术使用者：浙江理工大学
技术研发日：
技术公布日：2024/1/15