一种应用于柔性物体的触觉灵巧手抓取方法及系统

本发明属于触觉灵巧手控制领域，具体涉及一种应用于柔性物体的触觉灵巧手抓取方法及系统。

背景技术：

1、随着人工智能技术的飞速发展，智能机器人在人们的日常生活中扮演着越来越重要的角色。机器人作为一种智能化装备，它在结构、感知与操作上越来越趋近人类。而机器手作为机器人的末端执行器，它在机器人与环境的交互中有着巨大的作用。随着技术的不断发展，多指灵巧手已有了初步的发展，而灵巧手的各种协调控制、抓取规划方法一直是人们研究与创新的方向。人们希望多指灵巧手能够模仿人手的抓取与操作，做到精准快速的运动控制。

2、近几年来，随着计算机数字图像处理，3d采集技术与深度学习技术的快速发展，人们将3d采集技术应用于数字城市、航空等领域，3d传感器变得越来越可用且价格实惠，其中包括各种类型的3d扫描仪、激光雷达和rgb-d相机，这些传感器获取的三维数据可以提供丰富的几何、形状和比例信息。

3、三维数据在不同领域有着广泛的应用，包括自动驾驶、遥感和医疗等领域。但很少在灵巧手的触觉感知抓取领域进行应用。其原因首先是触觉在机器人感知中仅占少数，且传统机器人的末端执行器多为对目标的单一抓取。传统的灵巧手存在它的诸多局限性：多为指定指令的抓取作业，或是借助二维视觉对于目标进行方位检测与抓取，它通常用一种固定的方式来抓取物品。传统灵巧手在抓取过程中难以再进行调整与控制，这使得控制单一化且相较为粗暴，导致不同场景的适应性受到影响。

4、使用触觉传感器，可以在物体抓取过程中，实时的获取抓取过程中的信息，得以更好的调整电机的控制，让灵巧手在抓取过程中能够有实时的控制。二维视觉传感器大多难以解决不规则立体物体的精准抓取，而三维扫描技术突破了传统的单点测量方法。三维扫描技术可以对空间与物体数据信息快速获取，而且精准化程度高，对目标的检测有着较高的准确性与非接触式的优点，有利于获取三维情况下的物体外轮廓信息。随着科技的发展，人们对于灵巧手的抓取有了越来越多的要求，大多数的灵巧手抓取仅针对刚性物体，忽视了柔性物体的问题，这使得大多数灵巧手在抓取柔性物体的时候对目标物体造成了损坏。

技术实现思路

1、本发明的目的之一在于提供一种应用于柔性物体的触觉灵巧手抓取方法，实现对各类柔性物体稳定与准确的抓取。

2、为实现上述目的，本发明所采取的技术方案为：

3、一种应用于柔性物体的触觉灵巧手抓取方法，所述触觉灵巧手上安装有触觉传感器，所述应用于柔性物体的触觉灵巧手抓取方法，包括：

4、步骤1、控制触觉灵巧手趋向目标物体运动，直至触觉传感器反馈的触觉数据小于预设值；

5、步骤2、获取目标物体和触觉灵巧手的三维点云数据，并基于三维点云数据得到目标物体的形变数据；

6、步骤3、取触觉传感器监测的触觉数据以及目标物体的形变数据输入第一神经网络，预测得到目标物体的硬度数据；

7、步骤4、将触觉传感器监测的触觉数据、目标物体的形变数据以及目标物体的硬度数据输入第二神经网络，预测得到触觉灵巧手的电机控制数据；

8、步骤5、根据所述电机控制数据控制触觉灵巧手运动，并返回步骤2继续执行直至触觉灵巧手成功抓取目标物体。

9、以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

10、作为优选，所述步骤1中，在控制触觉灵巧手运动之前，先调节触觉传感器的初始状态为零。

11、作为优选，所述基于三维点云数据得到目标物体的形变数据，包括：

12、对三维点云数据进行降噪滤波处理；

13、对降噪滤波处理后的三维点云数据进行点云分割处理，分割出触觉灵巧手和目标物体；

14、将目标物体中与触觉灵巧手交互的三维点云数据重建为曲面，并将该曲面作为感兴趣区域；

15、将感兴趣区域离散划分为多个小曲面，并获取各个小曲面的曲率信息作为目标物体的形变数据。

16、作为优选，所述目标物体中与触觉灵巧手交互的三维点云数据的确定方式如下：

17、将目标物体表面的三维点云数据中的各个点分别与触觉灵巧手表面的三维点云数据中的各个点进行最小距离计算；

18、取目标物体表面的三维点云数据中最小距离小于距离阈值的点作为目标物体中与触觉灵巧手交互的三维点云数据。

19、本发明提供的一种应用于柔性物体的触觉灵巧手抓取方法，运用三维扫描设备与触觉灵巧手抓取系统协同工作的方法，可以更好的控制目标的抓取，达到对于各类不同硬度物体的稳定与准确抓取的效果。本发明将三维扫描设备与带触觉反馈的灵巧手相结合，经过数据处理与算法融合，实现了触觉灵巧手抓取控制的优化与改良，从而提高了灵巧手抓取不同材质物体的性能。

20、本发明的目的之二在于提供一种应用于柔性物体的触觉灵巧手抓取系统，实现对各类柔性物体实现稳定与准确的抓取。

21、为实现上述目的，本发明所采取的技术方案为：

22、一种应用于柔性物体的触觉灵巧手抓取系统，所述应用于柔性物体的触觉灵巧手抓取系统包括触觉灵巧手、三维扫描设备、服务器和处理器，所述触觉灵巧手包含机械臂，并且触觉灵巧手上安装有触觉传感器，所述触觉灵巧手和三维扫描设备通过网络与服务器进行数据交互，所述处理器与服务器进行数据交互，并且所述处理器包含存储有计算机程序的存储单元，该计算机程序被处理器执行时实现如下操作：

23、步骤1、控制触觉灵巧手趋向目标物体运动，直至触觉传感器反馈的触觉数据小于预设值；

24、步骤2、获取目标物体和触觉灵巧手的三维点云数据，并基于三维点云数据得到目标物体的形变数据；

25、步骤3、取触觉传感器监测的触觉数据以及目标物体的形变数据输入第一神经网络，预测得到目标物体的硬度数据；

26、步骤4、将触觉传感器监测的触觉数据、目标物体的形变数据以及目标物体的硬度数据输入第二神经网络，预测得到触觉灵巧手的电机控制数据；

27、步骤5、根据所述电机控制数据控制触觉灵巧手运动，并返回步骤2继续执行直至触觉灵巧手成功抓取目标物体。

28、作为优选，所述步骤1中，在控制触觉灵巧手运动之前，先调节触觉传感器的初始状态为零。

29、作为优选，所述基于三维点云数据得到目标物体的形变数据，执行如下操作：

30、对三维点云数据进行降噪滤波处理；

31、对降噪滤波处理后的三维点云数据进行点云分割处理，分割出触觉灵巧手和目标物体；

32、将目标物体中与触觉灵巧手交互的三维点云数据重建为曲面，并将该曲面作为感兴趣区域；

33、将感兴趣区域离散划分为多个小曲面，并获取各个小曲面的曲率信息作为目标物体的形变数据。

34、作为优选，所述目标物体中与触觉灵巧手交互的三维点云数据的确定方式如下：

35、将目标物体表面的三维点云数据中的各个点分别与触觉灵巧手表面的三维点云数据中的各个点进行最小距离计算；

36、取目标物体表面的三维点云数据中最小距离小于距离阈值的点作为目标物体中与触觉灵巧手交互的三维点云数据。