一种基于抓取手势检测的机械手灵巧抓取规划方法和系统

1.本发明属于机械手智能抓取应用领域，特别是涉及一种基于抓取手势检测的机械手灵巧抓取规划方法和系统。


背景技术：

2.近年来，人们对于静止物体的抓取进行的广泛研究，并且达到了较好的抓取性能，但是对动态物体的抓取研究较少。并且动态物体的抓取被认为是一个更具挑战性的课题。现有的工业机器人在大多数运动物体抓取方法都要求对运动物体的运动模式有事先的了解。比如抓取移动输送系统上的部件，它的运动物体的运动模式是已知的。但是对于人-机器人协作等更具挑战性的任务，物体的运动轨迹会更加随机，甚至不可预测。
3.在三维空间中处理任意移动的物体是一个开放的挑战，主要是由于在跟踪物体轨迹的同时规划手臂和手部运动的困难。对于一个任意移动的物体，通常会有一段时间，在这段时间内根本不可能实现抓取。在此期间，即使无法达到实际的预抓取位置，也希望机器人通过保持其手尽可能靠近可行的预抓取位置来继续跟踪目标。这就对跟踪抓取方法提出了实时性鲁棒性等更高的要求。视觉引导抓取是目前机器人抓取领域中最成熟的解决方案，已广泛应用于众多工业场景。
4.灵巧抓取是机器人手的基本能力，在工业和家庭辅助应用中起着至关重要的作用。然而，尽管掌握规划领域取得了很大进展，但仍然是一个具有挑战性的问题。现有的抓取规划方法大多忽略了抓取手势的选择，难以实现精细化抓取。未知物体生成抓握器相比于在完成相同任务时比使用平行颚抓握器更具挑战性。然通过驱动更多的关节，灵巧手可以使机器人执行更高级的操作，包括精确抓取平面圆盘或动力抓取球形物体。


技术实现要素：

5.本发明的目的是提供一种基于抓取手势检测的机械手灵巧抓取规划方法和系统，以解决上述现有技术存在的问题。
6.为实现上述目的，本发明提供了一种基于抓取手势检测的机械手灵巧抓取规划方法，包括：
7.采集场景rgbd图像，基于所述场景rgbd图像获得运动中的目标物体的rgbd图像
，
其中，所述rgbd图像包括rgb图像和深度图像；基于场景rgbd图像获取所述目标物体实际位置；
8.机械手根据目标物体的实际位置实时跟踪目标物体；
9.基于深度神经网络建立抓取手势检测模型，基于机械手的抓取手势数据集和不同目标物体的rgb图像数据集，对所述抓取手势检测模型进行训练，完成训练后获得目标抓取手势检测模型；
10.判断所述目标物体状态，将静止状态的所述目标物体的rgb图像输入到所述目标抓取手势检测模型中，获取抓取所述目标物体的预测抓取手势；同时，基于所述深度图像，
获得所述目标物体的抓取位姿；
11.基于所述预测抓取手势和所述抓取位姿，所述机械手执行抓取。
12.可选的，计算所述目标物体实际位置的过程包括：
13.基于yolov3建立目标检测器，输入所述场景的rgb图像，得到实时运动物体的检测框；
14.通过检测框中心的深度图像像素值得到目标物体的深度值，并基于所述深度值获取所述目标物体的3d目标位置。
15.可选的，所述实时跟踪目标物体的过程中，采用视觉伺服控制算法进行实时跟踪，包括以下步骤：
16.将机械手的基坐标系作为参考坐标系，基于所述参考坐标系计算机械手与目标物体之间的欧式距离；
17.基于视觉伺服控制算法实时计算交互矩阵，基于所述交互矩阵获得距离误差，基于所述距离误差计算固定在机械臂末端的机械手的速度；
18.通过所述机械手的速度得到机械臂各关节的速度，基于机械臂各关节的速度驱动机械臂运动。
19.可选的，获取所述目标物体的预测抓取手势，过程包括：
20.获取若干种不同类型的目标物体以及机械臂的手势数据集，所述手势数据集包括：握类、两指尖接触、三指尖接触、四指尖接触、拇指与其余手指平行闭合，拇指与食指侧面闭合；
21.基于深度神经网络建立端到端的抓取手势检测模型，将若干种不同类型的目标物体以及机械臂的手势数据集输入所述抓取手势检测模型进行训练，直至所述抓取手势检测模型损失值最小，则完成训练，得到目标抓取手势检测模型；
22.判断物体是否停止运动，若停止，则读取当前时刻目标物体的rgb图像，将当前时刻的所述rgb图像输入到完成训练的目标抓取手势检测模型，得到所述目标物体的预测抓取手势。
23.可选的，判断所述目标物体是否停止运动的过程中包括：
24.当物体相对参考坐标系的位置在三秒钟内的变化值小于0.05m，则认为物体停止运动。
25.可选的，所述机械手执行抓取的过程包括：
26.与所述获取所述目标物体的预测抓取手势过程同时进行，若目标物体停止运动，获取此时静止状态下目标物体的深度图像，通过深度值梯度计算表面点的法向；
27.随机采样两个表面点，形成表面点对；
28.基于所述表面点对的距离以及所述表面点对的距离连线分别和所述两个表面点的法向构成的两个角度，得到抓取候选项；
29.采用交叉熵方法优化抓取候选项，得到目标物体的抓取中心和抓取角；基于所述抓取中心的深度值获取所述目标物体的抓取位姿；
30.基于所述预测抓取手势和所述抓取位姿，所述机械手执行抓取。
31.可选的，所述抓取候选项的获取同时满足：
32.所述表面点对的距离小于最大抓取宽度；
33.两个所述角度均小于摩擦锥角，其中，摩擦锥角为π/2。
34.本发明还提供了一种基于抓取手势检测的机械手灵巧抓取规划系统，包括图形工作站，ur5多自由度机械臂，工作台，固定在所述ur5多自由度机械臂末端的realsense深度相机以及固定在所述ur5多自由度机械臂末端的机械手。
35.本发明的技术效果为：本发明采用yolov3实时检测未知物体，基于pbvs实现了实时跟踪运动物体，并添加了能否进行抓取规划操作的判断，能够实现人-机器人协作等更具挑战性的任务。本发明训练了一种抓取手势检测网络，并对抓取手势进行了分类，所预测的抓取手势进一步用于机械手的抓取规划中，实现对不同物体采用不同的抓取手势，提高了抓取的质量和效率。本发明基于力闭合方法评估抓取质量，采用交叉熵的方法优化抓取候选项，结合所检测的抓取手势，得到机械手的最终抓取姿态，从而实现精细化抓取，使得抓取更加拟人化。
附图说明
36.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
37.图1为本发明实施例中的系统流程图；
38.图2是本发明实施例中的实现方法流程图；
39.图3是本发明实施例中的基于位置视觉伺服控制机械臂流程图。
具体实施方式
40.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
41.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
42.实施例一
43.如图1-2所示，本实施例中提供一种基于抓取手势检测的机械手灵巧抓取规划方法和系统，具体实施方法包括：
44.步骤1：通过深度相机和目标检测器检测到运动中的目标物体，并实时计算出物体位置，其中，基于深度相机得到的深度图和rgb图能够通过代码进行配准对齐；
45.步骤1-1：基于yolov3建立目标检测器，对yolov3中数据集中用不到的对象类别进行过滤，输入场景的rgb图片，得到实时运动物体的检测框；
46.步骤1-2：通过检测框中心的深度图像像素值得到目标物体的深度值，然后采用深度相机内部的透视投影得到3d目标位置。
47.步骤2：机械臂采用视觉伺服控制算法实时跟踪目标物体，如图3所示，机械手与物体之间保持一定的的距离；
48.步骤2-1：以机器人基坐标系为参考坐标系，给定期望末端执行器相对世界坐标系下的位置，位于目标运动物体上方0.35m，以及实际末端执行器相对世界坐标系下的位置；
49.步骤2-2：基于位置视觉伺服，实时计算交互矩阵，以距离误差为输入计算得到末
端执行器的速度；
50.步骤2-3：通过末端执行器的速度和机械臂的雅可比矩阵得到机械臂各关节的速度，驱动机械臂实时跟踪目标物体并保持位于目标运动物体上方0.35m。
51.步骤3：基于深度神经网络建立抓取手势检测网络，当目标物体停止移动并保持静止一定时间后，将物体rgb图输入训练后的抓取手势检测网络，进行抓取手势预测；
52.步骤3-1：将物体的抓取手势归纳出六大类：握类、两指尖接触、三指尖接触、四指尖接触、拇指与其余手指平行闭合，拇指与食指侧面闭合；
53.步骤3-2：基于ycb-affordance数据集获取每一帧的rgb图像及每个物体在每一帧可能的抓取手势，用resnet50网络进行训练。修改神经网络的输入，不应是ycb-video中每帧的完整图，应为图中某一物体的裁剪图，并去除不在图片内物体及占像素太小的物体，随机选取剩余的物体以及对应手势；
54.步骤3-3：判断3秒内物体位置变化情况，如果物体相对参考坐标系的位置在三秒钟变化值小于0.05m，则认为物体停止运动；
55.步骤3-4：将此时读取到的静止物体的rgb图也进行裁剪，输入不应是整张图，应为识别到的要抓取的目标物体的裁剪图，然后放入训练好的数据集中对目标物体的抓取手势进行预测，将所预测的抓取手势进一步用于机械手的抓取规划中。
56.步骤4：与步骤3同时进行，将物体深度图作为输入，基于力闭合方法进行抓取位姿的采样，并采用交叉熵的方法优化抓取候选项，结合所检测的抓取手势，得到机械手的最终抓取姿态；
57.步骤4-1：与步骤3-3同时进行，若物体停止运动，读取此时静止物体的深度图，通过深度值梯度梯度计算表面点的法向；
58.步骤4-2：随机采样两个表面点p1，p2，给定摩擦锥角为π/2；
59.步骤4-3：根据表面点对距离小于最大抓取宽度且满足两点连线分别和两点法向都小于摩擦锥角得到抓取候选项；
60.步骤4-4：采用交叉熵的方法优化抓取候选项。进行抓取质量评估，包括基于力闭合和与物体是否发生碰撞及机械臂运动学可行性，得到不同抓取对应的抓取质量；进行迭代优化，将抓取质量最高的抓取作为最终抓取，以此得到目标物体的抓取中心和抓取角；通过抓取中心深度值采用深度相机内部的透视投影得到3d目标位置；
61.步骤4-5：结合步骤3所预测的抓取手势，得到机械手的最终抓取姿态。
62.步骤5：机械臂采用视觉伺服控制到达期望位姿后，机械手对目标物体进行灵巧抓取操作。
63.步骤5-1：以机器人基坐标系为参考坐标系，给定期望末端执行器相对世界坐标系下的位置，位于目标静止物体上方0.02m，以及实际末端执行器相对世界坐标系下的位置；
64.步骤5-2：基于位置视觉伺服，实时计算交互矩阵，以距离误差为输入计算得到末端执行器的速度；
65.步骤5-3：通过末端执行器的速度和机械臂的雅可比矩阵得到机械臂各关节的速度，驱动机械臂实时接近目标物体。
66.步骤5-4：机械臂到达期望位姿后，机械手对目标物体进行灵巧抓取操作。
67.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，
任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。