一种夹取任务的执行方法、装置、存储介质及电子设备与流程

本说明书涉及机器人，尤其涉及一种夹取任务的执行方法、装置、存储介质及电子设备。

背景技术：

1、机器人夹取技术作为机器人的基本功能，也一直是机器人领域的重要研究方向。相比于常见的二指夹持器，多指灵巧手的灵活性使其能更稳定的夹取形状更为复杂的物体，但多指灵巧手夹取中面临的一个主要问题是其自身多自由度的高维特性，使其夹取姿态规划较为复杂。其中，欠驱动灵巧手机电系统硬件上系统的集成度高，上层的运动控制系统简洁高效，设计简洁以及成本低廉等众多优点使其成为大多数机械手采用的方案。

2、然而，现有欠驱动灵巧手的夹取技术尚不成熟，只能适用于一些但物体的简单场景，在执行夹取的过程中通常会出现夹取物体掉落、发生碰撞或是夹取位置不合理等问题，很难满足一些对精度需求较高的场景的业务需求。

3、因此，如何提高多指夹持器在执行夹取任务过程中的稳定性以及安全性，充分满足不同场景的业务需求，是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种夹取任务的执行方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种夹取任务的执行方法，所述方法应用于多指夹持器，包括：

4、获取包含有目标物的图像数据，并确定所述目标物对应的轮廓信息以及所述目标物所处环境的环境信息；

5、根据所述轮廓信息，确定所述目标物中包含的每个部件所对应的位姿信息、形体信息以及语义信息；

6、根据所述环境信息、所述位姿信息、所述形体信息、所述语义信息以及每种夹取姿态对应的预设夹取姿态信息，确定通过不同夹取姿态夹取所述目标物中每种部件时的夹取损失值，所述损失值用于确定夹取姿态与部件之间的匹配程度，所述损失值越大，所述匹配程度越低；

7、根据所述夹取损失值，在各夹取姿态中确定出目标夹取姿态，以及在所述目标物的各部件中确定出目标部件，并按照所述目标夹取姿态执行针对所述目标部件的夹取任务。

8、可选地，根据所述轮廓信息，确定所述目标物所包含的每个部件所对应的位姿信息以及语义信息，具体包括：

9、获取所述图像数据所对应的点云数据；

10、根据所述轮廓信息，在所述点云数据中确定出所述目标物对应的点云图像；

11、对所述点云图像进行分割，以在所述点云图像中确定出所述目标物所包含的每个部件，以及各部件对应的三通道颜色及深度rgbd信息；

12、确定在所述点云图像中分割出的每个部件所对应的语义信息，以及，根据所述rgbd信息，确定所述位姿信息。

13、可选地，根据所述rgbd信息，确定所述位姿信息，具体包括：

14、针对每个部件，将该部件对应的rgbd信息输入预设的位姿确定模型，以通过所述位姿确定模型，确定该部件对应的6d姿态数据，并根据所述6d姿态数据确定所述位姿信息。

15、可选地，确定所述目标物中包含的每个部件所对应的形体信息，具体包括：

16、针对在所述点云图像中分割出的每个部件，根据该部件的点云包围区域确定该部件对应的基本形状；

17、根据所述基本形状，确定该部件对应的形体信息。

18、可选地，根据所述环境信息、所述位姿信息、所述形体信息、所述语义信息以及每种夹取姿态对应的预设夹取姿态信息，确定通过不同夹取姿态夹取所述目标物中每种部件时的夹取损失值，具体包括：

19、针对每种夹取姿态，根据所述环境信息、所述形体信息、所述位姿信息以及该夹取姿态对应的夹取姿态信息中的至少一种，确定该夹取姿态夹取每个部件时的第一损失值，以及

20、针对每个部件，根据所述位姿信息以及该部件对应的语义信息，确定该部件被夹取时对应的第二损失值；

21、根据每种夹取姿态对应的第一损失值以及每个部件对应的第二损失值，确定所述夹取损失值。

22、可选地，针对每种夹取姿态，根据所述环境信息、所述形体信息、所述位姿信息以及该夹取姿态对应的夹取姿态信息中的至少一种，确定该夹取姿态夹取每个部件时的第一损失值，具体包括：

23、针对每个部件，根据所述环境信息、该夹取姿态对应的夹取姿态信息和该部件对应的位姿信息，确定通过该夹取姿态夹取该部件时发生碰撞的概率，并根据所述概率确定碰撞损失值，以及

24、根据该夹取姿态对应的夹取姿态信息、该部件对应的位姿信息和形态信息，确定通过该夹取姿态夹取该部件时的稳定程度，并根据所述稳定程度确定夹取稳定性损失值；

25、根据通过该夹取姿态夹取每个部件时的碰撞损失值以及夹取稳定性损失值，确定所述第一损失值。

26、可选地，针对每个部件，根据所述位姿信息以及该部件对应的语义信息，确定该部件被夹取时对应的第二损失值，具体包括：

27、根据所述目标物中每个部件对应的位姿信息，确定该部件在所述目标物中的体积占比；

28、根据所述体积占比以及所述语义信息，确定该部件被夹取时对应的第二损失值。

29、本说明书提供了一种夹取任务的执行装置，包括：

30、获取模块，获取包含有目标物的图像数据，并确定所述目标物对应的轮廓信息以及所述目标物所处环境的环境信息；

31、分割模块，根据所述轮廓信息，确定所述目标物中包含的每个部件所对应的位姿信息、形体信息以及语义信息；

32、确定模块，根据所述环境信息、所述位姿信息、所述形体信息、所述语义信息以及每种夹取姿态对应的预设夹取姿态信息，确定通过不同夹取姿态夹取所述目标物中每种部件时的夹取损失值，所述损失值用于确定夹取姿态与部件之间的匹配程度，所述损失值越大，所述匹配程度越低；

33、夹取模块，根据所述夹取损失值，在各夹取姿态中确定出目标夹取姿态，以及在所述目标物的各部件中确定出目标部件，并按照所述目标夹取姿态执行针对所述目标部件的夹取任务。本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述夹取任务的执行方法。

34、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述夹取任务的执行方法。

35、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

36、在本说明书提供的夹取任务的执行方法中，获取包含有目标物的图像数据，并确定目标物对应的轮廓信息以及目标物所处环境的环境信息；根据轮廓信息，确定目标物中包含的每个部件所对应的位姿信息、形体信息以及语义信息；根据环境信息、位姿信息、形体信息、语义信息以及每种夹取姿态对应的预设夹取姿态信息，确定通过不同夹取姿态夹取目标物中每种部件时的夹取损失值；根据夹取损失值，在各夹取姿态中确定出目标夹取姿态，以及在目标物的各部件中确定出目标部件，并按照目标夹取姿态执行针对目标部件的夹取任务。

37、从上述方法可以看出，本方案在执行针对目标物体的夹取任务过程中，会对其部件进行分割，并充分结合每个部件的位姿、形状、语义等信息以及环境信息，确定不同夹取姿态与各部件之间的匹配程度。这样一来，通过上述方法选择出的夹取姿态能够更加稳定的对选取出的目标部件进行夹取，避免了在夹取过程中的碰撞问题，充分保证了夹取任务的稳定性以及安全性。