一种抓取检测模型的训练方法、识别方法、系统、设备

本发明涉及人工智能，尤其是一种抓取检测模型的训练方法、识别方法、系统、设备。

背景技术：

1、近年来，随着社会科技的不断发展，应用机器人/机械手去自动抓取堆叠场景下的目标物体的场景越发常见。

2、目前，针对机器人/机械手在堆叠场景下的自动识别并抓取物体的问题，传统的抓取检测方法主要有两种：

3、第一种方法是通过平面rgb图像直接输出一个或者多个物体抓取框，具体可以使用yolo算法实现，抓取参数主要有抓取物体的中心点的位置以及旋转角，此种方法适合机械臂从上往下进行抓取，并且对于单个对象效果较好，但这一方法在场景越复杂的情况下，算法的性能越差，越容易对场景中的目标物体边缘产生误判，并且缺乏深度信息，从而使得机械臂抓不准，甚至有可能对物体表面造成破坏；

4、第二个方法是则是以直接或间接(rgb-d图像)获得的场景点云作为输入，利用点云的语义和几何信息，将其输入至骨干网络当中获得待抓取物体的6d(即六个自由度)姿态并且执行抓取。但这种方法过于理想，太依赖于环境(相机周围的光线以及点云数据的质量)，在堆叠场景中很容易将接触的不同物体当成一个整体，并且对于尺寸较小或者不规则的物体容错率较小，在一些要求不产生碰撞的场景中，算法评估的抓取质量过低，这将导致场景中严重接触的物体无法被成功抓取。

5、因此，现有技术存在的问题还亟需解决和优化。

技术实现思路

1、本发明的目的在于至少一定程度上解决相关技术中存在的技术问题之一。

2、为此，本发明实施例的第一个目的在于提供一种抓取检测模型的训练方法，该训练方法可以有效提高抓取检测模型对堆叠物体边缘的区分能力，有效提高抓取检测模型的识别准确性。

3、本技术实施例的第二个目的在于提供一种抓取检测模型的识别方法。

4、本技术实施例的第三个目的在于提供一种抓取检测模型的训练系统。

5、为了达到上述技术目的，本技术实施例所采取的技术方案包括：

6、第一方面，本技术实施例提供了一种抓取检测模型的训练方法，所述训练方法包括：

7、获取标注好的rgb-d图像训练集，以及对所述标注好的rgb-d图像训练集进行点云转换处理，得到点云数据集；

8、对所述标注好的rgb-d图像训练集进行多尺度特征提取处理，得到全局特征图集；

9、根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，以及对所述点云数据集进行尺寸平衡处理，得到局部特征数据集；

10、对所述局部特征数据集和所述插值特征数据集进行特征融合处理，得到语义空间特征集，并对所述语义空间特征集进行多角度预测处理，得到训练预测候选集；

11、根据所述训练预测候选集对初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型。

12、另外，根据本技术上述实施例的训练方法，还可以具有以下附加的技术特征：

13、进一步地，在本技术的一个实施例中，所述对所述标注好的rgb-d图像训练集进行多尺度特征提取处理，得到全局特征图集，包括：

14、对所述rgb-d图像训练集进行第一特征提取处理，得到第一特征图集；

15、对所述第一特征图集进行第二特征提取处理，得到第二特征图集；

16、对所述第二特征图集进行第三特征提取处理，得到第三特征图集；

17、对所述第一特征图集、所述第二特征图集和所述第三特征图集进行语义聚合处理，得到全局特征图集。

18、进一步地，在本技术的一个实施例中，所述根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，包括：

19、对所述点云数据集依次进行上采样处理和实例分割处理，得到第一中间数据集；

20、对所述第一中间数据集进行下采样处理，得到第二中间数据集；

21、根据所述全局特征图集对所述第二中间数据集进行特征插值处理，得到所述插值特征集。

22、进一步地，在本技术的一个实施例中，所述对所述点云数据集进行尺寸平衡处理，得到局部特征数据集，包括：

23、获取预设的多层环形圆柱；

24、根据所述多层环形圆柱对所述点云数据集进行分组处理，得到分组数据集；

25、根据所述第一中间数据集对所述分组数据集进行感知处理，得到所述局部特征数据集。

26、进一步地，在本技术的一个实施例中，所述对所述语义空间特征集进行多角度预测处理，得到训练预测候选集，包括：

27、对所述语义空间特征集进行上采样处理，得到第三中间数据集；

28、对所述第三中间数据集进行抓取宽度处理，得到宽度候选集；

29、对所述第三中间数据集进行抓取角度处理，得到角度候选集；

30、对所述第三中间数据集进行抓取概率处理，得到概率候选集；

31、根据所述宽度候选集、所述角度候选集和所述概率候选集，生成所述训练预测候选集。

32、进一步地，在本技术的一个实施例中，所述根据所述训练预测候选集对初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型，包括：

33、获取与所述训练预测候选集对应的堆叠物体标签；

34、根据所述训练预测候选集和所述堆叠物体标签，确定训练损失值；

35、根据所述训练损失值，对所述初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型。

36、第二方面，本技术实施例提供了一种抓取检测模型的识别方法，包括：

37、获取待检测的rgb-d图像；

38、将所述待检测的rgb-d图像输入至如上述第一方面任一种所述的抓取检测模型中，得到预测候选集；

39、对所述预测候选集进行混乱度分析，得到第一预测候选框，所述第一预测候选框用于表征在所述预测候选集中，混乱度最低的预测候选框。

40、第三方面，本技术实施例提供了一种抓取检测模型的训练系统，包括：

41、获取模块，用于获取标注好的rgb-d图像训练集，以及对所述标注好的rgb-d图像训练集进行点云转换处理，得到点云数据集；

42、第一处理模块，用于对所述标注好的rgb-d图像训练集进行多尺度特征提取处理，得到全局特征图集；

43、第二处理模块，用于根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，以及对所述点云数据集进行尺寸平衡处理，得到局部特征数据集；

44、第三处理模块，用于对所述局部特征数据集和所述插值特征数据集进行特征融合处理，得到语义空间特征集，并对所述语义空间特征集进行多角度预测处理，得到训练预测候选集；

45、更新模块，用于根据所述训练预测候选集对初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型。

46、第四方面，本技术实施例还提供了一种计算机设备，包括：

47、至少一个处理器；

48、至少一个存储器，用于存储至少一个程序；

49、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。

50、第五方面，本技术实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现上述的方法。

51、本技术的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到：

52、本技术实施例所公开的一种抓取检测模型的训练方法，通过获取标注好的rgb-d图像训练集，以及对所述标注好的rgb-d图像训练集进行点云转换处理，得到点云数据集；对所述标注好的rgb-d图像训练集进行多尺度特征提取处理，得到全局特征图集；根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，以及对所述点云数据集进行尺寸平衡处理，得到局部特征数据集；对所述局部特征数据集和所述插值特征数据集进行特征融合处理，得到语义空间特征集，并对所述语义空间特征集进行多角度预测处理，得到训练预测候选集；根据所述训练预测候选集对初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型。该训练方法可以有效提高抓取检测模型对堆叠物体边缘的区分能力，有效提高抓取检测模型的识别准确性。