一种基于改进CascadeR-CNN网络的机械臂抓取检测方法与流程

本发明涉及图像检测和机器人抓取，具体的说是一种基于改进cascader-cnn网络的机械臂抓取检测方法。

背景技术：

1、基于视觉的抓取已经是当前机器人的重点研究方向，可用于装配、分拣和码垛等应用场景，抓取检测通过相机转换为计算机视觉问题，机器人使用相机等传感器来检测环境中可抓取的物体。虽然基于视觉的抓取任务对于人类来说是简单的动作，但仍然是机器人智能抓取当前面临的热点问题。

2、以二维图像为输入，近年来兴起了许多基于深度学习的研究，并取得了相当丰硕的成果。机器人抓取预测最常用的深度学习方法是滑动窗口检测框架。目前很多抓取都是使用滑动窗口法进行抓取，在滑动窗口检测框架中，从一幅图像中提取多个图像块，然后依次输入深度神经网络预测每个图像块的抓取姿态。

3、然而，现有的基于深度学习的抓取检测方法大多数针对的是单物体抓取，对多物体的抓取研究较少。因此，亟需一种多物体抓取方法，解决复杂环境下多物体的机器人抓取问题，提高协作型机器人与环境的交互能力，完成精准抓取。

技术实现思路

1、本发明针对目前技术发展的需求和不足之处，提供一种基于改进cascade r-cnn网络的机械臂抓取检测方法。

2、本发明的一种基于改进cascade r-cnn网络的机械臂抓取检测方法，解决上述技术问题采用的技术方案如下：

3、一种基于改进cascade r-cnn网络的机械臂抓取检测方法，其特征在于,包括如下步骤：

4、s1、将realsense摄像头通过平行夹持器固定在机器人机械臂末端进行手眼标定和摄像头内参标定；

5、s2、通过realsense摄像头拍摄包含多种物品的rgb图像，构成原始图像数据集，为原始rgb图像标注矩形抓取框，获得多目标抓取图像数据集；

6、s3、构建改进cascade r-cnn网络，并利用原始图像数据集和多目标抓取图像数据集对改进cascade r-cnn网络进行训练及验证；

7、s4、通过realsense摄像头获取rgb图像，并输入到验证合格的改进cascade r-cnn网络，来预测rgb图像中每个物品的可行抓取框；

8、s5、机械臂根据预测的可行抓取框，确定物品位置并进行抓取。

9、可选的，步骤s1中的手眼标定具体为：

10、1)打印一个标定板，贴在平面上；

11、2)将机械臂移动到某个位姿，记录机械臂在当前位姿时末端的姿态；

12、3)使用机械臂上的相机，采集标定板在相机中的位姿，并记录；

13、4)将机械臂的位姿x和机械臂在位姿x时相机采集到标定板在相机中的位姿组成一组位姿信息；

14、5)重复2)、3)直到采集了17组以上位姿信息；

15、6)根据采集的多组位姿信息进行计算，获得关系转换矩阵。

16、进一步可选的，步骤s1中的摄像头内参标定具体为：

17、1)打印一张棋盘格并贴在一个平面上，作为标定物；

18、2)通过调整标定物或相机的方向，为标定物拍摄一些不同方向的照片；

19、3)从照片中提取棋盘格角点；

20、4)估算理想无畸变的情况下，五个内参和六个外参；

21、5)应用最小二乘法估算实际存在径向畸变下的畸变系数；

22、6)据径向畸变下的畸变系数，采用极大似然法，进行优化估算，得到相机的内参矩阵、径向畸变和切向畸变。

23、可选的，步骤s2具体包括如下流程：

24、s2.1、选取32类物品，将不同物品组合以不同姿态摆放，通过realsense摄像头采集抓取物体的rgb图像，构成原始图像数据集；

25、s2.2、通过labmel软件为rgb图像中的每个物品进行矩形抓取框标注，使得每个rgb图像具有抓取标签，包含所标注物体的种类信息、矩形抓取框的位置参数和角度分类；

26、s2.3、使用抓取检测标注工具标注rgb图像对应的矩形抓取框信息，每一个物体对应一个最优矩形抓取框；

27、s2.4、所有rgb图像对应的矩形抓取框信息标注完成后，得到多目标抓取图像数据集。

28、进一步可选的，执行步骤s2.2，矩形抓取框的位置参数包括：矩形抓取框的高度、宽度、质心坐标和抓取角度，抓取角度为矩形抓取框高度方向与rgb图像横轴的夹角；

29、矩形抓取框的角度分类为：在0°～180°内将各物品的矩形抓取框与rgb图像横轴方向的夹角分为18个类别。

30、可选的，执行步骤s3，构建的改进cascade r-cnn网络包括resnext特征提取网络、区域候选网络rpn、级联检测网络和集成共享模块；

31、resnext特征提取网络用于对输入的rgb图像进行特征提取，生成多尺度融合的特征图；

32、多尺度融合的特征图输入到区域候选网络rpn中生成候选抓取框，候选抓取框投影到多尺度融合特征图上输入到级联检测网络中；

33、级联检测网络用于进行角度分类评估以及候选抓取框的预测；

34、集成共享模块使用共享的方式对级联检测网络预测的角度分类和候选抓取框进行取平均，得到最终的检测抓取框。

35、进一步可选的，所涉及级联检测网络包括三个检测器，每个支路的检测器中均包含：池化层、全连接层和卷积层，池化层用于将特征图处理为固定大小，全连接层用于进行角度分类预测，卷积层用于进行候选抓取框预测，前一检测器的卷积层输出的候选抓取框投影到多尺度融合特征图上再输入到后一检测器中进行角度分类预测和候选抓取框预测；

36、集成共享模块使用共享的方式对三个检测器预测的角度分类和候选抓取框进行取平均，得到最终的检测抓取框。

37、进一步可选的，执行步骤s3，改进cascade r-cnn网络中角度分类预测的损失函数是交叉熵，表示如下：

38、

39、其中，θi表示的是角度分类标签值，表示的是角度分类预测值；

40、对于抓取框位置预测的损失函数，采用平方误差表示如下：

41、

42、其中，xi，yi表示的是抓取框质心坐标标签值，表示的是抓取框质心坐标预测值；hi表示的是抓取框高度标签值，表示的是抓取框高度预测值；wi表示的是抓取框宽度标签值，表示的是抓取框宽度预测值；

43、将多目标抓取图像数据集中rgb图像的抓取标签进行归一化处理，并定义最终的损失函数lall为：

44、lall＝lcls+lreg，

45、其中，lcls表示角度分类预测的损失函数，lreg表示抓取框位置预测的损失函数。

46、可选的，所涉及将原始图像数据集随机划分训练集一和测试集，将多目标抓取图像数据集对应划分训练集二和验证集；

47、以训练集一为输入，以训练集二为输出，训练改进cascade r-cnn网络；

48、训练完成后，将测试集输入改进cascade r-cnn网络，利用验证集对改进cascader-cnn网络的预测结果进行验证：

49、若改进cascade r-cnn网络预测的可行抓取框角度与验证集中对应rgb图像标注的矩形抓取框角度之差在30°以内，则验证通过，输出改进cascade r-cnn网络；

50、若改进cascade r-cnn网络预测的可行抓取框角度与验证集中对应rgb图像标注的矩形抓取框角度之差超过30°，则验证失败，返回执行步骤s2，扩大原始图像数据集后，继续对改进cascade r-cnn网络进行训练及验证。

51、本发明的一种基于改进cascade r-cnn网络的机械臂抓取检测方法，与现有技术相比具有的有益效果是：

52、本发明的抓取检测方法能够端到端实现抓取框预测，实现对现实世界中多物体场景进行抓取操作，在抓取过程中速度更快、效率更高，并可以准确找到抓取目标。