一种基于改进CascadeR-CNN网络的机械臂抓取检测方法与流程

文档序号:35710664发布日期:2023-10-12 11:26阅读:来源:国知局

技术特征:

1.一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,所述步骤s1中的手眼标定具体为:

3.根据权利要求2所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,所述步骤s1中的摄像头内参标定具体为:

4.根据权利要求1所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,所述步骤s2具体包括如下流程:

5.根据权利要求4所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,执行步骤s2.2,矩形抓取框的位置参数包括:矩形抓取框的高度、宽度、质心坐标和抓取角度,所述抓取角度为矩形抓取框高度方向与rgb图像横轴的夹角;

6.根据权利要求1所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,执行步骤s3,构建的改进cascade r-cnn网络包括resnext特征提取网络、区域候选网络rpn、级联检测网络和集成共享模块;

7.根据权利要求6所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,所述级联检测网络包括三个检测器,每个支路的检测器中均包含:池化层、全连接层和卷积层,池化层用于将特征图处理为固定大小,全连接层用于进行角度分类预测,卷积层用于进行候选抓取框预测,前一检测器的卷积层输出的候选抓取框投影到多尺度融合特征图上再输入到后一检测器中进行角度分类预测和候选抓取框预测;

8.根据权利要求6所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,执行步骤s3,所述改进cascade r-cnn网络中角度分类预测的损失函数是交叉熵,表示如下:

9.根据权利要求1所述的一种基于改进cascade r-cnn网络的机械臂抓取检测方法,其特征在于,将原始图像数据集随机划分训练集一和测试集,将多目标抓取图像数据集对应划分训练集二和验证集;


技术总结
本发明公开一种基于改进Cascade R‑CNN网络的机械臂抓取检测方法,涉及图像检测和机器人抓取技术领域,包括:将realsense摄像头通过平行夹持器固定在机器人机械臂末端进行手眼标定和摄像头内参标定;通过realsense摄像头拍摄包含多种物品的RGB图像,构成原始图像数据集,为原始RGB图像标注矩形抓取框,获得多目标抓取图像数据集;构建改进Cascade R‑CNN网络,并利用原始图像数据集和多目标抓取图像数据集对改进Cascade R‑CNN网络进行训练及验证;通过realsense摄像头获取RGB图像,并输入到验证合格的改进Cascade R‑CNN网络,来预测RGB图像中每个物品的可行抓取框;机械臂根据预测的可行抓取框,确定物品位置并进行抓取。本发明可以实现多物体的快速、精确抓取。

技术研发人员:王怀震,黄洋
受保护的技术使用者:山东新一代信息产业技术研究院有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1