一种基于视觉引导的机械臂抓取目标物体方法及系统

本申请涉及自动化控制领域，尤其涉及一种基于视觉引导的机械臂抓取目标物体方法及系统。

背景技术：

1、随着工业的快速发展以及人工智能技术的日渐成熟，机器人领域及其应用正被越来越多的人所熟知并逐渐接受。机械臂作为机器人构成不可或缺的一部分，一直是机器人研究领域的研究热点，因此，研究机械臂抓取相关问题就显得尤为重要。应用机械臂抓取技术的领域十分广泛，如：工业自动化、物流仓储、医疗卫生、农业生产等领域。传统的机械臂抓取技术主要采用预先编程的方式进行抓取，即事先确定机械臂的运动轨迹和夹爪的开闭程度，从而完成对物体的抓取。这种方法在一些简单的、可预见的场景下表现良好，但对于复杂、不规则、大小不一的物体抓取效果就显得捉襟见肘。这是因为传统的机械臂抓取技术无法对物体的形状、大小、位置、姿态等信息进行实时感知和处理，而这些信息对于机械臂成功抓取物体往往是至关重要的。对于现在日常生活和工业生产中需要进行的目标物体抓取任务，传统的技术已经不能够满足这些任务的要求。随着任务需求的不断提高，需要更加先进的技术来实现更加高效、准确的抓取任务。

2、由于在产业中的巨大需求，机械臂抓取成为了炙手可热的研究课题。在现有技术中，公开号为cn112171661a的中国专利公开了“一种基于视觉信息融合的机械臂抓取目标物体方法”，使用深度学习目标检测yolo网络，其可以获取包围目标物体的三维矩形框的各角点及中心点的像素坐标，但是对于复杂不规则目标物体来说，一方面，仅使用深度学习目标检测yolo网络进行检测不能很好的得到目标物体的偏移角度；另一方面，对这类复杂不规则目标物体进行打标是一件十分困难且无意义的工作。

3、因此，寻找一种不仅能够根据对待抓取目标物体进行实时感知，根据待抓取目标物体的大小调整机械臂夹爪的开闭程度，还能够调整机械臂夹取的角度的抓取方法，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本申请的主要目的在于提供一种基于视觉引导的机械臂抓取目标物体方法，旨在解决现有机械臂无法根据待抓取目标物体调整夹爪开闭程度和机械臂夹取角度的技术问题。

2、为实现上述技术目的，本申请提供一种基于视觉引导的机械臂抓取目标物体方法，包括以下步骤：

3、s1、建立目标物体识别模型；

4、s2、图像采集设备采集目标物体的多个图像数据，构建成数据集；

5、s3、将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；

6、s4、将实时采集的待抓取目标物体的图像输入至所述训练好的目标物体识别模型进行处理，得到所述待抓取目标物体的位置坐标；

7、s5、机械臂根据所述位置坐标对待抓取目标物体进行抓取。

8、作为本申请的一实施例，所述步骤s3具体包括：

9、所述目标物体识别模型包括图像分割模块和目标位姿计算模块，将所述数据集输入至所述图像分割模块进行图像分割；

10、将分割后的图像输入至所述目标位姿计算模块，得到目标物体坐标和偏移角度；

11、确定机械臂和待抓取目标物体之间的相对位置关系；

12、所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体。

13、作为本申请的一实施例，所述图像分割模块包括至少一个下采样编码单元、至少一个上采样解码单元、至少一个间隔卷积层和relu激活函数层，所述数据集依次进行下采样编码、上采样解码、间隔卷积和激活函数处理，得到分割后的图像数据；其中所述下采样编码单元包括逐段跳跃卷积层、批归一化处理层、激活层和池化层，所述上采样解码单元包括反卷积层、间隔卷积层和双向深度卷积层。

14、作为本申请的一实施例，所述间隔卷积层和双向深度卷积层之间还包括有dropout操作。

15、作为本申请的一实施例，所述目标位姿计算模块包括坐标计算单元和角度偏移计算单元，其中所述坐标计算单元的计算公式如下：；；

16、为图像分割后的二值图像，为所述二值图像在坐标处的像素值，为当前坐标索引，为输出的非零像素坐标集合，表示集合中的第个点的坐标。

17、作为本申请的一实施例，所述角度偏移计算单元的计算公式如下：

18、；

19、；

20、其中，为二值图像点集大小，为第个点的坐标，为点集的坐标平均值，为点集的协方差矩阵，和分别表示协方差矩阵的特征值和特征向量，为机械臂抓取的角度，用于计算两个坐标点之间的角度。

21、作为本申请的一实施例，所述确定机械臂和待抓取目标物体的相对位置关系具体包括：

22、使用九点标定法得到机械臂基坐标系和工作台基坐标系；

23、通过所述机械臂基坐标系和工作台基坐标系下的坐标矩阵得到变换矩阵。

24、作为本申请的一实施例，所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体，之前还包括：

25、根据图像采集设备视野动态设置图像视频缓冲区，所述缓冲区包括第一缓冲区和第二缓冲区；

26、判断所述视野范围内是否存在待抓取物体，若存在，则将缓冲区大小与第二缓冲区大小一致，图像采集设备使用图像分割模块对所述视野范围的图像进行图像分割，并利用目标位姿计算模块计算所述视野范围的图像中物体坐标和偏移角度。

27、作为本申请的一实施例，所述步骤s5之前还包括：

28、根据所述待抓取目标物体的摆放角度调整机械臂抓取的角度，具体公式如下：

29、；

30、其中，为待抓取目标物体实际角度的角度。

31、本申请还提供一种基于视觉引导的机械臂抓取目标物体系统，包括：

32、建立模块，用于建立目标物体识别模型；

33、采集模块，用于图像采集设备采集目标物体的多个图像数据，构建成数据集；

34、训练模块，用于将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；

35、处理模型，用于将实时采集的逮住去目标物体的图像输入至所述训练好的目标物体是被模型进行处理，得到待抓取目标物体的位置坐标；

36、抓取模块，用于机械臂根据所述位置坐标对待抓取目标物体进行抓取。

37、与现有技术相比，本申请具有以下有益效果：

38、本申请通过使用训练集对目标物体识别模型进行深度学习网络训练，其中在训练过程中使用目标物体识别模型中的图像分割模块和目标位姿计算模块，计算得出目标物体的位置坐标和偏移角度，并使用九点标定方法确定机械臂和待抓取目标物体之间的相对位置关系，机械臂根据位置坐标、偏移角度和相对位置关系进行抓取，提高了机械臂抓取复杂不规则目标物体的准确度，是机械臂能够适用于更加复杂的场景，增强机械臂的实用性。

技术特征：

1.一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述步骤s3具体包括：

3.根据权利要求2所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述图像分割模块包括至少一个下采样编码单元、至少一个上采样解码单元、至少一个间隔卷积层和relu激活函数层，所述数据集依次进行下采样编码、上采样解码、间隔卷积和激活函数处理，得到分割后的图像数据；其中所述下采样编码单元包括逐段跳跃卷积层、批归一化处理层、激活层和池化层，所述上采样解码单元包括反卷积层、间隔卷积层和双向深度卷积层。

4.根据权利要求3所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述间隔卷积层和双向深度卷积层之间还包括有dropout操作。

5.根据权利要求2所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述目标位姿计算模块包括坐标计算单元和角度偏移计算单元，其中所述坐标计算单元的计算公式如下：；；

6.根据权利要求5所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述角度偏移计算单元的计算公式如下：

7.根据权利要求1所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述确定机械臂和待抓取目标物体的相对位置关系具体包括：

8.根据权利要求2所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述机械臂根据目标物体坐标、偏移角度以及相对位置关系抓取所述目标物体，之前还包括：

9.根据权利要求8所述的一种基于视觉引导的机械臂抓取目标物体方法，其特征在于，所述步骤s5之前还包括：

10.一种基于视觉引导的机械臂抓取目标物体系统，其特征在于，包括：

技术总结
本申请提供一种基于视觉引导的机械臂抓取目标物体方法及系统，所述方法包括以下步骤：S1、建立目标物体识别模型；S2、图像采集设备采集目标物体的多个图像数据，构建成数据集；S3、将所述数据集输入至所述目标物体识别模型进行深度学习网络训练，得到训练好的目标物体识别模型；S4、将实时采集的待抓取目标物体的图像输入至所述训练好的目标物体识别模型进行处理，得到所述待抓取目标物体的位置坐标；S5、机械臂根据所述位置坐标对待抓取目标物体进行抓取。本申请通过目标物体识别模型确定待抓取目标物体的实际坐标，机械臂根据实际坐标进行抓取，提高了机械臂抓取复杂不规则目标物体的准确度。

技术研发人员：姜明华,周鑫磊,余锋,陈余焜,金余余,刘莉,宋坤芳
受保护的技术使用者：武汉纺织大学
技术研发日：
技术公布日：2024/1/15