一种机器人视觉引导定位抓取控制系统的制作方法

本发明涉及机器人控制，特别地涉及一种机器人视觉引导定位抓取控制系统。

背景技术：

1、随着图像处理技术与芯片的飞速发展，机器视觉逐渐成为了无可替代的工具。机器视觉已被广泛应用在工业生产、交通出行等领域。机器视觉的发展对人们的生活产生了很大的影响，借助机器视觉这一工具可以为人们的生活带来便利。

2、目前，自动化技术已被广泛应用在工业生产中，对于一些重复的机械操作，采用手工操作的方式会耗费大量的人力与物力。使用自动化机械设备代替手工操作可极大地提高工业生产效率，自动化设备可不间断地工作，并且相比于手工操作而言，操作更加规范，避免出现因为劳累导致出现操作失误的问题。

3、但是，一些自动化设备例如自动化抓取机器人，在重复对工件进行加工处理的过程中，受到外界的影响可能导致工件出现移位，自动化设备在重复操作的过程中可能产生偏差，影响工件的加工过程。

技术实现思路

1、针对上述问题，本申请提供一种机器人视觉引导定位抓取控制系统，通过实时获取工件位置信息，根据图像识别技术对机器人进行引导，防止机器人在抓取工件的过程中出现偏差。

2、本发明的技术方案为：一种机器人视觉引导定位抓取控制系统，包括：

3、工件感应模块，用于感应工件并生成控制信号；

4、摄像模块，用于拍摄目标区域的图像；

5、摄像控制模块，用于根据接收到的控制信号控制摄像模块拍摄图像；

6、图像分析模块，用于通过图像处理算法对图像进行分析处理；

7、定位模块，用于根据分析处理得到的结果对工件进行定位，计算出工件的位置信息和偏转角度；

8、转向控制模块，用于控制机械抓取装置的转动角度；

9、抓取控制模块，用于控制机械抓取装置对工件进行抓取；

10、所述图像分析模块对图像进行分析处理包括：

11、利用目标检测模型检测从图像中检测出工件所在区域，通过矩形框对工件所在区域进行标记，用坐标(x,y,w,h)表示图像中工件所在区域的位置，其中，x、y表示工件所在区域中心点的坐标，w、h分别表示矩形框的高度与宽度。

12、进一步地，所述定位模块对工件进行定位包括：

13、以图像所在平面建立第一坐标系，以目标区域为中心、工件移动方向为横坐标轴建立第二坐标系，根据图像的场景与实际场景的缩放比例，将第一坐标系中的坐标(x,y,w,h)映射到第二坐标系中，得到坐标(x',y')，第一坐标系与第二坐标系中采用相同的参考点作为坐标原点；

14、根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)和工件的尺寸计算出工件的偏转角度α；

15、标准坐标的获取包括：将在第二坐标系下工件平行于横轴时拍摄到的标准图像输入到目标检测模型中，通过目标检测模型检测从标准图像中检测到工件所在位置，输出的坐标信息为标准坐标。

16、进一步地，所述图像分析模块通过faster-rcnn模型进行工件检测与定位，将图像输入到faster-rcnn模型中进行目标检测，舍去置信度小于0.5的候选框，选中剩余的候选框，采用非极大值抑制算法得到最终检测结果。

17、进一步地，faster-rcnn模型的训练过程包括：

18、构建faster-rcnn模型，faster-rcnn模型由特征提取网络、区域候选网络、roipooling层和分类器组成；

19、将工件放置在目标区域中，拍摄任意角度下的n张样本图像，用矩形框对工件所在位置进行标注，制作为训练数据集；

20、通过旋转、镜像和裁剪操作对训练数据集进行扩充；

21、利用扩充后的训练数据集对faster-rcnn模型进行训练，并通过推理加速框对训练过程进行推理加速，最终得到训练好的faster-rcnn模型。

22、进一步地，所述抓取控制模块根据坐标(x',y')控制机械抓取装置对工件进行抓取，机械抓取装置被初始设定为按照指定的移动路径进行物品抓取，根据坐标(x',y')对机械抓取装置的移动路径进行校正；

23、所述转向控制模块根据偏转角度α控制机械抓取装置的机械手转动角度α进行校正；

24、完成一次物品抓取后所述抓取控制模块将机械抓取装置的移动路径恢复为初始设定的移动路径，所述转向控制模块将机械抓取装置的机械手转动至初始角度。

25、进一步地，还包括：

26、所述工件感应模块生成的控制信号包括对工件的感应起始时间与感应结束时间；

27、所述摄像控制模块控制摄像模块拍摄图像包括：在感应起始时间间隔时长t后控制摄像模块对目标区域进行一次图像拍摄，间隔时长t包括第一部分和第二部分，第一部分为感应起始时间与感应结束时间差值的二分之一，第二部分为工件从感应点传输到目标区域中心点的固定时间。

28、进一步地，还包括：

29、根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)以及工件的尺寸数据计算抓取控制模块对机械抓取装置的移动路径进行校正的校正参数；

30、校正参数记为(δx,δy)，δx表示在第二坐标系下，机械抓取装置沿横坐标轴方向上移动的参数，δy表示在第二坐标系下，机械抓取装置沿纵坐标轴方向上移动的参数，其中，δx＝k(x-x0)，δy＝k(y-y),k为缩放比例系数，表示图像的场景与实际场景的缩放比例。

31、进一步地，对于坐标(x,y,w,h)和坐标(x',y')，其中x、y与x'、y'满足关系式x'＝kx，y'＝ky，k为缩放比例系数。

32、本发明具有以下优点：

33、1、本发明通过对工件进行实时感知检测，并拍摄工件图像，利用图像识别及时获取工件位置信息，根据图像识别处理的结果对机器人进行引导定位，便于机器人准确完成在工件抓取工作，避免出现偏差，影响对工件的加工。

34、2、本发明通过拍摄不同角度下工件的图像并制作为目标检测模型的训练数据集，对目标检测模型进行训练，通过推理加速框提高目标检测模型的训练速度。

35、3、本发明通过对目标的感应起始时间与感应结束时间计算出工件到达相机的拍摄区域的时间，准确地对工件进行拍摄，提高拍摄效果。

技术特征：

1.一种机器人视觉引导定位抓取控制系统，其特征在于，包括：

2.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，所述定位模块对工件进行定位包括：

3.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，所述图像分析模块通过faster-rcnn模型进行工件检测与定位，将图像输入到faster-rcnn模型中进行目标检测，舍去置信度小于0.5的候选框，选中剩余的候选框，采用非极大值抑制算法得到最终检测结果。

4.如权利要求3所述的一种机器人视觉引导定位抓取控制系统，其特征在于，faster-rcnn模型的训练过程包括：

5.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，所述抓取控制模块根据坐标(x',y')控制机械抓取装置对工件进行抓取，机械抓取装置被初始设定为按照指定的移动路径进行物品抓取，根据坐标(x',y')对机械抓取装置的移动路径进行校正；

6.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，还包括：

7.如权利要求6所述的一种机器人视觉引导定位抓取控制系统，其特征在于，还包括：

8.如权利要求7所述的一种机器人视觉引导定位抓取控制系统，其特征在于，对于坐标(x,y,w,h)和坐标(x',y')，其中x、y与x'、y'满足关系式x'＝kx，y'＝ky，k为缩放比例系数。

技术总结
本发明提供一种机器人视觉引导定位抓取控制系统。一种机器人视觉引导定位抓取控制系统，包括，工件感应模块，用于感应工件并生成控制信号；摄像模块，用于拍摄目标区域的图像；摄像控制模块，用于根据接收到的控制信号控制摄像模块拍摄图像；图像分析模块，用于通过图像处理算法对图像进行分析处理；定位模块，用于根据分析处理得到的结果对工件进行定位，计算出工件的位置信息和偏转角度。本发明通过对工件进行实时感知检测，并拍摄工件图像，利用图像识别及时获取工件位置信息，根据图像识别处理的结果对机器人进行引导定位，便于机器人准确完成在工件抓取工作，避免出现偏差，影响对工件的加工。

技术研发人员：李红,杨丽军,许荣禄,赖章炜
受保护的技术使用者：浙江荣图智能科技有限公司
技术研发日：
技术公布日：2024/1/12