一种基于深度学习目标检测的机械臂引导系统及方法与流程

1.本发明属于深度学习领域，尤其是一种基于深度学习目标检测的机械臂引导系统及方法。


背景技术：

2.机器人手臂通常指一种可编程的，具有与人类手臂相似功能的机械臂；该臂可以是一个完整的机械装置，也可以是更复杂的机器人的一部分。这种机械手通过关节连接使其可以完成旋转运动(例如在关节机器人中)或平移(线性)运动。机械手通过各个关节的连接最终形成了一个运动链。机械手运动链的末端被称为末端执行器，它类似于人的手。
3.机械臂的控制效果影响了生产研究的精度与效率，传统技术中机械臂的控制为人为控制，人工操作机械臂进行动作，其精度较差，同时由于人的判断能力，导致机械臂在控制过程中效率低下。而目前深度学习领域较为火热，如何将深度学习于机械臂控制结合，提高机械臂的效率与精度成为困扰研究人员的难题。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提出一种基于深度学习目标检测的机械臂引导系统及方法，通过结合硬件深度视觉传感器，边缘计算ai开发套件和基于深度学习目标检测的算法控制多轴机械臂，能够在无人干涉的情况下，精准快速实现检测、开箱、贴标、封样等自动化操作。
5.本发明解决其技术问题是采取以下技术方案实现的：
6.一种基于深度学习目标检测的机械臂引导系统，包括多轴机械臂、深度视觉传感器、边缘计算ai开发套件、工控机和显示器，所述深度视觉传感器安装于多轴机械臂末端关节处，用于采集rgb数据和深度点云数据，边缘计算ai开发套件连接深度视觉传感器，用于实时处理深度视觉传感器采集的rgb图像数据和深度点云图像数据，通过目标识别算法，识别待检目标，计算对应位姿并将点位发送给工控机，工控机分别连接多轴机械臂、边缘计算ai开发套件和显示器，将计算得到的点位通过modbus协议发送给机械臂并方便人工控制、发布任务和实时监控。
7.一种基于深度学习目标检测的机械臂引导系统的引导方法，包括以下步骤：
8.步骤1、提取现场数据，利用深度学习目标检测方法对现场数据进行训练，提取数据特征并将训练好的模型部署在边缘计算ai开发套件上；
9.步骤2、在多轴机械臂上固定深度视觉传感器，通过控制机械臂变换不同位姿对高精度标定板进行拍照获取多组标定板位姿和相对应的多轴机械臂末端工件tcp点位，通过多组点位计算手眼标定矩阵；
10.步骤3、深度视觉传感器获取的实时图片并通过边缘计算ai开发套件处理，进行目标检测定位，将计算出的相机坐标系下的点位与对应的深度点位结合，通过手眼标定矩阵转换成多轴机械臂基坐标系；
11.步骤4、将转换的点位传输给工控机，工控机将点位通过modbus协议发送给多轴机械臂，并根据指令和点位作出相应的动作。
12.而且，所述步骤1的具体实现方法为：使用yolov5模型通过训练现场图片来识别箱体、卡扣、断路器、变压器以及相应的铭牌。
13.而且，所述现场图片的获取方法为：现场采集数据100张照片，标签包含断路器、变压器、两种不同铭牌以及需要覆盖的公司logo和公司名称，通过旋转和剪切数据增强方式将数据扩充至1000张。
14.而且，所述步骤2中通过控制机械臂变换不同位姿对高精度标定板进行拍照获取多组标定板位姿和相对应的多轴机械臂末端工件tcp点位的具体实现方法为：获取深度视觉传感器的相机内外参，移动多轴机械臂带动深度视觉传感器在不同的位置进行拍照，采集25张照片计算深度视觉传感器内参和外参，并记录对应的多轴机械臂末端tcp位姿。
15.而且，所述获取深度视觉传感器的相机内外参的具体实现方法为：将世界坐标系转换至相机坐标系，再将相机坐标系转换至图像坐标系，图像坐标系转换至像素坐标系，根据三维图像和二维图像的对应关系得到世界坐标系下的点位到像素坐标系的转换关系：
[0016][0017]
其中，(xw，yw，zw)表示世界坐标系中3d点的坐标，(u，v)是以像素为单位的投影点坐标，s表示缩放因子，为[r|t]矩阵，表示刚体变换的外参矩阵，为相机矩阵k，表示相机内参，(c
x
，cy)表示图像中心点，f
x
，fy是以像素为单位表示的焦距。
[0018]
而且，所述tcp位姿通过tcp标定方法获得：
[0019]
步骤2.1、在机器人的工作空间内放置一个固定点；
[0020]
步骤2.2、通过控制机器人的姿态，使tcp与空间内的固定点重合；
[0021]
步骤2.3、重复上述步骤，改变机器人的姿态，使tcp移动到同一点；
[0022]
步骤2.4、以重复步骤2.1和步骤2.2的tcp点在世界坐标系中坐标相等为条件来建立方程组并求解，实现工具坐标系位置的标定，并得到tcp位姿。
[0023]
而且，所述步骤3通过手眼标定矩阵将物体坐标系转换成多轴机械臂基坐标系包括以下步骤：
[0024]
步骤2.5、获取深度视觉传感器外参其中深度视觉传感器外参为物体t坐标系到相机c坐标系的齐次变换：
[0025]
[0026]
其中，(x
t
，y
t
，z
t
)为物体坐标系，(xc，yc，zc)为相机坐标系，为物体坐标系到相机坐标系的旋转变换，为物体坐标系到相机坐标系的平移变换；
[0027]
步骤2.6、从多轴机械臂控制器中读取对应的多轴机械臂坐标末端姿态描述数据，得到姿态矩阵；其中多轴机械臂系统的坐标末端姿态描述数据包括2种形式：平移向量+欧拉角：x，y，z，rz，ry，rz，此方式需要知道转换关系；平移向量+四元数模式：x，y，z，qw，q
x
，qy，qz，此方式有唯一转换：
[0028][0029][0030]
其中，为机械臂末端工件坐标系到机械臂基座标系的旋转变换，为机械臂末端工件坐标系到机械臂基座标系的平移变换，工件g坐标系与机械臂基底b坐标系的齐次变换矩阵
[0031][0032]
其中，(xb，yb，zb)为机械臂基底坐标系，(xg，yg，zg)为机械臂末端工件坐标系)；
[0033]
步骤2.7、根据步骤2.5和步骤2.6求解手眼标定矩阵为相机c坐标系到机械臂工件末端g坐标系齐次变换矩阵：
[0034][0035]
为相机坐标系到机械臂末端工件坐标系旋转变换，为相机坐标系到机械臂末端工件坐标系平移变换，通过ax＝xb多组方程求解手眼标定矩阵
[0036][0037][0038]ai
x＝xbi[0039]
其中，分别表示第一组和第二组工件坐标系与机械臂基坐标系的齐次变换矩阵，物体坐标系到相机坐标系的齐次变换矩阵。
[0040]
而且，所述步骤3中转换成多轴机械臂坐标系下的点位的具体实现方法为：通过目
标检测结果获取目标在图像中的坐标(u，v)，结合深度信息zc，相机内参，手眼矩阵，多轴机械臂tcp到多轴机械臂基座标变换矩阵最终将图像像素坐标转换至多轴机械臂基底坐标系下：
[0041][0042][0043]
其中，(xc，yc，zc)为相机坐标c中3d点的坐标，(xb，yb，zb)为机械臂基座标b中3d点的坐标，k为相机矩阵，为工件与机械臂基座标的齐次变换矩阵，为手眼标定矩阵。
[0044]
本发明的优点和积极效果是：
[0045]
本发明通过深度视觉传感器和边缘计算ai开发套件组成视觉检测模块并结合多轴机械臂进行检测，将计算的点位传输给工控机，工控机将点位通过modbus发送给多轴机械臂，多轴机械臂根据指令以及点位作出相应的动作。本发明通过结合深度视觉传感器和边缘计算ai开发套件并使用深度学习目标检测的方法控制多轴机械臂，能够使多轴机械臂在无人干涉的情况下，精准快速实现检测、开箱、贴标、封样等自动化操作。
附图说明
[0046]
图1为本发明相机内外参图像坐标系示意图；
[0047]
图2为本发明手眼标定示意图；
[0048]
图3为本发明流程示意图。
具体实施方式
[0049]
以下结合附图对本发明做进一步详述。
[0050]
一种基于深度学习目标检测的机械臂引导系统，包括多轴机械臂、深度视觉传感器、边缘计算ai开发套件和工控机，所述深度视觉传感器安装于多轴机械臂末端关节处，用于采集rgb数据和深度点云数据，边缘计算ai开发套件连接深度视觉传感器，用于实时处理深度视觉传感器采集的rgb图像和深度点云图像数据，通过目标识别算法，识别待检目标，计算对应位姿并将点位发送给工控机，工控机分别连接多轴机械臂、边缘计算ai开发套件和显示器，将计算得到的点位通过固定协议发送给机械臂并方便人工控制、发布任务和实时监控。
[0051]
一种基于深度学习目标检测的机械臂引导系统的引导方法，如图3所示，包括以下步骤：
[0052]
步骤1、提取现场数据，利用深度学习目标检测方法对现场数据进行训练，提取数据特征并将训练好的模型部署在边缘计算ai开发套件上。
[0053]
使用yolo系列现在最新，性能最好的框架yolov5模型通过训练现场图片来识别卡扣，断路器、变压器以及相应的铭牌。其具体实现方法为：现场采集数据100张照片，标签包
含箱体、卡口、断路器、变压器、两种不同铭牌以及需要覆盖的公司logo和公司名称，通过旋转和剪切等数据增强方式将数据扩充至1000张。
[0054]
步骤2、在多轴机械臂上固定深度视觉传感器，通过控制机械臂变换多种位姿对高精度标定板进行拍照获取多组标定板位姿和相对应的多轴机械臂末端工件tcp点位，通过多组点位计算手眼标定矩阵。
[0055]
本步骤的具体实现方法为：获取深度视觉传感器的相机内外参，移动多轴机械臂带动深度视觉传感器在不同的位置进行拍照，采集25张照片计算深度视觉传感器内参和外参，并记录对应的多轴机械臂末端tcp位姿。
[0056]
本步骤中tcp点位的获取方法为：
[0057]
步骤2.1、在机器人的工作空间内放置一个固定点；
[0058]
步骤2.2、通过控制机器人的姿态，使tcp与空间内的固定点重合；
[0059]
步骤2.3、重复上述步骤，改变机器人的姿态，使tcp移动到同一点；
[0060]
步骤2.4、以重复步骤2.1和步骤2.2的tcp点在世界坐标系中坐标相等为条件来建立方程组并求解，实现工具坐标系位置的标定，并得到tcp位姿。
[0061]
如图1所示，本步骤中获取深度视觉传感器的相机内外参的方法为：将世界坐标系转换至相机坐标系，将相机坐标系转换至图像坐标系，再将图像坐标系转换至像素坐标系，根据三维图像和二维图像的对应关系得到世界坐标系下的点位到像素坐标系的转换关系：
[0062][0063]
其中，(xw，yw，zw)表示世界坐标系中3d点的坐标，(u，v)是以像素为单位的投影点坐标，s表示缩放因子，为[r|t]矩阵，表示刚体变换的外参矩阵，为相机矩阵k，表示相机内参，(c
x
，cy)表示图像中心点，f
x
，fy是以像素为单位表示的焦距。相机内参为相机固有参数出厂后不会改变，可通过相机接口直接获取。
[0064]
如图2所示，通过手眼标定矩阵转换成多轴机械臂坐标系下的点位包括以下步骤：
[0065]
步骤2.5、获取深度视觉传感器外参其中深度视觉传感器外参为物体t坐标系到相机c坐标系的齐次变换：
[0066][0067]
其中，(x
t
，y
t
，z
t
)为物体坐标系，(xc，yc，zc)为相机坐标系，为物体坐标系到相机坐标系的旋转变换，为物体坐标系到相机坐标系的平移变换；
[0068]
步骤2.6、从多轴机械臂控制器中读取对应的多轴机械臂坐标末端姿态描述数据，得到姿态矩阵；其中多轴机械臂系统的坐标末端姿态描述数据包括2种形式：平移向量+欧
拉角：x，y，z，rz，ry，rz，此方式需要知道转换关系；平移向量+四元数模式：x，y，z，qw，q
x
，qy，qz，此方式有唯一转换：
[0069][0070][0071]
其中，为机械臂末端工件坐标系到机械臂基座标系的旋转变换，为机械臂末端工件坐标系到机械臂基座标系的平移变换，工件g坐标系与机械臂基底b坐标系的齐次变换矩阵
[0072][0073]
其中，(xb，yb，zb)为机械臂基底坐标系，(xg，yg，zg)为机械臂末端工件坐标系；
[0074]
步骤2.7、根据步骤2.5和步骤2.6求解手眼标定矩阵即相机c坐标系到机械臂工件末端g坐标系齐次变换矩阵：
[0075][0076]
为相机坐标系到机械臂末端工件坐标系旋转变换，为相机坐标系到机械臂末端工件坐标系平移变换，通过ax＝xb多组方程求解手眼标定矩阵
[0077][0078][0079]ai
x＝xbi[0080]
其中，分别表示第一组和第二组工件坐标系与机械臂基坐标系的齐次变换矩阵，物体坐标系到相机坐标系的齐次变换矩阵。
[0081]
步骤3、深度视觉传感器获取的实时图片并通过边缘计算ai开发套件处理，进行目标检测定位，将计算出的相机坐标系下的点位与深度点位结合，通过手眼标定矩阵转换成多轴机械臂坐标系下的点位。
[0082]
通过边缘计算ai开发套件对深度视觉传感器传输实时数据进行推理，当图像检测出物件，如变电器，断路器时，会对是否检测出铭牌进一步判断，若没有检测出，物件底部的
转盘可以将物体360度旋转，直到物件贴有铭牌的一面正对相机和机械臂一侧。
[0083]
通过目标检测结果获取目标在图像中的坐标(u，v)，结合深度信息zc即缩放尺度，相机内参，手眼矩阵，多轴机械臂tcp到多轴机械臂基座标变换矩阵最终将图像像素坐标转换至多轴机械臂基底坐标系下：
[0084][0085][0086]
其中，(xc，yc，zc)为相机坐标c中3d点的坐标，(xb，yb，zb)为机械臂基座标b中3d点的坐标，k为相机矩阵，为工件与机械臂基座标的齐次变换矩阵，为手眼标定矩阵。
[0087]
步骤4、将转换的点位传输给工控机，工控机将点位通过modbus协议发送给多轴机械臂，并作出相应的动作。
[0088]
根据上述本发明的检测方法，通过某次检测的过程以验证本发明的效果。
[0089]
1、无人小车将装有待检货物的集装箱送至机械臂工作区域；
[0090]
2、机械臂通过目标检测(yolov5)识别箱体，并通过箱体顶上aruco码获取箱体位姿；
[0091]
3、机械臂选用拆卡扣工件，识别并拆卸箱体四角的卡扣；
[0092]
4、再选用吸盘工件吸取箱体上方并将箱体放置固定区域；
[0093]
5、机械臂识别待检货物，若没有检测到铭牌则控制托盘旋转90度直到检测到为止；
[0094]
6、进一步检测铭牌上面公司名称和logo，返回坐标；
[0095]
7、机械臂选用贴标工件再固定位置吸取贴纸，并将6)中检测到的名称和logo覆盖；
[0096]
8、无人小车将待检货物送至待检区检测，检测完成送回机械臂工作区进行封装；
[0097]
9、机械臂通过托盘底座aruco码获取底座位姿；
[0098]
10、机械臂选用吸盘工件提起箱体对货物进行封样。
[0099]
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。