基于机器视觉和神经网络的焊接机器人参数化编程方法及系统

本发明涉及工业智能制造，尤其是涉及一种基于机器视觉和神经网络的焊接机器人参数化编程方法及系统。

背景技术：

1、工业焊接机器人是实现工业生产大型化、复杂化不可或缺的自动化工具，在汽车、船舶、航空航天等众制造业中发挥着重要作用。我国工业机器人技术经过长期的攻关计划已取得较大进步，市场逐渐成熟。随着对工业生产的精细化、自动化程度的要求不断提高，我国也在机器人智能控制领域进行开拓创新。

2、周知，焊接效率和焊接质量对工业生产过程和工业产品质量的影响巨大。目前工业焊接机器人大多采用人工示教的方式，针对不同的焊板材质、焊缝宽度和深度，以及期望的焊后焊缝余高、熔深、焊接速度等，凭借操作技术人员的经验来人工设置焊枪的电压、电流大小、送丝速度和保护气流量以及焊枪姿态，同时根据高压寻位、激光寻位等操作使机器人焊枪到达指定焊接位置。当焊缝类型（对接焊缝、内角接焊缝、外角接焊缝等）改变时则需要重新示教，且存在示教人员经验不足时设置的焊枪参数不够理想的情况。这种传统的人工示教在线编程过程繁琐、效率低下，焊接机器人无人化程度低，不利于更好地满足中国智造战略以及实现现代化建设强国的要求。同时，单一的结构光视觉难以实现在复杂背景下对焊缝的定位及测量，单一的多目视觉系统由于存在同一特征点在多幅图像中的标定误差、狭小焊缝难以测量等缺陷。

技术实现思路

1、针对上述技术问题，本发明提出一种基于机器视觉和神经网络的焊接机器人参数化编程方法及系统，能免示教的进行快速参数化编程，操作人员只需要将待焊板材在焊台固定好并在焊接系统的人机交互界面输入焊板材质、期望的焊后焊缝余高、熔深和机械臂运行时的焊接速度，机器人即可自主地找到焊接位置开始焊接，打破了传统焊接机器人人工示教在线编程繁琐低效、对不同焊缝类型和板材设置焊机工作参数不理想以及每次焊接前需重新寻位的难题，提高了焊接机器人的智能化程度。

2、具体的，本发明提供的基于机器视觉和神经网络的焊接机器人参数化编程方法及系统，所述方法包括以下步骤：

3、s1：初始化，采集焊缝区域图像；

4、s2：通过深度学习目标检测算法判断焊缝类型，确定目标焊缝区域，根据所述焊缝类型确定对应的焊枪姿态；

5、s3：将所述目标焊缝区域作为roi区域，并进行一次处理，根据一次处理结果定出笛卡尔空间焊接路径特征点；根据所述笛卡尔空间焊接路径特征点进行机器人关节空间的轨迹规划，计算焊缝宽度和焊前焊缝深度；

6、s4：根据所述焊缝宽度和焊前焊缝深度，以及预设焊接参数，执行焊接程序。

7、其中，本发明中所述的初始化，具体包括：建立世界坐标系、机器人各轴坐标系和工具坐标系，对机器人进行正、逆运动学建模，对多目视觉相机和结构光模组进行标定，以及对多目视觉相机、结构光模组与机器人进行手眼标定。

8、进一步的，本发明中所述的初始化，还包括：根据焊板材质，设置预设焊接参数，所述预设焊接参数至少包括焊缝余高期望值，焊缝熔深，焊接速度，以及焊板材质，但不限于此。

9、在本发明中，所述一次处理至少包括;对所述roi区域图像进行滤波、分割、形态学处理、以及焊缝中心线提取，但不限于此。

10、在本发明中，所述焊缝类型包括但不限于内角接焊缝、外角接焊缝、对接焊缝等。

11、其中，在进行机器人关节空间的轨迹规划之前，还包括：将特征点位置由像素坐标系转换到世界坐标系和关节坐标系，并记录特征点坐标信息。

12、在本发明中，所述计算焊缝宽度和焊前焊缝深度，具体包括：获取结构光光源照射下的反射光线，根据所述记录特征点坐标信息，在结构光图像上找到对应的位置，计算焊缝宽度，并计算其与焊板表面的距离作为焊前焊缝深度。

13、步骤s4具体包括：将所述预设焊接参数和计算获得的焊缝宽度和焊前焊缝深度，输入至预测神经网络模型，计算得预测的焊枪电压电流值、送丝速度和保护气流量；根据所述电压电流值，送丝速度和保护气流量，焊枪姿态，机器人关节空间的轨迹规划，预设焊接参数并控制机器人执行机构工作。

14、作为另一优选的，本发明还提供一种基于机器视觉和神经网络的焊接机器人参数化编程系统，所述系统至少包括：

15、多目视觉相机组，用于拍摄多维焊缝图像，完成焊缝区域图像采集并与上位机通信连接；

16、结构光模组，包括：结构光光源和结构光图像采集设备，均与上位机通信连接；

17、上位机，用于预设焊接参数，确定目标焊缝区域，进行图像处理与机器人轨迹规划，计算焊缝宽、深度，预测焊机工作参数并控制机器人执行机构工作。

18、plc控制器，通过现场总线与上位机进行通讯，用于接收上位机发送的信息，并返回值通知上位机是否执行成功；同时通过现场总线与机器人执行机构进行交互通讯；

19、机器人执行机构，包括：机械臂本体结构和焊接模块；所述焊接模块包括焊机电源和焊枪，焊枪通过法兰连接安装在机械臂末端。

20、其中，所述上位机中通过深度学习目标检测算法，判断焊缝类型，确定目标焊缝区域，根据所述焊缝类型确定对应的焊枪姿态；所述深度学习目标检测算法至少采用yolo目标检测模型或其他基于卷积神经网络的预测模型中的一种。

21、所述上位机中根据预设焊接参数和计算获得的焊缝宽度和焊前焊缝深度通过预测神经网络模型，计算得预测的焊枪电压电流值、送丝速度和保护气流量；所述预测神经网络模型至少采用bp网络模型或其他基于人工神经网络的预测模型中的一种。

22、综上所述，本发明提供基于机器视觉和神经网络的焊接机器人参数化编程方法及系统，通过深度学习目标检测算法判断焊缝类型，确定目标焊缝区域，根据所述焊缝类型确定对应的焊枪姿态，将所述目标焊缝区域作为roi区域，并进行一次处理，根据一次处理结果定出笛卡尔空间焊接路径特征点；根据所述笛卡尔空间焊接路径特征点进行机器人关节空间的轨迹规划，计算焊缝宽度和焊前焊缝深度，根据所述焊缝宽度和焊前焊缝深度，以及预设焊接参数，执行焊接程序。

23、与现有技术相比，本发明可实现免示教的进行快速参数化编程，打破了传统焊接机器人人工示教在线编程繁琐低效、焊枪参数设置不理想以及每次焊接前需重新寻位的难题，提高了焊接机器人的智能化程度。

技术特征：

1.一种基于机器视觉和神经网络的焊接机器人参数化编程方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于机器视觉和神经网络的焊接机器人参数化编程方法，其特征在于，所述初始化，具体包括：建立世界坐标系、机器人各轴坐标系和工具坐标系，对机器人进行正、逆运动学建模，对多目视觉相机和结构光模组进行标定，以及对多目视觉相机、结构光模组与机器人进行手眼标定。

3.根据权利要求2所述的基于机器视觉和神经网络的焊接机器人参数化编程方法，其特征在于，所述初始化，还包括：根据焊板材质，设置预设焊接参数，所述预设焊接参数至少包括焊缝余高期望值，焊缝熔深，焊接速度，以及焊板材质。

4.根据权利要求3所述的基于机器视觉和神经网络的焊接机器人参数化编程方法，其特征在于，所述一次处理至少包括对所述roi区域图像进行滤波、分割、形态学处理、以及焊缝中心线提取。

5.根据权利要求4所述的基于机器视觉和神经网络的焊接机器人参数化编程方法，其特征在于，在进行机器人关节空间的轨迹规划之前，还包括：将特征点位置由像素坐标系转换到世界坐标系和关节坐标系，并记录特征点坐标信息。

6.根据权利要求5所述的基于机器视觉和神经网络的焊接机器人参数化编程方法，其特征在于，所述计算焊缝宽度和焊前焊缝深度，具体包括：获取结构光光源照射下的反射光线，根据所述记录的特征点坐标信息，在结构光图像上找到对应的位置，计算焊缝宽度，并计算其与焊板表面的距离作为焊前焊缝深度。

7.根据权利要求6所述的基于机器视觉和神经网络的焊接机器人参数化编程方法，其特征在于，步骤s4具体包括：将所述预设焊接参数和计算获得的焊缝宽度和焊前焊缝深度，输入至预测神经网络模型，计算得预测的焊枪电压电流值、送丝速度和保护气流量；根据所述电压电流值，送丝速度和保护气流量，焊枪姿态，机器人关节空间的轨迹规划，预设焊接参数并控制机器人执行机构工作。

8.一种根据权利要求1-7任一所述的基于机器视觉和神经网络的焊接机器人参数化编程方法的系统，其特征在于，所述系统至少包括：

9.根据权利要求8所述的系统，其特征在于，所述上位机中通过深度学习目标检测算法，判断焊缝类型，确定目标焊缝区域，根据所述焊缝类型确定对应的焊枪姿态；所述深度学习目标检测算法至少采用yolo目标检测模型或其他基于卷积神经网络的预测模型中的一种。

10.根据权利要求9所述的系统，其特征在于，所述上位机中根据预设焊接参数和计算获得的焊缝宽度和焊前焊缝深度通过预测神经网络模型，计算得预测的焊枪电压电流值、送丝速度和保护气流量；所述预测神经网络模型至少采用bp网络模型或其他基于人工神经网络的预测模型中的一种。

技术总结
本发明提供一种基于机器视觉和神经网络的焊接机器人参数化编程方法及系统，通过深度学习目标检测算法判断焊缝类型，确定目标焊缝区域，根据所述焊缝类型确定对应的焊枪姿态，将所述目标焊缝区域作为ROI区域，并进行一次处理，根据一次处理结果定出笛卡尔空间焊接路径特征点；根据所述笛卡尔空间焊接路径特征点进行机器人关节空间的轨迹规划，计算焊缝宽度和焊前焊缝深度，通过预测神经网络模型，结合预设焊接参数计算得焊枪工作参数，发送执行焊接程序命令至机器人执行机构以完成焊接工作。本发明可实现免示教的进行快速参数化编程，打破了传统焊接机器人人工示教在线编程繁琐低效、对不同焊缝类型和板材设置焊枪工作参数不理想以及每次焊接前需重新寻位的难题，提高了焊接机器人的智能化程度。

技术研发人员：刘宝,刘天宝,叶飞,梁福学
受保护的技术使用者：中国石油大学（华东）
技术研发日：
技术公布日：2024/1/13