一种基于机器视觉和BIM的焊接机器人焊接路径提取和焊枪姿态规划方法

本发明涉及机器人，具体涉及一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法。

背景技术：

1、随着智能制造的发展，焊接机器人由于其稳定性和高效性在当今工业中的应用十分广泛，但是近年来随着焊接生产领域劳动力成本急剧增加，焊接一线工人逐年减少的趋势在不断加剧，焊接已经成为金属加工和机械制造的瓶颈工序，且产品需求逐年增加。

2、目前市面上的焊接机器人，绝大多数是使用传统的“示教-再现”型的“盲人”机器人，此类型的机器人对环境的一致性要求严格，焊接路径与相关参数是预先设置，不仅存在工人操作能力要求高、操作复杂和重复性高等问题，而且主要适用于大型生产线中单一结构零件生产。但在实际加工过程中，焊接件常常因为存在变形、变散热、变间隙、工件加工误差和装配误差等因素造成焊缝位置的变化；同时在一些中小企业中，由于对一些非结构化的焊接零件加工频繁，这就需要工人频繁示教，“示教-再现”型焊接机器人无法适用于该非结构化场景，由此引出了在焊接机器人中对机器视觉的应用。

3、但目前其对视觉的应用，也多局限于小场景下通过激光对简单焊缝的跟踝，或者由深度相机对焊件进行点云重建后再进行焊缝点云特征提取，以上两种不仅依赖于特征提取算法鲁棒性，而且视觉的方法受限于拍摄角度和机械臂不可达区域的限制无法提供对焊接件全局三维特征的感知。因此，需要考虑其他方式进行焊件全局三维特征重建，利用空间三维点云对机器人工作位姿进行轨迹规划，对三维点云应用于焊接领域提供了基础。

4、以上方法虽然对焊接机器人自主作业、焊接目标特征提取以及焊接轨迹全局感知提供了一些基础，但依然存在作业场景单一、焊接起始终止点需要人工手动示教、智能化程度较低等问题。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面及简要介绍一些实施例。在本部分及本申请的说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、针对以上问题，本发明提出一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法。本方法首先根据待焊接工件的加工和装配图纸，使用teklastructures软件建立待焊接工件bim模型，并导出为ifc格式的数据文件，开发焊缝特征信息提取算法，提取待焊接工件的所有焊缝信息；随后利用视觉传感器对焊接作业场景进行三维重建，生成点云信息，并进行预处理；最后，利用点云配准算法，把bim模型配准到待焊接工件的点云上，得到待焊接工件的当前位置的所有焊缝信息，从而实现机械臂的焊接路径提取和焊枪姿态规划。

3、本发明解决其技术问题所采用的技术方案是：一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，包括以下步骤：步骤一：根据待焊接工件的加工和装配图纸，使用tekla structures软件建立待焊接工件bim模型，将模型文件导出为ifc格式的数据文件，开发焊缝特征信息提取算法，获取待焊接工件的所有焊缝信息；步骤二：机械臂搭载视觉传感器在多个位姿拍照，获取点云数据并进行点云拼接，对焊接作业场景进行重建；步骤三：对得到的点云进行去噪、滤波和语义分割得到待焊接工件的完整点云；步骤四：利用点云配准算法，把模型配准到点云上，把模型提取到的所有焊缝信息映射到重建的点云上；步骤五：通过步骤四中得到的待焊接工件在当前位置的焊缝信息，再次计算得到工件的焊接路径和焊枪姿态。以此完成对焊接机器人的焊接路径提取和焊枪轨迹规划。

4、进一步地，步骤一包括：根据待焊接工件的加工和装配图纸，使用teklastructures软件建立待焊接工件bim模型，使用该软件自带的ifc导出系统，将模型文件导出为ifc格式的数据文件，借助ifcopenshell开源工具包，利用python语言开发焊缝特征信息提取算法，提取和计算待焊接工件的所有焊缝信息。

5、进一步地，步骤二包括：本发明的研究对象为工业焊接领域中的焊接机器人智能示教问题，由机械臂搭载视觉传感器，在多个位姿下，对待焊接工件场景进行拍照，通过小孔成像原理对每个位姿下场景点云进行重建。通过点云相机与机械臂的手眼标定，确定相机与机械臂之间的坐标转换关系，将每个位姿下获取的场景点云都转换到机械臂基坐标系下，并跟据最近点迭代(iterative closest point，icp)方法，对场景点云进行拼接，得到完整的焊件点云信息。

6、进一步地，步骤三包括：对获取的点云数据进行处理，由于视觉传感器视野问题，容易造成点云信息的过多获取，获得工作范围外的点云信息；同时，受环境影响，也容易产生一定的点云噪声。针对这些问题，在本步骤中，通过半径滤波器的方式，将点云数据限定于待焊接工件的工作台上，并通过对离群点的去除，对噪声进行抑制，对于原始工件点云，包含许多冗余点，因此有必要对点云进行降采样，以减少点云中的点数并加快后续算法的处理速度。

7、进一步地，步骤四包括：使用点云配准算法，把步骤一得到的模型和步骤三中得到的点云，进行配准。首先利用一种基于采样一致性的初步对齐(sample consensus initialalignment，sac-ia)粗配准方法，解决点云与模型数据之间的初始对齐问题，为后续的精确配准提供良好的初始位置；随后使用最近点迭代算法进行精配准，将bim模型和点云的坐标系进行对齐，得到坐标转换矩阵，把bim模型中提取到的焊缝特征信息转换到机械臂基坐标系下。

8、进一步地，步骤五包括：根据步骤四中得到的机械臂基坐标系下的焊缝特征，其中包括但不限于焊缝点的起始点坐标、长度、方向向量、法向量和焊缝类型等，从而得到焊接路径；将焊枪姿态作为决策变量，并建立焊缝坐标系和焊枪坐标系，根据每个焊缝点的位置坐标计算焊缝角，根据焊接经验，当焊枪的方向与焊缝角的二分线平行时，焊接效果最佳，从而得到焊枪姿态。

9、本发明的有益效果是，提出了一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，解决了当前工业加工领域焊接机器人的问题，在焊接生产领域劳动力成本急剧增加，焊接一线工人逐年减少的趋势不断加剧的情况下，提高了焊接效率，保证了焊接作业的稳定性，解决了当前焊接领域中焊接路径提取和焊枪姿态规划的关键技术。经实验，可以适应一些非结构化场景的自动焊接作业需求，提高了机器人的适应性及焊接效率。

技术特征：

1.一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：包括以下步骤：步骤一：根据待焊接工件的图纸，使用tekla structures软件建立工件bim模型，并导出为ifc文件，开发焊缝特征信息提取算法，提取待焊接工件的所有焊缝信息；步骤二：机械臂搭载视觉传感器在多个位姿拍照，获取点云数据并进行点云拼接，对场景进行重建；步骤三：对点云进行去噪、滤波和语义分割得到待焊接工件的完整点云；步骤四：利用点云配准算法，把bim模型配准到点云上，且把bim中提取到的所有焊缝信息映射到点云上；步骤五：通过步骤四中得到的待焊接工件在当前位置的焊缝信息。计算工件的焊接路径和焊枪姿态，以此完成对焊接机器人的焊接路径提取和焊枪轨迹规划，使机器人完成焊接作业。

2.根据权利要求1所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：步骤一包括：根据待焊接工件的加工和装配图纸，使用teklastructures软件建立待焊接工件bim模型，使用该软件自带的ifc导出系统，将模型文件导出为ifc格式的数据文件，借助ifcopenshel开源工具包，利用python语言开发焊缝特征信息提取算法，提取和计算待焊接工件的所有焊缝信息。

3.根据权利要求2所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：首先从ifc文件中解析连接件ifcfastener紧固件实体信息，焊缝线性类型大致分为两类：直线和曲线，由于ifc文件中对于直线焊缝和曲线焊缝定义属性实体有区别，所以下面对两种不同类型线性的焊缝开发了两种不同的焊缝特征提取算法。

4.根据权利要求1所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：步骤二包括：由机械臂搭载视觉传感器，在多个不同位姿下，对待焊接工件场景进行拍照，通过小孔成像原理对每个位姿下场景进行点云重建，通过点云相机与机械臂的手眼标定，确定相机与机械臂之间的坐标转换关系，将每个位姿下获取的场景点云都转换到机械臂基坐标系下，并根据最近点迭代(icp)的方法，对场景点云进行拼接，得到完整的焊件点云信息。

5.根据权利要求1所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：步骤三包括：对步骤二中获取的点云数据进行处理，由于视觉传感器视野问题，容易造成点云信息的过多获取，获得工作范围外的点云信息；同时，受环境影响，也容易产生一定的点云噪声，针对这些问题，在本步骤中，通过半径滤波器的方式，将点云数据限定于待焊接工件的工作台上，并通过去除离群点，对噪声进行抑制，对于原始工件点云，包含许多冗余点，因此对点云进行降采样，以减少点云中的点数并加快后续算法的处理速度。

6.根据权利要求1所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：步骤四包括：使用点云配准算法，把步骤一中的bim模型和步骤三中得到的点云，进行配准。

7.根据权利要求6所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：首先利用基于采样一致性(sac-ia)的初步对齐初始配准方法，解决点云与模型数据之间的初始对齐问题，为后续的精确配准提供良好的初始位置和方向；其次使用最近点迭代(icp)算法进行精配准，将模型和点云的坐标系进行对齐。

8.根据权利要求1所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：步骤五包括：根据步骤四中得到的机械臂基坐标系下的焊缝特征，其中包括但不限于焊缝点的起始点坐标、长度、方向向量、法向量和焊缝类型等，得到焊接路径；将焊枪姿态作为决策变量，并建立其焊缝坐标系和焊枪坐标系。

9.根据权利要求8所述的一种基于机器视觉和bim的焊接机器人焊接路径提取和焊枪姿态规划方法，其特征在于：根据步骤五中的得到的焊缝坐标和焊接路径信息，利用全局规划策略得到焊枪姿态信息，使其三者对齐结合，最终得到焊接机器人焊接路径和焊枪姿态信息，从而完成焊接作业。

技术总结
本发明提出了一种基于机器视觉和BIM的焊接机器人焊接路径提取和焊枪姿态规划方法，包括以下步骤：步骤一：建立待焊接工件BIM模型并导出为IFC格式的数据文件，开发焊缝特征信息提取算法，获取待焊接工件的所有焊缝信息；步骤二：视觉传感器采集待焊接工件点云数据，对焊接作业场景进行三维重建；步骤三：对获取的点云数据进行预处理；步骤四：利用点云配准算法，把从BIM中获取到的焊缝信息映射到点云上；步骤五：基于步骤四中得到的待焊接工件在当前位置的焊缝信息，计算得到工件的焊接路径和焊枪姿态。本发明实现了焊接机器人焊接路径的高效提取和焊枪姿态的精确规划，为自动化焊接提供了有力的技术支持。

技术研发人员：刘今越,孟士康,李铁军
受保护的技术使用者：河北工业大学
技术研发日：
技术公布日：2024/10/10