可预测焊缝与位姿估计的焊接机器人三维视觉方法及系统

本发明属于激光视觉追踪，具体涉及一种可预测焊缝与位姿估计的焊接机器人三维视觉方法及系统。

背景技术：

1、传统的叶轮焊接过程通常依赖于手工操作，存在劳动强度大、生产效率低、焊接质量难以保证等问题，所以采用视觉引导机器人焊接。然而无法解决叶轮结构的特殊性和激光视觉追踪器与焊枪的干涉导致了部分焊缝被遮挡、焊枪工作角需始终在焊缝连接两个立面的角平分线上的问题。

2、因此，需要一种能够实现叶轮焊接过程自动化和智能化的方法及系统，以提高焊接质量和生产效率。

技术实现思路

1、本发明的目的在于克服传统技术中存在的上述问题，提供一种用于叶轮中预测焊缝与位姿估计的焊接机器人三维视觉方法及系统。

2、为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

3、本发明提供一种用于叶轮中预测焊缝与位姿估计的焊接机器人三维视觉系统，该系统包括数据库系统及数据管理模块、预测焊件点云模块、分割焊接立面模块、焊枪姿态矫正模块和可视化焊接模块；

4、所述数据库系统及数据管理模块用于存储和管理相机、线结构光、手眼标定标定数据，对每张图片采集到的特征点及周围的坐标数据进行存储和索引，并打包成焊缝及周围数据点云数据，为后续算法和任务提供准确、可靠的数据支持；

5、所述预测焊件点云模块先对焊缝及周围数据点云数据进行预处理，然后基于pf-net网络模型推断被遮挡的焊缝及周围数据，生成虚拟的焊缝及周围数据点云数据，从而生成焊缝及焊缝周围形态完整的点云图；

6、所述分割焊接立面模块利用pointnet++网络模型把焊缝及焊缝周围形态完整的点云分割出上下两个立面，然后对异常点进行过滤；

7、所述焊枪姿态矫正模块通过补全和分割后的点云数据，对末端焊枪的姿态进行调整；获取两个立面的交点的点云数据几何信息，计算出理想的焊接姿态，然后调整末端焊枪的姿态以匹配这个理想姿态；

8、所述可视化焊接模块布置上位机及显示屏，以供现场焊接人员、叶轮供应商实时操作或观察焊接特征点获取情况，生成的点云图准确性以及焊接过程。

9、进一步地，所述数据库系统及数据管理模块需要获取每张图片的激光线上特征点和激光线上以特征点为圆心，半径为20mm的圆以内的坐标值，所述数据库系统及数据管理模块需要收集叶轮上大量完整的和相应的缺失信息配对的焊缝及周围点云数据作为训练集，划分少量训练集作为验证集，少量被遮挡缺失的焊缝及周围点云数据作为测试集；训练集中的有效信息包括点云基础属性坐标、法向量。

10、进一步地，所述预测焊件点云模块对点云数据进行预处理，然后基于pf-net网络模型进行点云补全任务；所述预测焊件点云模块使用训练好的网络对被遮挡的叶轮点云数据进行补全，将被遮挡部分的点云输入网络，通过网络预测得到完整的叶轮点云数据，解决由于叶轮结构特殊性和激光视觉追踪器与焊枪之间干涉所导致的部分焊缝被遮挡问题。

11、进一步地，所述分割焊接立面模块获取补全之后的点云数据，对补全点云数据进行手动分割打标，将其分为上下两个立面；所述分割焊接立面模块使用准备好的点云训练集在pointnet++网络模型进行点云分割训练；所述分割焊接立面模块使用训练好的网络对叶轮点云数据进行分割，将被未分割点云输入网络，通过网络分割得到叶轮点云上下面两个立面的分割数据，最后对叶轮点云数据进行异常点过滤，以提高点云分割的质量。

12、进一步地，所述叶轮点云数据进行异常点过滤过程中，为防止过度分割现象或欠分割现象，可采用距离滤波的方法进行异常点过滤，需要两个超参数，kmean和mult这两个参数是用来进行过滤离群点的，计算步骤：对每一个点云xi∈x，计算它到其他点的距离dij＝‖xi-xj‖，然后选出kmean个xi到其他点最近的距离{dij1，dij1,…,dijmean}，计算这些距离和的均值将di作为xi的特征，di均值是di方差是计算阙值threshold＝mean+multi*stddev，如果di>threshold，则说明xi是离群点云，如果di<threshold，则说明xi是物体表面上的点云，同时为焊枪姿态矫正模块中的数据除去冗杂无用的数据点，获得具有特征的点云数据。

13、进一步地，所述焊枪姿态矫正模块获取上下分割两个立面的交点的点云数据，便是焊缝点云数据，为获取更为准确焊缝轨迹和焊枪姿态，点云数据中焊缝上相近几个特征点拟合成空间直线从而确定切向量，根据这条空间直线为中心位置画一个半径和高极小的圆柱，在圆柱体上内总能获取与两个立面相交的两个截面，如果每个相交截面上用于不少于100的点云数据，则表示切向量方向选取正确，如果低于100个点云数据，则切向量在空间中旋转极极小的角度直至能够获取100个点云数据才能通过，角度变换不超过30次，超过30次遗弃，并根据前一段通过的焊缝数据和后一段通过的焊缝数据对切向量方向变换进行指导，通过计算从而来选取两个立面plane1和plane2法向量的和用来确定每一小段焊缝法向量，从而为焊枪工作角能始终在焊缝连接两个立面的角平分线上提供基础，最终对末端焊枪的姿态不断进行调整。

14、进一步地，前后段焊缝数据对切向量方向变换进行指导，通过罗德里格斯公式求解任意两个向量之间的旋转矩阵，从而将l1向着l2方向旋转，由于只需要趋向的结果，在θ角度前加上一个系数a，区间0<a<1，得到方向变化后切向量计算如下：

15、首先，需要求出向量l1、l2之间的旋转轴u，通过向量的叉乘得到：

16、u＝l1×l2

17、然后，需要求出向量l1、l2之间的旋转角度θ，通过向量的点积和它们的模长计算得到：

18、

19、最后，利用罗德里格斯公式计算旋转矩阵r和方向变化后切向量l’1：

20、

21、l’1＝l1×r

22、[u]x表示向量的斜对称矩阵，i表示单位矩阵。

23、进一步地，所述圆柱体上总能获取与两个立面相交的两个截面，用最小二乘法分别对两截面数据通过平面模a1x+b1y+c1z＝d1和a2x+b2y+c2z＝d2拟合得出平面方程，从而获得plane1和plane2，焊缝轨迹数据以下通过下式计算：

24、

25、进一步地，选取两个立面plane1和plane2法向量的和用来确定每一小段焊缝法向量，p1为焊缝立面平面法向，p2为焊缝立面平面法向，为焊接法向量，焊接方向向量通过下式计算:

26、

27、

28、p1＝(a1,b1,c1),p2＝(a2,b2,c2)

29、获取以上数据能够连续不断的对末端焊枪的姿态进行调整性。

30、本发明还提供一种用于叶轮中预测焊缝与位姿估计的焊接机器人三维视觉方法，基于上述的系统实现，该方法包括如下操作步骤：

31、1)对视觉引导系统进行相机、线结构光、手眼标定；

32、2)把激光线打在风轮上，根据屏幕查看是否获取到了特征点，得到具有特征点图像之后拍下，获得获取特征点及周围的点云数据；

33、3)对点云数据分成训练集、测试集、验证集；

34、4)根据数据集进行训练，获取训练后的叶轮模型，叶轮模型包括焊缝及焊缝周围结构；

35、5)将实时获取的未被遮挡部分焊缝点及周围的点云数据输入至所述训练后的叶轮模型当中；

36、6)根据模型输出结果，生成焊缝及焊缝周围形态完整的点云图；

37、7)根据所述完整的点云数据放到couldcompare上进行手动分割打标，把分为上下两个立面，然后再制作把打标之后点云数据分为训练集、测试集、验证集；

38、8)根据所述分割数据集进行训练，获取训练后的叶轮模型，叶轮模型包括上下两个分割的立面；

39、9)对被遮挡的叶轮点云数据进行补全，将被遮挡部分的点云输入网络，通过网络预测得到完整的叶轮点云数据，根据点云图中几何关系和焊缝空间位置对末端焊枪的姿态进行调整；

40、10)根据显示功能，实时关注查看焊接过程。

41、本发明的有益效果是：

42、本发明相比于传统示教焊接离心叶轮，采用此种方法系统有更强的鲁棒性。在实现焊接过程中的自动化和智能化同时，能够极大程度的解决由于叶轮结构特殊性和激光视觉追踪器与焊枪之间干涉所导致的部分焊缝被遮挡问题，以及为解决焊枪工作角能始终在焊缝连接两个立面的角平分线上提供了基础。从而节省了人工员工的劳动强度，降低了焊接离心叶轮失误率，提高了焊接质量。

43、当然，实施本发明的任一产品并不一定需要同时达到以上的所有优点。