焊缝结构光条纹特征点检测与提取方法

本发明涉及结构光视觉图像处理，特别涉及一种焊缝结构光条纹特征点检测与提取方法。

背景技术：

1、结构光视觉传感器被广泛应用于焊接机器人施焊场合，其主要包含工业ccd相机、结构光发生器、滤光片、挡光板等；结构光发生器将结构光投射到焊缝坡口表面进而去表征焊缝坡口的三维几何形态，焊接机器人利用该三维几何信息完成对待施焊焊缝的感知，继而完成一系列智能化焊接操作；焊接机器人通过结构光传感器在焊接过程中或在施焊之前拍摄焊缝结构光条纹图像，通过一系列图像预处理操作(如图像灰度转换、图像形态学处理、焊缝结构光条纹灰度重心法骨络提取等)获取到结构光条纹的中心线，通过一系列焊缝特征点提取算法(如斜率法、微分法、求导法等)获取到焊缝特征点像素坐标，通过一系列坐标转化矩阵(相机内外参标定矩阵、光平面标定矩阵、手眼标定矩阵等)将焊缝特征点像素坐标转换为机器人可以识别的基坐标系下的三维坐标，继而使机器人具备对待施焊焊缝坡口中心点自主识别的能力，后依据焊缝坡口中心各点的三维坐标控制机器人关节进行自主化智能化焊接操作。

2、结构光视觉辅助机器人施焊过程中，焊缝特征点提取算法主要有分段拟合法、hough直线检测法、二阶差分法、斜率分析法、求导法等，但这些方法若要提取到准确的结构光条纹中心线特征点坐标，其严重依赖于结构光条纹中心线图像的纯净度及结构光条纹中心线的理想性。

3、传统的焊缝特征点提取算法主要存在两个弊端：

4、(1)对图像噪声信息，图像杂质信息具有很强的敏感性，其焊缝特征点提取的准确性严重依赖结构光条纹信息的纯净度。

5、(2)实际条件下结构光条纹中心线图像会背离完全理想型(结构光条纹曲线呈现光滑连续性)，其存在如下类型缺陷(各种缺陷的样式参见附图3)：

6、表1：实际工况下结构光条纹中心线类型

7、

8、传统的焊缝特征点提取算法未能对这些缺陷进行判定与剔除，在实际焊接过程中，算法容易提取到错误的焊缝坡口中心点或算法容易失效，算法对环境的适用性不强。

9、总结：从提高焊缝特征点提取算法的稳定性与准确性考虑，必须对传统的焊缝特征点提取算法进行改进，继而获取一种具备高鲁棒性可用于实际情况下的焊缝结构光条纹特征点检测技术。

技术实现思路

1、本发明的目的在于提供一种焊缝结构光条纹特征点检测与提取方法，解决了现有技术存在的上述问题。本发明极其适用于焊接领域中的结构光视觉辅助机器人施焊场合，比如实时跟踪焊接，轨迹识别焊接、寻位焊接等，适应于薄板对接接头焊缝、中厚板对接接头焊缝的结构光视觉辅助机器人施焊场合等领域，本发明基于扫查法、差分法、自适应直线拟合法结合的思想，设定缺陷判据去除结构光条纹的几何缺陷，后利用直线相交法获取结构光条纹各个特征点坐标。

2、本发明的上述目的通过以下技术方案实现：

3、焊缝结构光条纹特征点检测与提取方法，将图像预处理获取的结构光中心线图像进行二值化；设定条纹空洞及光点断裂处判据，将结构光骨络线上的空洞及光点断裂处(实质由多个空洞组合而成)移除；设定条纹奇异点判据，将结构光骨络线奇异点(如跳跃点、离散点、光斑、噪声)移除；基于扫查法与差分法分段且定位结构光骨络线；基于自适应直线拟合法拟合各个片段的结构光骨络线方程；利用直线相交法对各个片段直线方程进行求交，获取焊缝坡口中心点像素坐标。本发明创新性提出了能够剔除结构光中心线图像各种噪声、光斑、奇异点、空洞等缺陷的条纹空洞及光点断裂处判据与条纹奇异点判据，使实际的结构光中心线得到修正；创新性地以扫查法与差分法结合地方式对结构光骨络线进行分段与定位。本发明包括五大模块，即结构光骨络线空洞及光点断裂处移除、结构光骨络线奇异点移除、结构光骨络线分段定位、各个片段自适应直线拟合法拟合、直线方程求交获取焊缝坡口中心点。

4、s1、二值化图像预处理获取的结构光中心线图像；

5、s2、结构光骨络线空洞及光点断裂处移除

6、s2.1、设定条纹空洞及光点断裂处判据为

7、p(x,y)＝0

8、s2.2、建立移除条纹空洞及光点断裂模型

9、依据条纹空洞及光点断裂处判据，从左到右自上而下进行扫查，逐个判定各个像素点，当某像素点像素值满足条纹空洞及光点断裂处判据时该点被移除；原结构光条纹像素点横、纵坐标集：pc＝{pc[x]|x∈n}、pr＝{pr[y]|y∈n}将转变为不存在空洞及光点断裂的像素点横、纵坐标集：p_x＝{p_x[x]|x∈n}、p_y＝{p_y[y]|y∈n}。

10、s3、结构光骨络线奇异点移除

11、s3.1、设定条纹奇异点判据

12、条纹奇异点判据为：

13、δp＝|p_y[a2]-p_y[b2]|

14、

15、式中：修正系数，>2，令

16、kα/2：单个坡口面的斜率，α：表示的是坡口角度；

17、p_x[b1]、p_y[b2]：移除空洞及光点断裂处后的待判定光点的像素横坐标、纵坐标；

18、p_x[a1]、p_y[a2]：移除空洞及光点断裂处后的待判定光点前方最近的条纹非奇异光点的像素横坐标、纵坐标；

19、a1，a2，b1，b2∈n，且a1＞b1，a2＞b2；

20、s3.2、条纹奇异点移除方法

21、若结构光骨络线某p点(p_x[b1]、p_y[b2])满足条纹奇异点判据，则认定该p点为奇异点移除，若该p点不满足条纹奇异点判据，则将该点被认定为移除空洞及光点断裂处后的待判定光点前方最近的条纹非奇异光点(p_x[a1]、p_y[a2])；

22、对步骤s2获取的不存在空洞及光点断裂的像素点横、纵坐标集(p_x＝{p_x[x]|x∈n}、p_y＝{p_y[y]|y∈n})从左到右逐个扫描并进行奇异点判断，获取到不存在奇异点的像素点坐标集ω：(px，py)＝{px[x]，py[y]|x∈n，y∈n}。

23、s4、结构光骨络线分段定位

24、结构光骨络线分段定位的目的是初步定位焊缝结构光条纹坡口左特征点f_l1、坡口底部特征点f_b1、坡口右特征点f_r1；

25、对像素点坐标集ω：(px，py)＝{px[x]，py[y]|x∈n，y∈n}依据斜率差分公式从左到右进行扫查，依次判定各点的斜率，将三个斜率突变点依次定为坡口左特征点f_l1、坡口底部特征点f_b1、坡口右特征点f_r1；

26、斜率差分公式为：

27、

28、式中：

29、k(px,py)为斜率差分公式求得的斜率；

30、n为常数，且n∈n。

31、s5、各个片段自适应直线拟合法拟合

32、通过步骤s4，结构光骨络线被分为四个片段，依次对其进行拟合，拟合方法如下：

33、s5.1、最小二乘法求取骨络线起点与坡口左特征点f_l1之间的直线方程，得到：y1＝a1*x1+b1，其中a1、b1分别表示直线y1的斜率与截距；

34、s5.2、最小二乘法求取坡口右特征点f_r1到骨络线末端点之间的直线方程，得到：y4＝a4*x4+b4，其中a4、b4分别表示直线y4的斜率与截距；

35、s5.3、最小二乘法求取坡口左特征点f_l1到坡口底部特征点f_b1之间的直线方程：

36、从坡口左特征点f_l1向坡口底部特征点f_b1进行扫查，当某s点(px[s]，py[s])满足如下方程：

37、

38、时，则认为点s是坡口左特征点f_l1与坡口底部特征点f_b1之间的有效点，公式中

39、对坡口左特征点f_l1与坡口底部特征点f_b1之间的有效点进行最小二乘法拟合，得到：y2＝a2*x2+b2，其中a2、b2分别表示直线y2的斜率与截距；

40、s5.4、最小二乘法求取坡口底部特征点f_b1到坡口右特征点f_f1之间的直线方程：

41、从坡口底部特征点f_b1向坡口右特征点f_r1进行扫查，当某t点(px[t]，py[t])满足如下方程：

42、

43、时，则认为点t是坡口底部特征点f_b1与坡口右特征点f_r1之间的有效点，公式中

44、对坡口底部特征点f_b1与坡口右特征点f_r1之间的有效点进行最小二乘法拟合，得到：y3＝a3*x3+b3，其中a3、b3分别表示直线y3的斜率与截距。

45、s6、直线方程求交获取焊缝坡口中心点。

46、将方程y1＝a1*x1+b1与方程y2＝a2*x2+b2求交，获取真正的坡口左特征点f_l；

47、将方程y2＝a2*x2+b2与方程y3＝a3*x3+b3求交，获取真正的坡口底部特征点f_b；

48、将方程y3＝a3*x3+b3与方程y4＝a4*x4+b4求交，获取真正的坡口右特征点f_r；

49、依据如下公式求取焊缝坡口中心点的横纵坐标值：

50、f_b横坐标：

51、

52、式中：

53、px[f_b]：焊缝坡口中心点的横坐标值；

54、px[f_l]、px[f_r]、px[f_b]：真正的坡口左特征点f_l、真正的坡口右特征点f_r、真正的坡口底部特征点f_b的横坐标值；

55、f_b纵坐标：

56、

57、式中：

58、py[f_b]：焊缝坡口中心点的纵坐标值；

59、py[f_l]、py[f_r]：真正的坡口左特征点f_l、真正的坡口右特征点f_r的纵坐标值。

60、本发明的有益效果在于：

61、1、焊缝结构光条纹特征点检测与提取方法，对结构光条纹图像的噪声、杂质、缺陷等具备很强的抗干扰能力，其提取的焊缝坡口中心点坐标的准确性不在严重依赖结构光条纹的纯净度。

62、2、通过一系列的判据对结构光条纹进行修正且去除各种缺陷，在实际工况下具备很强的适应性，满足各种类型结构光条纹焊缝坡口中心点坐标提取的要求。