一种基于3D点云的杆件关节安装质量监控方法及装置与流程

一种基于3d点云的杆件关节安装质量监控方法及装置
技术领域
1.本发明涉及视觉测量技术领域，特别是涉及一种基于3d点云的杆件关节安装质量监控方法及装置。


背景技术：

2.随着逐年增开的地铁车组数量，如何保证地铁车组行驶安全是中国城市轨道交通高效、安全、稳定运输的重要课题之一，其中车轴杆件关节压装质量的好坏，将直接影响到列车组运行的安全性，因此车轴杆件关节的精准安装及后期定期维护，成为了预防地铁车组预防危险情况的重要手段。
3.随着智能自动化技术的不断发展壮大，已经在诸多领域得到了突破性进展，例如视觉测量技术领域。申请号为cn202110749876.6的中国专利公开了一种基于双目视觉的机器人空间位置重复性和准确度测量方法，包括：确定机器人位置，将目标靶标安装在机器人末端；建立机器人坐标系并确定机器人的常用工作空间范围，选取机器人的测试空间和5个测量点；将两个视觉传感器安装在测试空间的正前方两侧，两个视觉传感器的视场范围包含测试空间；建立视觉测量坐标系，计算获取5个测量点在视觉测量坐标系下的对应坐标值；启动机器人，对目标靶标进行5个测量点的多次循环测量，分别获取目标靶标在5个测量点处所对应视觉测量坐标系下的一系列测量坐标值，计算得到机器人的空间位置重复性和空间准确度结果。
4.因此，利用视觉技术实现非接触式测量具有角度兼容性强、测量精度高、自定位修复等优点，已经广泛应用于各类机械加工行业中，针对目前存在的车轴杆件关节难以精准安装的问题，有必要提供一种安装质量监控方法，在车轴杆件关节安装的过程中可以实时监控，及时进行调整从而管控加工的产品质量。


技术实现要素：

5.基于以上问题，本发明提供了一种基于3d点云的杆件关节安装质量监控方法及装置。
6.为实现上述目的，本发明提供如下技术方案：
7.本发明提供了一种基于3d点云的杆件关节安装质量监控方法，具体包括以下步骤：
8.s1、利用双目结构光3d相机采集深度图像；
9.s2、针对深度图像进行预处理，去除噪声；采用阈值分割算法去除背景干扰；获取杆件关节点云图；
10.s3、基于所述杆件关节点云图进行点云融合及三维重建，提取所述杆状关节的关节环状平面的特征信息，分离出所述关节环状平面的点云数据，进行区域分隔和点云过滤，重构所述关节环状平面；按相同方法重构外侧环状平面；
11.s4、通过融合外侧环状平面和关节圆柱面的特征信息，分配不同的权重，以获取轴
系面的准确位姿，测量两者的基面差评估关节安装质量。
12.优选地，在步骤s2中，去除噪声的方法为高斯滤波过滤；
13.利用阈值分隔法去除背景干扰的步骤为：根据深度信息差异，将杆件关节与干扰点云初步分离；利用杆状关节上的关节圆环特征以及杆件平整度特性筛选出杆件点云。
14.优选地，基于所述点云图进行点云融合及3d重建的方法为：
15.s3.1采集若干帧点云图，进行帧间连续点云配准，获取帧间点云图的刚性变换姿态，并得到刚性变化公式；
16.s3.2定义第i帧点云图相对于第i-1帧点云图的姿态为point(i,i-1)，通过链式方程point(i,1)＝point(i,i-1)
……
point(2,1)，计算point(i,i-1)、
……
point(3,2)、point(2,1)；通过所述刚性变换公式，将其余所有帧点云图变换至第1帧点云图的位置，构成点云图集合，对所述点云图集合进行和拼接，得到3d重建粗样本；
17.s3.3针对所述杆状关节上的螺纹元件的点云进行降采样，采取三角型算法进行重构，获取螺纹元件的3d图。
18.优选地，重构环状关节平面的方法为：
19.多次随机取点，计算其与所有邻域点法矢量之间的夹角是否均小于给定阈值1
°
，根据法矢量一致性原则分离出关节外侧的环状平面；
20.对所述关节环状平面特征进行信息提取，基于点云法矢量差异性原则，进行关节环状平面点云数据的精简。
21.优选地，关节环状平面特征进行信息提取的方法为：
22.通过奇异值分解法对关节环状平面进行拟合，设定拟合平面方程为：
23.ax+by+cz+d＝0，其中x，y，z为点的坐标值；a、b、c、d为系数，a2+b2+c2＝1；
24.求解a、b、c、d；
25.通过拟合平面方程获取所述关节环状平面的内边界圆圆心oi(xi,yi,zi)、外边界圆圆心ou(xu,yu,zu)和单位法矢量n1(a,b,c)，
26.优选地，求解a、b、c、d的方法为：
27.根据法兰环状平面点云数据的空间坐标，求得点云平均坐标
28.则
29.定义点云矩阵
30.其中限定条件为min(f(a,b,c))＝min(||ax||)；
31.对a进行奇异值分解，得：a＝udv
t
；
32.其中，u为n
×
n矩阵；d为n
×
3矩阵；v为3
×
3矩阵；
33.当且仅当时，||ax||取值最小，进而求解a、b、c、d。
34.优选地，在步骤s4中，融合外侧环状平面和关节圆柱面的特征信息，分配不同的权重，所述外侧环状平面的权重高于所述关节圆柱面的权重。
35.优选地，测量两者的基面差评估关节安装质量的方法为：通过最小二乘法过滤每一个基面的干扰点云，用过滤后的点云拟合平面，再使用面面测量算出两者距离。
36.本发明还提供一种基于3d点云的杆件关节安装质量监控，
37.视觉设备，适于采集深度图像；
38.处理器，适于实现各种指令；
39.存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述任一项所述节能降损优化方法的步骤。
40.与现有技术相比，本发明有以下优势：
41.本发明提出了一种基于3d点云的杆件关节安装质量监控方法及装置，使用双目结构光3d相机采集深度图像，该相机将双目立体视觉测量和结构光测量两种方法相结合，在完成双相机的空间位置获取后，对获得的编码图案进行解码，从而获得物体上各点的三维数据，基于所述点云图进行点云融合及3d重建，提出基于点云法矢量差异性，大大减少了计算时间、提高了生产效率。此外平面精准调姿的偏移精度达到0.5mm，曲折角精度达到0.2
°
。
42.将视觉测量技术用于杆件关节安装质量监控方向上，通过搭载有3d相机和夹取装置的机械臂末端相互姿态变换配合，完成对杆件元件不同角度的深度图像采集，使用三维重建技术，经系统软件处理，成功得到了挤出关节元件的三维测量模型，进一步对具体区域或平面进行提取，使用点、线、面等特征计算评估关节元件的状态，进而监测和管控杆件与关节的平面压装质量。
附图说明
43.图1是本发明提供的一种基于3d点云的杆件关节安装质量监控方法的方法流程图；
44.图2是在去噪和去除干扰前相机采集的原深度图；
45.图3是在去噪和去除干扰后的深度图；
46.图4是杆件关节元件三维重建流程；
47.图5是根据法矢量一致性原则所分离的关节环状平面；
48.图6是经区域分割和点云精简后重构的关节环状平面。
具体实施方式
49.为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例，对本发明的技术方案进行清楚、完整地描述。
50.本发明提供了一种基于3d点云的杆件关节安装质量监控方法，如图1-图6所示，具体包括以下步骤：
51.s1、利用双目结构光3d相机采集深度图像；本发明使用双目结构光3d相机采集深
度图像，该相机将双目立体视觉测量和结构光测量两种方法相结合，在完成双相机的空间位置获取后，对获得的编码图案进行解码，从而获得物体上各点的三维数据。同时该相机回避了传统立体视觉中稠密匹配和编码结构光中投影仪标定2个难点，简化了对应点匹配算法的复杂度，提高了三维测量的精度；增强了算法的鲁棒性，可适应更多随时增添的杆件类型
52.s2、针对深度图像进行预处理，去除噪声；由于3d相机直接得到的图片包含噪声(椒盐噪声、高斯噪声)，以及图像包含背景等额外的信息，故从相机直接得到的点云图片不能直接用于后续的拼接和重建。本发明通过高斯滤波算法进行过滤，能有效去除图像的高斯噪声。
53.如图1和图2所示，针对图片背景等干扰信息的影响，由于直接从3d相机采集到的是深度图，即背景跟检测物的高度信息不一致，通过常规的阈值分割算法加上图像中螺纹元件的形状特征作为筛选条件，根据深度信息差异，将杆件关节与干扰点云初步分离；利用杆状关节上的关节圆环特征以及杆件平整度特性筛选出杆件点云，可以有效去除背景干扰。
54.s3、基于所述点云图进行点云融合及3d重建，提取所述杆状关节的关节环状平面的特征信息，分离出所述关节环状平面的点云数据，进行区域分隔和点云过滤，重构所述关节环状平面；按相同方法重构外侧环状平面；
55.由于杆状关节元件表面存在凹坑与复杂曲面，对于深度方向的检测精度较高，测量难度大。为了解决上述两个问题，本发明通过增加点云采集的频率来保证关节元件点云融合的准确性以及增加对于凹坑及复杂曲面测量的精度，一共通过20张点云图来重构图像元件。
56.如图3所示，具体步骤为：
57.s3.1采集若干帧点云图，进行帧间连续点云配准，获取帧间点云图的刚性变换姿态，并得到刚性变化公式；
58.s3.2定义第i帧点云图相对于第i-1帧点云图的姿态为point(i,i-1)，通过链式方程point(i,1)＝point(i,i-1)
……
point(2,1)，计算point(i,i-1)、
……
point(3,2)、point(2,1)；链式方程意思为由i(i》1)逆推到方程系数为1的一个反向排序方程组，通过所述刚性变换公式，将其余所有帧点云图变换至第1帧点云图的位置，构成点云图集合，对所述点云图集合进行和拼接，得到3d重建粗样本；
59.s3.3针对所述杆状关节上的螺纹元件的点云进行降采样，采取三角型算法进行重构，获取螺纹元件的3d图。
60.重构环状关节平面的方法为：
61.多次随机取点，计算其与所有邻域点法矢量之间的夹角是否均小于给定阈值1
°
，根据法矢量一致性原则分离出关节外侧的环状平面；
62.根据法矢量一致性原则可分离出关节外侧的环状平面，如图5所示。
63.给定目标点pi，它的邻近点的定义为：(||p
j-pi||)2≤l2；
64.式中，pj为目标点的邻近点；l为邻近点与目标点的最大欧氏距离，l的取值为1mm。
65.对所述关节环状平面特征进行信息提取，基于点云法矢量差异性原则，进行关节环状平面点云数据的精简。依次以平面点云中的各点为圆心，以1mm为半径画圆，计算圆内
所有点的法矢量夹角之差，若小于0.8
°
，则将除圆心外的点删除；若大于0.8
°
，则保留圆内的所有点。
66.该方法在精简面内数据的同时，可保留边界特征。精简前，点云数量为561433个，精简后为165148个，压缩比高达70.6％。经区域分割和点云精简后，重构了关节环状平面，如图5所示。
67.关节面往往处于相互靠近贴合的状态，难以直接测量。同时关节环状平面边界圆处的点云数量少、质量差，影响到对接关节面位姿的准确测量。因此本发明通过融合外侧环状平面和关节圆柱面的特征信息，分配不同的权重，以获取轴系面的准确位姿。
68.关节环状平面特征进行信息提取的方法为：
69.通过奇异值分解法对关节环状平面进行拟合，设定拟合平面方程为：ax+by+cz+d＝0，其中x，y，z为点的坐标值；a、b、c、d为系数，a2+b2+c2＝1；
70.求解a、b、c、d；
71.通过拟合平面方程获取所述关节环状平面的内边界圆圆心oi(xi,yi,zi)、外边界圆圆心ou(xu,yu,zu)和单位法矢量n1(a,b,c)，
72.优选地，求解a、b、c、d的方法为：
73.根据法兰环状平面点云数据的空间坐标，求得点云平均坐标
74.则
75.定义点云矩阵
76.其中限定条件为min(f(a,b,c))＝min(||ax||)；
77.对a进行奇异值分解，得：a＝udv
t
；
78.其中，u为n
×
n矩阵；d为n
×
3矩阵；v为3
×
3矩阵；
79.当且仅当时，||ax||取值最小，进而求解a、b、c、d。
80.通过融合外侧环状平面和关节圆柱面的特征信息，分配不同的权重，以获取轴系面的准确位姿。外侧环状平面相较于关节圆柱面点云质量更好，分配权重比例更大，再结合两者面积大小比例关系，一般设定比例为8:2。测量两者的基面差评估关节安装质量，来判断当前关节安装质量是否合格，通过最小二乘法过滤每一个基面的干扰点云，用过滤后的点云拟合平面，再使用面面测量算出两者距离，判断当前距离是否在合格的阈值范围内，若在阈值范围内，则说明当前的安装质量合格，若超出阈值范围，则需要重新进行安装。
81.本发明还提供一种基于3d点云的杆件关节安装质量监控，包括：视觉设备，适于采集深度图像；处理器，适于实现各种指令；存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述所述杆件关节安装质量监控方法的步骤。通过某地铁现场使用及测
试，该系统可减少作业人员约2/3，将作业时间缩短为原来的1/2。真正实现日夜交替不停工智能自动化作业。
82.以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。