1.本发明属于工业智能工件装配领域，具体的为一种工件智能引导装配中实际点云处理方法。
背景技术：
2.装配就是按照设计的技术要求实现机械零件或部件的连接，把机械零件或部件组合成机器。机械装配是机器生产中制造和修理的重要环节；在传统的工业生产与加工的过程中，机器的装配作业比其他加工作业复杂。由于所需装配的零件存在着多样性和差异性，它需要依靠人的感觉器官，来综合观察和检测零件的机械加工质量及配套情况；一般情况下，零件的质量和体积都比较微小，所以需要加工人员具有一定的观察能力和实际动手操作的能力。同时，在满足以上条件后，需要根据装配的最终技术要求，运用人的智慧和装配知识来进行判断、做出决策，并采取适合于各种情况的装配工艺措施，才能获得装配质量完好的机器；这样的装配流程大部分依托于人工的操作，使得在现代的机器生产中，装配工作占用的手工劳动量大，装配费用高，装配的生产效率低。
3.据统计，工业生产中的装配工作量占整个产品制造工作量的20％-70％，随着社会的发展和生产力的不断提高，需要一种更为方便的装配方法，从而达到解放手工劳动力，提高机械制造的生产效率的目的；所以，需要创造一种新型的装配方法来实现工件智能引导装配，即利用3d视觉识别工件，并通过自动化的手段让装配智能完成，从而提高装配的效率和精度，摆脱简单和繁重的手工装配劳动。
4.3d视觉即是通过3d摄像头能够采集视野内空间每个点位的三维座标信息，通过算法复原智能获取三维立体成像，不会轻易受到外界环境、复杂光线的影响，技术更加稳定，能够解决以往二维体验和安全性较差的问题；3d相机例如常用的激光线扫相机，双目结构光相机采集出来的数据称之为深度图、点云图。点云是在和目标表面特性的海量点集合。根据激光测量原理得到的点云，包括三维坐标(xyz)和激光反射强度(intensity)。根据摄影测量原理得到的点云，包括三维坐标(xyz)和颜色信息(rgb)。结合激光测量和摄影测量原理得到点云，包括三维坐标(xyz)、激光反射强度(intensity)和颜色信息(rgb)。在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(point cloud)。
5.点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。然而，这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。
6.在实际应用中，利用激光雷达扫描系统所获的点云数据不可避免的出现离群点、噪声点，如外界杂点干扰、工件盛放平台干扰等；实际扫描图与理想点云文件有以下区别需要现在点云处理时解决，其中包括：
7.噪声点：扫描文件生成时扫描器对环境扫描时脱离工件及扫描平台之外的点；
8.平面：盛放工件扫描平台上的平面点；
9.装配工件处在一个文件中：例如对螺丝螺母进行装配时，螺丝螺母处于同一盛放
平台上，3d扫描将螺丝与螺母扫描进同一个点云文件中，需要其进行分离；
10.扫描不完全：由于扫描器的局限性，螺丝螺母与平台接触部分无法被扫描到，造成图形不像理想点云那样规则，ransac(随机抽样一致算法)无法拟合出圆柱体，拟合效果不佳，无法进行装配工作。
11.初始的识别算法用在实际的操作之中会产生不可避免的拟合错误，从而导致无法成功完成装配，如果想要使用3d相机扫描得到的点云图对工件智能装配进行指导，那么就必须要针对实际环境中的点云图进行预处理，并且提取出其中的有用特征。
技术实现要素：
12.本发明的目的在于提供一种能够对3d点云图进行预处理，提取出其中的有效信息用于工件智能装配的点云处理方法。
13.基于上述目的，本发明采用如下技术方案：
14.一种工件智能引导装配中实际点云处理方法，包括以下步骤：
15.s1、滤波处理：统计点云图中每个点的邻域，修剪其中不符合标准的点；
16.s2、拟合平面：使用ransac对经过s1处理后的点云图中的平台平面进行拟合处理，得到合适的点云平面方程；
17.s3、分割平面：根据s2得到的点云平面方程设定合理的平面范围，分离点云图中的平台平面点云，提取出仅包含工件的点云图，并重新进行s1对点云图进行滤波；完成后的工件点云图保存在新的点云文件中；
18.s4、分离工件：对s3中得到的含有两个工件的点云文件进行欧式聚类，设置合适的阈值后分离得到两个分别包含两个不同工件的点云图，将两个工件点云图分别保存在不同的点云文件中；
19.s5、位姿变换：使用gasd算法对s4处理后的两张点云图进行装配角度及位置计算，得到两个工件的装配矩阵。
20.优选地，s1统计每个点到它所有相邻点的平均距离，其中平均距离在标准范围之外的点定义为离群点；删除点云图中的所有离群点。
21.优选地，s2中进行拟合处理时，基于平面厚度设置误差阈值，精确拟合盛放平台坐标的点云。
22.优选地，s4中采用k-d树算法对点云图中的点云进行欧式聚类。
23.优选地，s5中使用gasd算法估计出点云的参考框架，并且使用pca算法对参考框架进行计算，得出工件的质心坐标。
24.优选地，pca算法包括给定一组表示对象局部视图的3d点pi，其中i∈{1，2，
…
，n}，完成质心计算，得到质心然后由pi和计算协方差矩阵c，公式如下:
[0025][0026]
得到c得特征值λi和对应得特征向量vj，其中j∈{1，2，3}，使得cvj＝λjvj；采用与最小特征值相关的特征向量v1作为参照系的z轴；若v1与查看方向之间的角度在[-90
°
，90
°
]、
范围内，则舍弃v1；最大特征值相关的特征向量v3为参考坐标系的x轴，参考坐标系的y轴由v2＝v1×
v3计算得出；从所述参照系中，计算一个与正则坐标系对齐的转换[r|t]，用[r|t]转换局部视图中的所有点，定义如下:
[0027][0028]
使用参考帧对点云进行对齐，并计算出一个位姿不变的全局形状描述符；以原点为中心的点云轴向对齐的边界立方体被划分为ms×ms
×ms
规则网格，对于每个网格单元，计算带有lsbin的直方图；若ls＝1则每个直方图bin将在3d规则网格中存储属于对应单元格的点数，并且计算每个单元格与云质心之间归一化距离的直方图；每个样本对直方图的贡献根据云中的总点数进行标准化，通过连接计算得到的直方图获得描述符。
[0029]
本发明的有益效果有：
[0030]
本发明针对通过3d摄像机拍摄到的工件点云图进行预处理，优化了实际点云图中存在的诸多噪声点、离群点和孔洞等；由于噪声点主要集中于离盛放平台较远的位置，所以采用统计滤波处理点云文件，将远离盛放平台及工件的噪声点从点云数据中分离出去，得到只剩下表示工件及盛放平台的点。
[0031]
本发明采用ransac对点云数据中表示平台的点进行拟合处理，将不属于工件的数据分离出来；由于经过了滤波预处理之后的文件中主要的外界器件为平台，而平台的大小及形状容易确定，因此可以叫方便的通过ransac得到合适的点云平面方程；同时考虑到扫描误差，平台上的点不可能完全理想的存在于同一平面上，因此会根据经验设置阈值，保证工件点云被最大程度分离出来的情况下，取出盛放平台的坐标点云。
[0032]
本发明在将点云图中的平台坐标分离之后，仍需要将两个工件的点云进行分离；本发明采用k-d树算法对两个工件的点云进行欧式聚类，将点云图中的两个工件点云进行分离，并且分别保存为两个不同的点云图；后续工序可以直接对两个单独的工件点云进行分析处理，免除了原始点云图中存在的诸多问题，大幅提升了利用点云图对工件装配进行智能引导时的可靠性与准确性。
[0033]
本发明还利用了gasd算法基于工件位姿，从工件实际质心及对称性出发，对工件装配角度进行计算，按照两个需匹配的工件实际装配需求对其进行旋转及平移变换，得到两个工件的装配矩阵，并且将其应用到实际装配识别中；这样处理可以保证匹配算法的通用性，同时满足数据分析的普遍性，使处理后的点云图可以直接应用在实际装配中。
附图说明
[0034]
图1为实际扫描点云文件深度图；
[0035]
图2为盛放平台上的螺母深度图。
具体实施方式
[0036]
以下为结合附图与具体实施例对本发明做出的进一步解释说明。
[0037]
本实施例旨在对通过3d视觉收集到的工件点云图进行预处理，使其符合装配识别的要求，便于对工件进行智能装配；本实施例中以盛放在平台上的一对螺母螺丝为例，针对实施例中涉及到的具体案例，本实施例使用的实际点云处理方法其具体步骤如下：
[0038]
s1、滤波处理：统计点云图中每个点的邻域，修剪其中不符合标准的点；
[0039]
s2、拟合平面：使用ransac对经过s1处理后的点云图中的平台平面进行拟合处理，得到合适的点云平面方程；
[0040]
s3、分割平面：根据s2得到的点云平面方程设定合理的平面范围，分离点云图中的平台平面点云，提取出仅包含工件的点云图，并重新进行s1对点云图进行滤波；完成后的工件点云图保存在新的点云文件中；
[0041]
s4、分离工件：对s3中得到的含有两个工件的点云文件进行欧式聚类，设置合适的阈值后分离得到两个分别包含两个不同工件的点云图，将两个工件点云图分别保存在不同的点云文件中；
[0042]
s5、位姿变换：使用gasd算法对s4处理后的两张点云图进行装配角度及位置计算，得到两个工件的装配矩阵。
[0043]
s1为对点云图进行滤波处理；在本工件装配中滤波操作是为了去除在实际扫描中会出现的空间杂点，并且简化后续处理步骤和保证点云文件可以正常分离成两个工件的点云文件；本实施例中采用统计滤波的方式对点云数据进行滤波操作，统计滤波可以对每个点的邻域进行一个统计分析，并且修剪掉一些不符合标准的点，其具体方法为：在输入数据中对点到临近点的距离分布的计算，对每一个点，计算它到所有临近点的平均距离(假设得到的结果是一个高斯分布，其形状是由均值和标准差决定)，那么平均距离在标准范围之外的点，可以被定义为离群点并从数据中去除，在本实施例中中，噪声点主要集中在离盛放平台较远的位置，因此选择使用统计滤波处理点云文件，将点云文件中的点范围限制在盛放平台及工件周围。
[0044]
经过试验及调整，由于点云数量级较大，达到了十万级，因此设置临近点数为100，阈值为50个单位的标准差；经过这样的滤波，点云文件内只剩下表示工件及盛放平台的点；如图1所示，远离平面的区域有噪声点(图1中红色点)，操作完成后，远离盛放平台的噪声点被去除，可以进行下一步操作。
[0045]
s2和s3为平台的拟合与分割；在点云处理中，会出现所需点云与环境中其他器件一起被扫描的情况，如盛放平台、机械臂等；为了能够对点云进行更好的操作及实验，需要将该部分点云通过一定的人为经验和机器视觉信息过滤删除；而由于该部分点云往往与所需点云相“粘连”，因此需要对其他期间进行拟合，以确定其所在空间位置范围，进而对该部分点云进行滤波处理；在本文件中，主要的外界器件为盛放平台；由于平台的大小及形状很好估计，因此使用ransac对平台平面进行拟合处理，得到合适的点云平面方程；同时考虑到扫描误差，平台上点不可能完全理想的存在于同一平面上，因此需要根据经验设置阈值，在保证工件点云被最大程度分离出来的情况下，去除盛放平台坐标点云。
[0046]
去除噪声点后，需要分离盛放平台上的点；由于该平面与工件紧密接触，因此无法用简单的统计滤波去除；同时由于该平明具有一定的几何规律，因此利用该规律，使用ransac分离平面，并根据平面厚度调整平面阈值，最终得到平面拟合最佳方程；拟合出合理平面范围后，将拟合出的平面根据公式及阈值设定范围，提取出该范围内并进行再次滤波，
同时将新点云存储在新的点云文件中。
[0047]
s4旨在对同一个点云文件中的两个工件进行分离，如图2所示，图2即为完成工件分离后的螺母深度图；本实施例中采用k-d树进行欧式聚类的方式对两个工件的点云进行归类分离；k-d树(kd-tree)是k维树的简称，它是k维空间中被log数据点划分的一种数据结构；kd树是一种平衡二叉树，为了有效地找到最近的邻居，kd-tree采用了分治的思想，将整个空间分成几个小的部分；k-d树算法的应用可分为两个方面，一方面，算法关于k-d树本身数据结构的建立；另一方面则是关于如何在建立的k-d树中进行最近邻搜索的算法。
[0048]
k-d树是一种二叉树，每个节点都是一个k维的数值点，它上的每个节点代表一个超平面，该超平面垂直于当前维度划分的坐标轴；在这个维度中，空间被分为两部分，一部分在左子树中，另一部分在右子树中；也就是说,如果当前节点的划分维度是d，所有点的坐标值左子树在d维度都小于当前值，与所有点的坐标值右子树在d维度都是大于或等于当前值,这个定义是有效的任何子节点；构造前，比较各维度数据点的分布情况；数据点在一个维度上的坐标值方差越大，分布越分散，方差越小，分布越集中；从方差较大的维度开始分割可以达到很好的分割效果和平衡；对于欧氏聚类，距离判断标准为上述欧氏距离；在空间某点p,pk点接近可以通过k-d树找到最近邻搜索算法，与这些点的距离小于阈值的点将被聚集到集合问；如果问的元素数量不增加，整个聚类过程结束；否则，必须在集合q中选择除p以外的点，并重复此过程，直到q中的元素个数不增加。
[0049]
通过以上操作，可以完成点云文件预处理，将文件中的装配工件分离并输出为两个点云文件；分离出来的文件的点云数目及分布均匀性均比理想文件小，因此较难通过ransac拟合圆柱体进而进行装配变换；为了解决这个问题，本实施例使用了gasd位姿变换算法对工件的装配进行处理，最终能够得到预ransac圆柱拟合一样的空间效果。
[0050]
s5为工件的位姿变换设置，为了保证匹配算法的通用性，同时满足数据分析的普遍性，从工件实际质心及对称性出发，利用gasd算法基于工件位姿进行工件装配角度计算及位置，进而对两个需匹配的工件的实际装配需求进行旋转及平移变换，最终的得到两工件的装配矩阵，并可以将本矩阵应用到实际装配识别中。位姿变换的本质即是将工件先与坐标轴“对齐”，然后根据实际需要再33对工件位姿进行调整以达到装配目的。
[0051]
全局对齐空间分布(gasd)是用于有效的目标识别和姿态估计的一种点云空间算法；gasd基于表示对象实例的整个点云的参考框架的估计，该参考框架用于将其与标准坐标系对齐；然后，根据对齐后的点云三维点的空间分布计算描述子；该描述符还可以扩展到整个对齐点云的颜色分布，利用匹配点云的全局对齐变换计算目标姿态。
[0052]
全局对齐空间分布(globalalignspatialdistribution，简称gasd)全局描述方法以表示给定对象局部视图的三维点云作为输入，第一步是估计点云的参考坐标系，这允许一个变换将它与要计算的正则坐标系对齐，从而使描述符保持不变；对齐后，根据三维点的空间分布计算点云的形状描述符；为了获得高分辨率的形状和颜色描述子，还可以考虑沿点云的颜色分布；然后通过匹配部分视图的查询和火车描述符来执行对象识别；通过对训练后的局部视图的查询和对齐变换进行匹配，计算出每个识别目标的姿态。
[0053]
再采用主成分分析法(pca)对参考框架进行估计；给定一组表示对象局部视图的3d点pi，其中i∈{1，2，
…
，n}；完成质心计算，得到质心然后由pi和计算协方差矩阵
c，如下:
[0054][0055]
然后，得到c得特征值λi和对应得特征向量vj，j∈{1，2，3}，使得cvj＝λjvj；考虑到特征值按升序排列，采用与最小特征值相关的特征向量v1作为参照系的z轴；若v1与查看方向之间的角度在[-90
°
，90
°
]、范围内，则舍弃v1；这确保z轴始终指向视点方向；参考坐标系的x轴是与最大特征值相关的特征向量v3；y轴由v2＝v1×
v3给出；从参照系中，可以计算一个转换[r|t]，使它与正则坐标系对齐；然后用[r|t]转换局部视图中的所有点，定义如下:
[0056][0057]
一旦使用参考帧对点云进行对齐，就可以从中计算出一个位姿不变的全局形状描述符；以原点为中心的点云轴向对齐的边界立方体被划分为ms×ms
×ms
规则网格；对于每个网格单元，计算带有lsbin的直方图；如果ls＝1则每个直方图bin将在3d规则网格中存储属于对应单元格的点数；如果，则计算每个单元格与云质心之间归一化距离的直方图；每个样本对直方图的贡献根据云中的总点数进行标准化；可选地，插值可用于将每个样本的值分布到相邻的单元格中，以避免当样本从一个单元格内移动到另一个单元格时，可能导致直方图突变的边界效应；然后通过连接计算得到的直方图获得描述符。
[0058]
经过以上变换，可以将装配工件质心对齐，进而根据实际装配需求，将工件进行旋转平移变换，接的得到工件的合理装配坐标变换。
[0059]
以上所述，仅为结合具体实施例对本发明进行的详细说明，而并非是对本发明所做出的限定，任何本领域技术人员在本发明所披露的范围内，所能够轻易想到的变化或者替换方案，都应涵盖在本发明申请的保护范围内，因此，本发明保护范围应当以权利要求中所记述的保护范围为准。