基于点云三维重构的复杂轮廓缺陷校验方法与流程

1.本技术涉及一种点云复杂轮廓缺陷校验方法，特别涉及一种基于点云三维重构的复杂轮廓缺陷校验方法，属于点云复杂轮廓缺陷校验技术领域。


背景技术：

2.随着高精度激光扫描设备进入商用领域，基于点云的缺陷校验技术在产品缺陷校验领域逐渐成为主流的缺陷检测和质量保证手段。采用激光扫描点云校验零部件缺陷，可靠性高，无需清除部件表面的油脂、灰尘和保护层，即可在不拆卸和不破坏当前结构的前提下，实现零部件的原位化缺陷校验。因此，开展基于点云三维重构进行零部件缺陷校验对保证机械安全具有现实意义和巨大的应用价值。
3.基于三维重构的轮廓缺陷校验是采用与理想模型对比的原则，运用激光扫描设备获得待校验目标的点云，通过重构目标的三维模型来取代待校验目标的实际模型，然后将重构得到的待校验物体三维模型与其标准模型对齐，计算对应点上的偏差程度，获得校验结果，这种校验方法对三维模型的缺陷校验十分有效。
4.特别的，现代工业产品为了追求在审美、空间结构及空气动力学等方面的突破和提高，其表面结构日益复杂。尤其是在汽车、飞机、造船、服装和玩具等设计制造领域，为获得更好的产品质量和性能，产品的外轮廓也越来越复杂。复杂轮廓被越来越广泛的应用于坯料外形的计算、设计及纠错，而具有复杂拓扑结构的工业产品轮廓往往包含着丰富的特征，复杂的轮廓结构不仅使得产品的坯料计算工作变得越来越复杂和繁琐，而且对产品的质量控制和轮廓缺陷校验带来了困难和挑战。
5.复杂轮廓通常表现为：一是轮廓几何形状的多样性；二是镀层种类的多样性；三是随机缺陷的不确定性。复杂轮廓的以上特性，为复杂轮廓的缺陷校验工作带来了极大困难，使得现有技术的点云校验方法难以取得较好的校验效果。在技术上，主要表现为以下问题：一是复杂轮廓物体的点云拓扑结构复杂，点云数据量大，为点云前置处理带来极大困难；二是复杂轮廓物体的点云表现为无效点及错误点数量极大，对多视角点云数据配准形成巨大挑战；三是复杂轮廓物体的三维点云拓扑结构复杂，适用于简单轮廓的点云曲面重构方法在复杂轮廓曲面重构上效果不佳；四是复杂轮廓物体的缺陷表现为多样性和隐蔽性，缺陷校验的精度及鲁棒性无法得到保证。
6.激光扫描点云三维重构法在目标轮廓缺陷校验领域表现出诸多优势，并且逐渐成为该领域的主流方法。对于复杂轮廓的缺陷校验，由于其几何形状的多样性、镀层种类的多样性、随机缺陷的不确定性等特征，一直是困扰其轮廓缺陷校验的瓶颈。由于复杂轮廓的曲面拓扑结构复杂，轮廓重构难度大，给复杂轮廓的缺陷校验工作带来了极大困难，使得现有技术的方法难以取得较好的校验效果。基于点云三维重构法的复杂轮廓缺陷校验过程包括点云前置处理、点云配准、点云曲面重构和缺陷校验四个步骤，每个步骤的输出作为下一个阶段的输入，都直接影响整个校验结果的质量。然而，在处理复杂轮廓点云时这些步骤都还有待完善和改进，复杂轮廓的缺陷校验还未取得令人满意的效果。
7.复杂轮廓缺陷校验存在诸多难点：
8.首先，在点云前置处理阶段。一方面，基于ransac的点云前置处理算法中误差临界值的选择对点云前置处理效果影响较大，而现有技术的方法的误差临界值的选择完全依靠经验，缺乏参考，影响算法的计算精度；另一方面，从候补点集中抽取点的次数对点云前置处理影响大，它直接影响了从候补点集中抽取点参加模型参数计算的校验次数；
9.其次，在点云配准阶段，为实现基于几何特征的icp两级配准，在原始配准阶段，复杂轮廓点云几何特征提取与计算将直接影响构建原始对应点对集合的有效性，构建原始对应点对集合筛选的几何收敛条件，是保证原始对应点对集合的准确性的关键。在精细配准阶段，迭代最近点的选取法直接影响复杂轮廓点云配准的准确性和效率，现有技术及改进的迭代最近点选取法都没有考虑复杂轮廓的特殊情况，造成迭代最近点无法真实反映真实模型的对应情况，需要根据复杂轮廓的现实情况对迭代最近点进行优化改进，保证配准的精度；
10.再次，在复杂轮廓曲面重构阶段，一方面，现有技术没有给出控制顶点方程组迭代收敛性的证明，无法指导细分曲面过程的快速收敛；另一方面，现有技术进行细分曲面的方法都存在迭代速度过慢、盈亏更新迟缓、无法根据复杂轮廓点云的局部剧烈变化迅速做出反应等问题；
11.最后，在缺陷校验阶段，一方面，由于重构得到的物体三维模型与其标准模型处于不同坐标系中，为实现对待测三维模型的缺陷校验，需将两者配准至同一坐标系下。另一方面，基于nns的三维模型缺陷校验方法使用固定距离临界值来选择最近邻点，对于复杂轮廓，这种方法往往校验精度不高，无法根据点云不同曲面的变化情况对最近邻点选择过程中的距离临界值进行自适应地更新，以上都是复杂轮廓缺陷校验迫切需要解决的问题。
12.本技术待解决的问题主要集中在以下方面：
13.第一，ransac点云前置处理需要解决以下难题：一是ransac点云前置处理算法中误差临界值的选择对点云前置处理效果影响较大，而现有技术方法的误差临界值的选择完全依靠经验，缺乏参考；二是从候补点集中抽取点的次数对点云前置处理影响大，它直接影响了从候补点集中抽取点参加模型参数计算的校验次数；三是当得到正确的参数模型时，为力求模型的正确性，要求一致性点集的点数足够大，以免发生过采样无法表征点云轮廓的细节信息；
14.第二，为实现基于特征收敛的两级配准算法配准，需要解决以下两个难题：一是在原始配准阶段，提取最能反映复杂轮廓点云曲面变化的几何特征集是构建有效原始对应点对集合的关键；二是在精细配准阶段，良好的迭代最近点选取法是保证icp算法配准精度的关键；
15.第三，为实现复杂轮廓的高精度快速三维重构，需要解决细分曲面方法中的两个问题：一是给出细分曲面控制顶点方程组迭代收敛性的证明，指导细分曲面过程的快速收敛；二是细分曲面重构方法需要对轮廓局部变化剧烈的点云及轮廓存在孔洞的点云，都要取得较好的曲面重构效果；
16.第四，为实现待校验目标的缺陷校验，需要解决以下两个问题：一是由于重构得到的物体三维模型与其标准模型处于不同坐标系中，需将两者配准至同一坐标系下，构建三维坐标系到二维坐标系的映射方程，是基于旋转图像的三维模型配准需要解决的关键；二
是基于nns的三维模型缺陷校验方法使用固定距离临界值来选择最近邻点，需要研究一种距离临界值更新策略，使得距离临界值随曲面变化进行自适应更新，实现复杂轮廓缺陷的快速精细校验。


技术实现要素：

17.本技术对点云前置处理、配准、曲面重构和缺陷校验方法进行改进，不仅优化复杂轮廓点云的快速精细三维重构，而且在复杂三维模型的缺陷校验方面取得了重要进展，实现了三维模型缺陷的自动校验和可视化。第一，在点云前置处理方面，改进的ransac点云前置处理方法不仅能够实现滤波采样，还能分离离群点，与改进前相比具有更好的处理效果；第二，在点云配准方面，经过本技术提出的基于特征收敛的两级配准过程，无论是在配准精度还是配准效率上，都有较大提高；第三，在点云曲面重构方面，本技术提出的协同宽和法不仅提高了拟合精度，而且加快了迭代的收敛速度，与现有技术的方法相比在各性能指标方面都有大幅改善和提高，尤其是针对复杂曲面，取得了比其它方法更好的曲面重构效果；第四，在缺陷校验方面，距离临界值更好的适应曲面拓扑结构的变化，更好的反映待校验点所在区域特性，提高缺陷点的识别精度；同时，对缺陷点进行限制，消除因计算和三维重构而导致的孤立缺陷点，使得缺陷点符合区域聚集特性，将假缺陷点滤除，进一步提高缺陷校验的精度。
18.为实现以上技术特征，本技术所采用的技术方案如下：
19.基于点云三维重构的复杂轮廓缺陷校验方法，对点云前置处理、配准、曲面重构和缺陷校验方法进行改进，不仅优化复杂轮廓点云的快速精细三维重构，而且实现三维模型缺陷的自动校验和可视化：
20.第一，在点云前置处理方面，采用改进的ransac点云前置处理：对ransac算法进行两点改进，在进行原始采样时，采用有收敛的随机采样方法抽取原始点集，取代现有技术的方法完全依赖随机抽样的方法带来的缺陷；根据一致性采样点集得到新的模型，将原始点集中所有与新模型间的误差小于误差临界值的样本加入一致性采样点集，然后重新计算，增加从候补点集中抽取点参加模型参数计算的校验次数，提高模型准确性；
21.第二，在点云配准方面，采用基于特征收敛的两级配准：对两级点云配准算法中的两个步骤分别进行了改进，在原始配准阶段，提出基于固定刚体变换的原始对应点对集合校验方法，对基于几何特征的原始对应点对集合进行校验，提高对应点对集合的准确性；在精细配准阶段，根据复杂轮廓中三角面片的变化特性对icp算法中的最近点选取法进行改进，提高对应最近点匹配的准确性；
22.第三，在点云曲面重构方面，采用基于协同宽和法的细分曲面重构：通过反证法证明细分曲面方程的收敛性，加快细分曲面重构的迭代收敛过程，基于收敛的上下界，提出一种基于协同宽和法的细分曲面重构方法，给出细分曲面误差公式，对控制网格顶点盈亏更新策略进行改进，提高曲面重建的精度和速度；
23.第四，在缺陷校验方面，采用自适应临界值调整的三维模型缺陷校验：对距离临界值的计算及缺陷点的界定两个方面进行改进，提出一种基于自适应距离临界值的k-d树nns算法进行三维模型的缺陷校验的方法：以待校验点与标准模型中最近邻点的邻域之间的距离对原始距离临界值进行自适应更新，使得距离临界值更好的适应曲面拓扑结构的变化，
更好的反映待校验点所在区域特性，提高缺陷点的识别精度；同时，对缺陷点进行限制，消除因计算和三维重构而导致的孤立缺陷点，使得缺陷点符合区域聚集特性，将假缺陷点滤除，进一步提高缺陷校验的精度。
24.基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，改进的ransac点云前置处理：在从三个方面对ransac点云前置处理方法进行改进：
25.(1)第一方面，在进行原始采样时，根据目标点云的特征采用有收敛的随机采样方法抽取原始点集{xi,i＝1,
…
,m}，取代依赖随机抽样抽取原始点集的方法，保证采样的准确性，加快模型的迭代；
26.(2)第二方面，当根据一致性采样点集sc得到新的模型ms后，将原始点集{xi,i＝1,
…
,m}中所有与模型ms间的误差小于a的样本加入一致性采样点集sc，增加参加模型计算的点数，然后重新计算模型ms；
27.(3)第三方面，根据模型特性确定误差临界值a，采用不属于点云的点来模拟外点，并将这些模拟外点带入模型s中，计算这些模拟外点与模型的均方误差d，以此作为误差临界值，即a＝d；
28.原始点集{xi,i＝1,
…
,m}组成的模型s用数学表达式f(xi),i＝1,
…
,r来表示，候补点集{zi,i＝1,
…
,n-m}中的所有点与模型ms的均方误差为：
[0029][0030]
其中，令误差临界值：
[0031][0032]
则一致性采样误差为：
[0033][0034]
其中采样截止条件为：
[0035]
e≤a
ꢀꢀꢀ
式4
[0036]
即一致性采样误差e小于等于误差临界值a。
[0037]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，改进的ransac点云前置处理步骤具体为：
[0038]
步骤一：对于点云c，将其看做点集{ci,i＝1,
…
,n}，根据点云c的特征选择采样方法从点集{ci,i＝1,
…
,n}中抽取m个点组成原始点集{xi,i＝1,
…
,m}，剩余点集成为候补点集{zi,i＝1,
…
,n-m}；
[0039]
步骤二：采用原始点集{xi,i＝1,
…
,m}根据点的分布计算得到原始概率分布模型s，采用不属于点云的点来模拟外点，并将这些模拟外点带入模型s中，计算这些模拟外点与模型的均方误差b，取误差临界值a＝d；
[0040]
步骤三：求候补点集{zi,i＝1,
…
,n-m}中符合原始模型s的点，并与原始点集{xi,i＝1,
…
,m}构成一致性点集sc；
[0041]
步骤四：采用得到的一致性点集sc计算得到新的模型ms，并基于新得到的模型ms对点云c再次进行随机采样，得到更新后的点集{mxi,i＝1,
…
,r}；
[0042]
步骤五：从候补点集{mzi,i＝1,
…
,n-r}中继续抽取点，重复步骤三和步骤四，当满足式e≤a时，停止继续采样，否则选择得到的最大一致性点集作为结果，并根据当前模型来分离内点和外点，将外点删除。
[0043]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，基于固定刚体变换的原始对应点对集合校验：包括对应点对距离收敛模型和超线段几何收敛条件，采用基于固定刚体变换的近似度收敛模型：对应点对距离收敛与超线段几何收敛，对原始对应点对集合ndqrc进行校验和筛选，保证对应点对集合的准确性。
[0044]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，对应点对距离收敛模型：根据刚体变换距离不变性，第一片点云中两个正确对应点之间的距离与第二片点云中两个正确对应点之间的距离相等，即：
[0045][0046]
其中，dist(
·
)为任意两点的欧氏距离，对应点对距离收敛模型中，点与点为两片点云中的一组原始对应点，点与点为两片点云中的另一组原始对应点，点与点点与点间的距离分别为当成立时，这两对原始对应点对符合距离收敛条件；
[0047]
设b＞0，对任意原始对应点对定义最终对应点对集合为
[0048]
式5的距离收敛转化原始对应点对集合校验模型：
[0049][0050]
此外，原始对应点对的校验还基于以下假设：若是正确的对应点对，那么匹配数组ndqrc中的绝大部分元素都应该属于最终的对应点对集合设参数e4＞0，则有：
[0051][0052]
其中，表示集合中的元素个数，收敛条件表明：点对为正确对应点对的前提是第一片点云中的对应点与第一片点云中的剩余其它对应点之间的距离第二片点云中的对应点与第二片点云中剩余其它对应点之间的距离所有的距离都应该满足式7的收敛，如果点对不满足式6或者式7，则此点对未通过距离收敛的校验，需将其从原始匹配数组ndqrc中滤除。
[0053]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，超线段几何收敛条件
[0054]
三维空间中两片点云中分别依次连接ndqrc中对应点及对应点连接的超线段记为h1，连接的超线段记为h2，记超线段的长度为distci、超线段的曲率角度为gi、超线段的挠度角度为ti，三者由下式计算得到：
[0055][0056]
其中，fi＝p
i+1-pi，ei＝(fi×fi+1
)/(|fi||f
i+1
|)，distci、gi、ti均为刚体变换不变量,设：
[0057][0058]
定义：
[0059][0060]
式中b1、b2、b3分别为可影响到的刚体变换不变量distci、gi、ti的指标构成的指标集合，表征对应点对对其顺次连接得到的两条超线段h1及h2的长度distci、挠度角度ti及曲率角度gi的作用，给定临界值e5＞0，若对应点对与满足：
[0061][0062]
匹配数组中的所有对应点构成的超线段的长度distci、曲率角度gi和挠度角度ti满足超线段收敛条件，若点对不满足式11所示的超线段收敛模型，则将此点对从对应点对集合ndprc中删除；
[0063]
通过基于固定刚体变换的原始对应点对集合收敛及校验方法，对原始对应点对集合ndprc进行验证和筛选，为原始配准参数估算的准确性提供保障。
[0064]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，基于改进最近点选取法的精细配准：对于原始配准后的点云c
1*
子集中的所有非平面点，即曲率不为零的点，在原始配准后的另一片点云c
2*
中选择与其曲率相近的点，构成icp算法的原始对应点集q(q∈c
1*
)和z(z∈c
2*
)：
[0065]
q＝{qi|qi∈c
1*
,i＝1,
…
,mq}，z＝{zi|zi∈c
2*
,i＝1,
…
,mz}
ꢀꢀꢀ
式12
[0066]
算法关键是检索待配准点集z中与待配准点集q中任意一点q(q∈q)距离最近的点z，此点就是点q的对应点；
[0067]
本技术进行以下改进：计算待配准点集z中所有点与待配准点集q中点q间的距离，取其中距离最小的三个点，分别记为z1、z2、z3，这三个点构成的三角面片记为g，计算三角面片g中的所有点到点q的距离，其中距离最小的点记为qc，那么点qc就是所求的与点q相对应的最近点，特别指出：点qc是z1、z2、z3构成的三角面片g中的点，这个点同时也是点集z中的点，最近点qc不一定是z1、z2、z3三点中的任意一点，而是三角面片g内部所有点中距离点q最
近的点，这种改进避免了最佳最近点qc处于三角面片g所组成的封闭曲面外部的情况，在最大程度上保证了最近点的可靠性；
[0068]
qc按以下方法计算得到：如果记mg为由z1、z2、z3三点组成的三角面片g的单位法向量，qz为点集q中的点q到点集z中的三角面片g所在平面的垂足，且qz＝q-a
·
mg，其中a＝mg·
(q-z1)，计算qz关于g的重心坐标(k,m,n)，若k＞0,m＞0,n＞0，则说明垂足qz位于g内部，那么qc＝qz；否则垂足qz位于g外部，qc位于g的顶点z1、z2、z3上或者在由三个点组成的三条边上，此时，令：
[0069]hi
＝|z
i+1-zi|，bi＝|z
i+1-zi|/hi，ui＝q
z-zi，hb＝ui·bi
ꢀꢀꢀ
式13
[0070][0071]
则有：
[0072][0073]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，改进的最近点选取法具体步骤为：
[0074]
第一步：在待配准点集z中寻找与另一待配准点集q中的点q最近的三个点，分别记为z1、z2、z3，由这三点构成的三角面片，记为g；
[0075]
第二步：寻找一条过点q且垂直于g所在平面的直线，垂足记为qz；
[0076]
第三步：计算重心(k,m,n)，并按照以下步骤来判断最佳点的位置：
[0077]
(1)如果(k,m,n)的三个坐标满足k＞0,m＞0,n＞0，说明最佳最近点位于三角面片g的内部，此时取qc＝qz；
[0078]
(2)如果不满足k＞0,m＞0,n＞0，那么垂足qz位于g外部，此时qc位于g的顶点z1、z2、z3上或者在由三个点组成的三条边上，此时按照式13、式14和式15来判断点qc位于哪个点或那条边上；从而求得最近点qc，保证点qc永远在点z1、z2、z3组成的三角面片g的内部；
[0079]
第四步：针对对应点对集合上的所有点，采用上述步骤得到对应的最近点qc，并采用得到的最近点对集合来计算变换矩阵，实现两片点云的精细配准。
[0080]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，基于协同宽和法的细分曲面重构：细分曲面是对点云p进行三角网格化，得到三角网格r，求三角网格r的控制网格n，通过循环迭代使得控制网格n顶点的细分极限位置与三角网格r的顶点重合，使得细分后的三角网格更逼近于目标模型轮廓，实现复杂轮廓的精细重构，对曲面进行多次细分，获得更加精细的三角网格模型；
[0081]
定义顶点的误差函数为：
[0082][0083]
其中，zi为控制网格n的顶点，ui为三角网格r的顶点，上标∞表示逼近，i为系数；
[0084]
基于协同宽和法的细分曲面重构方法具体步骤为：
[0085]
第1步：对点云p进行三角剖分得到三角网格r，其顶点为{ui}；
[0086]
第2步：令即控制网格n
(0)
的顶点z
i(0)
取r的顶点{ui}作为初始值；
[0087]
第3步：设误差临界值为e(e＞0)，经过w次迭代后顶点的误差更新为：当b
(w)
＜e时，转到第5步，否则继续执行第4步；
[0088]
第4步：如果不满足误差方程迭代截止条件，对于迭代w次后得到的控制网格n
(w)
中的每个点按以下步骤进行盈亏更新：
[0089]
第4.1步：对控制网格n
(w)
中的每个顶点zi，进行盈亏更新，并将更新后的顶点z
i*
带入误差方程，如果b
(w)
＜e，转到第5步，否则令zi＝z
i*
，将顶点更新后执行第4.2步；
[0090]
第4.2步：对控制网格n
(w)
中的每个顶点zi，进行盈亏更新，并将更新后的顶点z
i*
带入误差方程，如果b
(w)
＜e，转到第5步，否则令zi＝z
i*
，将顶点更新后执行第4.1步；
[0091]
经过第4步得到更新后的控制网格n
(w+1)
，转入第3步继续进行误差判断；
[0092]
第5步：得到顶点{z
i(w)
}及控制网格n
(w)
。
[0093]
基于点云三维重构的复杂轮廓缺陷校验方法，进一步的，自适应临界值调整的三维模型缺陷校验：配准后的两个三维模型处于同一坐标系下，待校验三维模型存在缺陷的部分表现为与标准模型的同一部位存在差异，根据这一特性提出一种基于改进最近邻点检索策略进行三维模型缺陷校验的方法，对基于k-d树nns三维模型缺陷校验算法进行以下改进：
[0094]
改进一：将nns算法中的固定临界值采用对应点的k邻域距离均值与最近点距离间的变化值构成的自适应距离临界值来取代；
[0095]
改进二：采用缺陷三角面片的聚集效应对三角面片的缺陷属性二次进行校验，提出一种基于自适应临界值的k-d树nns算法三维模型缺陷校验方法，具体步骤为：
[0096]
步骤1：设定距离临界值初始值为e0，将待校验三维模型中三角网格的顶点标记为cifmi＝0，缺陷点临界值为n；
[0097]
步骤2：采用k-d树法检索待校验三维模型与其标准模型参考点的最近邻点，记为(ai,aj)；
[0098]
步骤3：计算所得最近邻点对之间的距离，记为aic
i,j
，其中，i为待校验三维模型上的点，j为其标准三维模型上的点；
[0099]
步骤4：若aic
i,j
＞e0，则待校验三维模型中的点i为疑似缺陷点，计算点i到点j的k邻域的距离均值dia
i,j,k
，令：
[0100][0101]
则有：
[0102]
e＝e0+δe
ꢀꢀꢀ
式18
[0103]
实现距离临界值根据三维模型轮廓局部曲面的变化进行自适应更新；
[0104]
步骤5：如果aic
i,j
＞e，则将点i标记为cifmi＝1，否则继续检索剩余点对，直到所有的点对都被检索完；
[0105]
步骤6：计算待校验三维模型中被标记为cifmi＝1的所有顶点组成的区域面积cixbm，若cixbm＞n，则说明缺陷区域所包含的点数大于缺陷点临界值n，不属于区域m的点标记更新为cifmi＝0，通过聚类法排除孤立存在的缺陷点，这些缺陷点是计算精度和三维模
型重构引起的假缺陷点；
[0106]
步骤7：待校验三维模型中标记为cifmi＝1的点所在三角形组成的区域就是待校验模型存在缺陷的部分。
[0107]
与现有技术相比，本技术对基于三维模型的复杂轮廓缺陷校验技术进行改良，给出了三维重构及基于三维模型进行缺陷校验的详细过程，并将此方法应用到复杂轮廓的缺陷校验中，实现了复杂轮廓三维模型的重构及复杂轮廓缺陷部分的分割提取和可视化。
[0108]
本技术的创新点和优势在于：
[0109]
第一，在点云前置处理方面：对ransac点云前置处理方法进行了两点改进：一方面，采用有收敛的随机采样方法抽取原始点集，取代完全依赖随机抽样进行原始采样的方法，保证原始采样的完整性；另一方面，在模型计算的过程中，增加从候补点集中抽取点参加模型参数计算的校验次数，提高了模型准确性；
[0110]
第二，在点云配准方面：一方面，通过点云几何特征集，使得在不降低配准精度的前提下，通过寻找特征点对和排除错误点对的方法减少原始配准的复杂度；另一方面，引入基于三维固定刚体变换的点对匹配收敛条件，对原始对应点进行筛选，保证对应点对的精度；最后，对icp配准中的迭代最近点选取法进行改进，保证最近点对匹配的正确性，提高配准精度；
[0111]
第三，在点云重构方面：提出一种基于细分曲面收敛特性及误差更新策略的复杂轮廓高精度快速曲面重构方法，对细分曲面控制顶点方程组的迭代收敛性进行了理论证明，根据细分曲面过程的收敛特性，加速细分曲面迭代收敛，提出一种盈亏更新策略，并得到理论上的最优细分曲面；
[0112]
第四，在缺陷校验方面：基于旋转图像法进行三维模型配准，提出了一种基于自适应距离临界值的k-d树nns三维模型缺陷校验方法，使得距离临界值能够反映复杂轮廓不同曲面拓扑结构的变化，提高缺陷点的识别精度。同时，对缺陷点的判断进行了限制，根据缺陷点符合区域聚集特性，滤除因计算误差导致的错误孤立缺陷点，提高缺陷校验的精度和鲁棒性。
附图说明
[0113]
图1是本技术对应点对距离收敛模型示意图。
[0114]
图2是本技术超线段几何收敛结构示意图。
[0115]
图3是超线段几何收敛条件的指标的集合b1、b2、b3示例图。
[0116]
图4是最近点选取策略示意图。
[0117]
图5是改进的最近点选取策略示意图。
[0118]
图6是基于协同宽和法的细分曲面示意图。
[0119]
图7是本技术四组标准测试点云的缺陷校验过程和效果图。
[0120]
具体实施方法
[0121]
下面结合附图，对本技术提供的基于点云三维重构的复杂轮廓缺陷校验方法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本技术并能够予以实施。
[0122]
复杂轮廓具有的几何形状多样性、镀层种类多样性、随机缺陷不确定性等特征为缺陷校验工作带来了极大困难，使得现有技术基于点云三维重构的缺陷校验方法难以取得
令人满意的校验效果，为解决传统的点云在面对复杂轮廓时效果不佳的问题，本技术对点云前置处理、配准、曲面重构和缺陷校验方法进行改进和优化，不仅优化复杂轮廓点云的快速精细三维重构，而且在复杂三维模型的缺陷校验方面取得了重要进展，实现了三维模型缺陷的自动校验和可视化：
[0123]
第一，在点云前置处理方面，采用改进的ransac点云前置处理：对ransac算法进行了两点改进，在进行原始采样时，采用有收敛的随机采样方法抽取原始点集，取代现有技术的方法完全依赖随机抽样的方法带来的缺陷，保证采样的准确性；根据一致性采样点集得到新的模型，将原始点集中所有与新模型间的误差小于误差临界值的样本加入一致性采样点集，然后重新计算，增加从候补点集中抽取点参加模型参数计算的校验次数，提高模型准确性；大量实验证明，改进的ransac点云前置处理方法不仅能够实现滤波采样，还能分离离群点，与改进前相比具有更好的点云前置处理效果；
[0124]
第二，在点云配准方面，采用基于特征收敛的两级配准：对两级点云配准算法中的两个步骤分别进行了改进，在原始配准阶段，提出基于固定刚体变换的原始对应点对集合校验方法，对基于几何特征的原始对应点对集合进行校验，提高对应点对集合的准确性；在精细配准阶段，根据复杂轮廓中三角面片的变化特性对icp算法中的最近点选取法进行改进，提高对应最近点匹配的准确性；实验表明，经过本技术提出的基于特征收敛的两级配准过程，无论是在配准精度还是配准效率上，都有较大提高；
[0125]
第三，在点云曲面重构方面，采用基于协同宽和法的细分曲面重构：通过反证法证明细分曲面方程的收敛性，加快细分曲面重构的迭代收敛过程，基于收敛的上下界，提出一种基于协同宽和法的细分曲面重构方法，给出细分曲面误差公式，对控制网格顶点盈亏更新策略进行改进，提高曲面重建的精度和速度；大量实验证明，本技术提出的协同宽和法不仅提高了拟合精度，而且加快了迭代的收敛速度，与现有技术的方法相比在各性能指标方面都有大幅改善和提高，尤其是针对复杂曲面，取得了比其它方法更好的曲面重构效果；
[0126]
第四，在缺陷校验方面，采用自适应临界值调整的三维模型缺陷校验：对距离临界值的计算及缺陷点的界定两个方面进行了改进，提出一种基于自适应距离临界值的k-d树nns算法进行三维模型的缺陷校验的方法：以待校验点与标准模型中最近邻点的邻域之间的距离对原始距离临界值进行自适应更新，使得距离临界值更好的适应曲面拓扑结构的变化，更好的反映待校验点所在区域特性，提高缺陷点的识别精度；同时，对缺陷点进行限制，消除因计算和三维重构而导致的孤立缺陷点，使得缺陷点符合区域聚集特性，将假缺陷点滤除，进一步提高缺陷校验的精度。
[0127]
一、改进的ransac点云前置处理
[0128]
现有技术的ransac点云前置处理方法存在以下问题：一是在进行原始采样获得原始点集{xi,i＝1,
…
,m}时，是采用随机采样法，然而随机采样完全依靠经验，在没有先验知识的前提下对复杂轮廓点云进行随机采样会破坏点云的结构信息；二是当得到最终模型时，sc中点的个数为r，为保证模型参数求解正确，要求sc的点数r足够大，然而，当一致性采样集点数过大时，可能会导致过采样，使点云轮廓出现孔洞，点云轮廓细节信息丧失；三是误差临界值a的选择直接影响点云前置处理效果，误差临界值a用来判断候补点集中的点是否满足模型ms，误差a的选择完全依靠经验，缺乏参考，严重影响ransac的性能。
[0129]
针对ransac点云前置处理方法存在的以上问题，本技术在从三个方面对ransac点
云前置处理方法进行改进：
[0130]
(1)第一方面，在进行原始采样时，根据目标点云的特征采用有收敛的随机采样方法抽取原始点集{xi,i＝1,
…
,m}，取代依赖随机抽样抽取原始点集的方法，保证采样的准确性，加快模型的迭代；
[0131]
(2)第二方面，当根据一致性采样点集sc得到新的模型ms后，将原始点集{xi,i＝1,
…
,m}中所有与模型ms间的误差小于a的样本加入一致性采样点集sc，增加参加模型计算的点数，然后重新计算模型ms；
[0132]
(3)第三方面，根据模型特性确定误差临界值a，采用不属于点云的点来模拟外点，并将这些模拟外点带入模型s中，计算这些模拟外点与模型的均方误差d，以此作为误差临界值，即a＝d。
[0133]
原始点集{xi,i＝1,
…
,m}组成的模型s用数学表达式f(xi),i＝1,
…
,r来表示，候补点集{zi,i＝1,
…
,n-m}中的所有点与模型ms的均方误差为：
[0134][0135]
其中，令误差临界值：
[0136][0137]
则一致性采样误差为：
[0138][0139]
其中采样截止条件为：
[0140]
e≤a
ꢀꢀꢀ
式4
[0141]
即一致性采样误差e小于等于误差临界值a。
[0142]
改进的ransac点云前置处理步骤具体为：
[0143]
步骤一：对于点云c，将其看做点集{ci,i＝1,
…
,n}，根据点云c的特征选择采样方法从点集{ci,i＝1,
…
,n}中抽取m个点组成原始点集{xi,i＝1,
…
,m}，剩余点集成为候补点集{zi,i＝1,
…
,n-m}；
[0144]
步骤二：采用原始点集{xi,i＝1,
…
,m}根据点的分布计算得到原始概率分布模型s，采用不属于点云的点来模拟外点，并将这些模拟外点带入模型s中，计算这些模拟外点与模型的均方误差b，取误差临界值a＝d；
[0145]
步骤三：求候补点集{zi,i＝1,
…
,n-m}中符合原始模型s的点，并与原始点集{xi,i＝1,
…
,m}构成一致性点集sc；
[0146]
步骤四：采用得到的一致性点集sc计算得到新的模型ms，并基于新得到的模型ms对点云c再次进行随机采样，得到更新后的点集{mxi,i＝1,
…
,r}；
[0147]
步骤五：从候补点集{mzi,i＝1,
…
,n-r}中继续抽取点，重复步骤三和步骤四，当满足式e≤a时，停止继续采样，否则选择得到的最大一致性点集作为结果，并根据当前模型来分离内点和外点，将外点删除。
[0148]
本技术设计了三组实验通过考察曲率特征法、ransac法及本技术提出的改进的ransac法分别对噪声和离群点较少的复杂轮廓点云、包含大量离群点的复杂轮廓点云测试和包含孔洞的复杂轮廓点云三组点云的前置处理效果。从视觉和量化指标上对三种方法进行比较，不仅证明了本技术方法与上述两种方法在点云前置处理效果上具备明显的优越性，而且体现了本技术方法在复杂轮廓点云前置处理方面的鲁棒性和高效性，改进的ransac法在进行复杂轮廓点云前置处理时，保持了点云轮廓的完整性，保留了点云轮廓的细节信息，针对不同曲面采取不同的采样率，凸显了复杂轮廓的曲面变化趋势，最大限度的滤除了离群点，与现有技术的方法相比，体现出较大优势。
[0149]
二、基于特征收敛的两级配准
[0150]
(一)基于固定刚体变换的原始对应点对集合校验
[0151]
为得到更为准确的对应点对，本技术采用基于固定刚体变换的近似度收敛模型：对应点对距离收敛与超线段几何收敛，对原始对应点对集合ndqrc进行校验和筛选，保证对应点对集合的准确性。
[0152]
(1)对应点对距离收敛模型
[0153]
根据刚体变换距离不变性，第一片点云中两个正确对应点之间的距离与第二片点云中两个正确对应点之间的距离相等，即：
[0154][0155]
其中，dist(
·
)为任意两点的欧氏距离，对应点对距离收敛模型如图1所示，点与点为两片点云中的一组原始对应点，点与点为两片点云中的另一组原始对应点，点与点点与点间的距离分别为当成立时，这两对原始对应点对符合距离收敛条件。
[0156]
设b＞0，对任意原始对应点对定义最终对应点对集合为式5的距离收敛转化原始对应点对集合校验模型：
[0157][0158]
此外，原始对应点对的校验还基于以下假设：若是正确的对应点对，那么匹配数组ndqrc中的绝大部分元素都应该属于最终的对应点对集合设参数e4＞0，则有：
[0159][0160]
其中，表示集合中的元素个数，收敛条件表明：点对为正确对应点对的前提是第一片点云中的对应点与第一片点云中的剩余其它对应点之间的距离第二片点云中的对应点与第二片点云中剩余其它对应点之间的距离
所有的距离都应该满足式7的收敛，如果点对不满足式6或者式7，则此点对未通过距离收敛的校验，需将其从原始匹配数组ndqrc中滤除。
[0161]
(2)超线段几何收敛条件
[0162]
三维空间中两片点云中分别依次连接ndqrc中对应点及对应点连接的超线段记为h1，连接的超线段记为h2，如图2所示，记超线段的长度为distci、超线段的曲率角度为gi、超线段的挠度角度为ti，三者由下式计算得到：
[0163][0164]
其中，fi＝p
i+1-pi，ei＝(fi×fi+1
)/(|fi||f
i+1
|)，distci、gi、ti均为刚体变换不变量,设：
[0165][0166]
定义：
[0167][0168]
式中b1、b2、b3分别为可影响到的刚体变换不变量distci、gi、ti的指标构成的指标集合，如图3所示，表征对应点对对其顺次连接得到的两条超线段h1及h2的长度distci、挠度角度ti及曲率角度gi的作用，给定临界值e5＞0，若对应点对与满足：
[0169][0170]
匹配数组中的所有对应点构成的超线段的长度distci、曲率角度gi和挠度角度ti满足超线段收敛条件，若点对不满足式11所示的超线段收敛模型，则将此点对从对应点对集合ndprc中删除。
[0171]
通过基于固定刚体变换的原始对应点对集合收敛及校验方法，对原始对应点对集合ndprc进行验证和筛选，为原始配准参数估算的准确性提供强有力的保障。
[0172]
(二)基于改进最近点选取法的精细配准
[0173]
对于原始配准后的点云c
1*
子集中的所有非平面点，即曲率不为零的点，在原始配准后的另一片点云c
2*
中选择与其曲率相近的点，构成icp算法的原始对应点集q(q∈c
1*
)和z(z∈c
2*
)：
[0174]
q＝{qi|qi∈c
1*
,i＝1,
…
,mq}，z＝{zi|zi∈c
2*
,i＝1,
…
,mz}
ꢀꢀꢀ
式12
[0175]
算法关键是检索待配准点集z中与待配准点集q中任意一点q(q∈q)距离最近的点z，此点就是点q的对应点。
[0176]
现有技术采用两点之间的欧式距离作为距离度量，或在点集z中检索距离q点最近的三个点z1、z2、z3，将q点到由这三个点构成的平面g的距离最短点，也就是过点q引一条直线垂直于由这三点组成的平面g，与平面g相交的这个点就是最近点，但是这种方法存在一个致命的缺陷：这个交点往往处于由z1、z2、z3构成的三角面片的外部，即垂足不在由这三个点组成的三角形内部，这将导致所求最近点不可信，如图4所示。
[0177]
针对以上问题，本技术进行以下改进：计算待配准点集z中所有点与待配准点集q中点q间的距离，取其中距离最小的三个点，分别记为z1、z2、z3，这三个点构成的三角面片记为g，计算三角面片g中的所有点到点q的距离，其中距离最小的点记为qc，那么点qc就是所求的与点q相对应的最近点，特别指出：点qc是z1、z2、z3构成的三角面片g中的点，这个点同时也是点集z中的点，最近点qc不一定是z1、z2、z3三点中的任意一点，而是三角面片g内部所有点中距离点q最近的点，这种改进避免了最佳最近点qc处于三角面片g所组成的封闭曲面外部的情况，在最大程度上保证了最近点的可靠性。
[0178]
如图5所示，qc按以下方法计算得到：如果记mg为由z1、z2、z3三点组成的三角面片g的单位法向量，qz为点集q中的点q到点集z中的三角面片g所在平面的垂足，且qz＝q-a
·
mg，其中a＝mg·
(q-z1)，计算qz关于g的重心坐标(k,m,n)。若k＞0,m＞0,n＞0，则说明垂足qz位于g内部，那么qc＝qz；否则垂足qz位于g外部，qc位于g的顶点z1、z2、z3上或者在由三个点组成的三条边上，此时，令：
[0179]hi
＝|z
i+1-zi|，bi＝|z
i+1-zi|/hi，ui＝q
z-zi，hb＝ui·bi
ꢀꢀꢀ
式13
[0180][0181]
则有：
[0182][0183]
改进的最近点选取法具体步骤为：
[0184]
第一步：在待配准点集z中寻找与另一待配准点集q中的点q最近的三个点，分别记为z1、z2、z3，由这三点构成的三角面片，记为g；
[0185]
第二步：寻找一条过点q且垂直于g所在平面的直线，垂足记为qz；
[0186]
第三步：计算重心(k,m,n)，并按照以下步骤来判断最佳点的位置：
[0187]
(1)如果(k,m,n)的三个坐标满足k＞0,m＞0,n＞0，说明最佳最近点位于三角面片g的内部，此时取qc＝qz；
[0188]
(2)如果不满足k＞0,m＞0,n＞0，那么垂足qz位于g外部，此时qc位于g的顶点z1、z2、z3上或者在由三个点组成的三条边上，此时按照式13、式14和式15来判断点qc位于哪个点或那条边上；从而求得最近点qc，保证点qc永远在点z1、z2、z3组成的三角面片g的内部；
[0189]
第四步：针对对应点对集合上的所有点，采用上述步骤得到对应的最近点qc，并采用得到的最近点对集合来计算变换矩阵，实现两片点云的精细配准。
[0190]
通过实验证明，本技术基于特征收敛的两级配准方法所有指标上都有较大改善。
在原始配准阶段，本技术对采用点云几何特征计算得到的原始对应点对集合采用距离收敛和超线段收敛对其进行了筛选，保证了原始对应点对集合的准确性，反映为原始配准误差降低；在精细配准阶段，本技术对最近点的定义进行了改进，不仅保证了最近点的准确性，而且大幅降低了最近点的计算效率，所以本技术方法的精细配准误差也较小；由于在原始配准阶段降低了原始对应点对的维数且重新定义了精细配准阶段最近点的计算方法，所以配准过程的迭代次数大幅降低。综上，本技术提出的基于特征收敛的两级配准方法，与现有技术的方法相比，在配准的精度和效率上都得到了提高。
[0191]
三、基于协同宽和法的细分曲面重构
[0192]
细分曲面是对点云p进行三角网格化，得到三角网格r，求三角网格r的控制网格n，通过循环迭代使得控制网格n顶点的细分极限位置与三角网格r的顶点重合，使得细分后的三角网格更逼近于目标模型轮廓，实现复杂轮廓的精细重构，如图6所示，对曲面进行多次细分，获得更加精细的三角网格模型。
[0193]
定义顶点的误差函数为：
[0194][0195]
其中，zi为控制网格n的顶点，ui为三角网格r的顶点，上标∞表示逼近，i为系数；
[0196]
基于协同宽和法的细分曲面重构方法具体步骤为：
[0197]
第1步：对点云p进行三角剖分得到三角网格r，其顶点为{ui}；
[0198]
第2步：令即控制网格n
(0)
的顶点z
i(0)
取r的顶点{ui}作为初始值；
[0199]
第3步：设误差临界值为e(e＞0)，经过w次迭代后顶点的误差更新为：当b
(w)
＜e时，转到第5步，否则继续执行第4步；
[0200]
第4步：如果不满足误差方程迭代截止条件，对于迭代w次后得到的控制网格n
(w)
中的每个点按以下步骤进行盈亏更新：
[0201]
第4.1步：对控制网格n
(w)
中的每个顶点zi，进行盈亏更新，并将更新后的顶点z
i*
带入误差方程，如果b
(w)
＜e，转到第5步，否则令zi＝z
i*
，将顶点更新后执行第4.2步；
[0202]
第4.2步：对控制网格n
(w)
中的每个顶点zi，进行盈亏更新，并将更新后的顶点z
i*
带入误差方程，如果b
(w)
＜e，转到第5步，否则令zi＝z
i*
，将顶点更新后执行第4.1步；
[0203]
经过第4步得到更新后的控制网格n
(w+1)
，转入第3步继续进行误差判断；
[0204]
第5步：得到顶点{z
i(w)
}及控制网格n
(w)
。
[0205]
四、自适应临界值调整的三维模型缺陷校验
[0206]
配准后的两个三维模型处于同一坐标系下，待校验三维模型存在缺陷的部分表现为与标准模型的同一部位存在差异，本技术根据这一特性提出一种基于改进最近邻点检索策略进行三维模型缺陷校验的方法，现有技术提出一种基于k-d树nns三维模型缺陷校验算法，然而，对于复杂曲面的三维模型缺陷校验，尤其是针对局部拓扑结构复杂，曲面变化剧烈的情况：一方面，算法校验精度对距离临界值依赖性过大，固定临界值方法难以取得较好的缺陷校验效果；另一方面，目标的缺陷往往表现为聚集效应，即缺陷是成片的，将校验出的单个点所在的三角形作为缺陷是不符合实际的。
[0207]
基于以上分析，本技术对基于k-d树nns三维模型缺陷校验算法进行以下改进：
[0208]
改进一：将nns算法中的固定临界值采用对应点的k邻域距离均值与最近点距离间
的变化值构成的自适应距离临界值来取代；
[0209]
改进二：采用缺陷三角面片的聚集效应对三角面片的缺陷属性二次进行校验，提出一种基于自适应临界值的k-d树nns算法三维模型缺陷校验方法，具体步骤为：
[0210]
步骤1：设定距离临界值初始值为e0，将待校验三维模型中三角网格的顶点标记为cifmi＝0，缺陷点临界值为n；
[0211]
步骤2：采用k-d树法检索待校验三维模型与其标准模型参考点的最近邻点，记为(ai,aj)；
[0212]
步骤3：计算所得最近邻点对之间的距离，记为aic
i,j
，其中，i为待校验三维模型上的点，j为其标准三维模型上的点；
[0213]
步骤4：若aic
i,j
＞e0，则待校验三维模型中的点i为疑似缺陷点，计算点i到点j的k邻域的距离均值dia
i,j,k
，令：
[0214][0215]
则有：
[0216]
e＝e0+δe
ꢀꢀꢀ
式18
[0217]
实现距离临界值根据三维模型轮廓局部曲面的变化进行自适应更新；
[0218]
步骤5：如果aic
i,j
＞e，则将点i标记为cifmi＝1，否则继续检索剩余点对，直到所有的点对都被检索完；
[0219]
步骤6：计算待校验三维模型中被标记为cifmi＝1的所有顶点组成的区域面积cixbm，若cixbm＞n，则说明缺陷区域所包含的点数大于缺陷点临界值n，不属于区域m的点标记更新为cifmi＝0，通过聚类法排除孤立存在的缺陷点，这些缺陷点是计算精度和三维模型重构引起的假缺陷点；
[0220]
步骤7：待校验三维模型中标记为cifmi＝1的点所在三角形组成的区域就是待校验模型存在缺陷的部分。
[0221]
本技术对距离临界值的计算及缺陷点的界定进行改进，以待校验点与标准模型中最近邻点的k邻域之间的距离均值的比较，对原始距离临界值进行自适应更新，使得距离临界值更好的适应曲面拓扑结构的变化，更好的反映待校验点所在区域特性，提高缺陷点的识别精度。同时，对缺陷点进行限制，消除因计算和三维重构而导致的孤立缺陷点，使得缺陷点符合区域聚集特性，将假缺陷点滤除，进一步提高缺陷校验的精度。
[0222]
五、实验
[0223]
为验证本技术改进算法的校验精度和校验有效性，基于以下四组标准测试点云进行验证性实验。四组数据分别是：(a)油泵模型，是复杂模型的代表；(b)人脸模型，是简单模型的代表；(c)超级缭绳模型，(d)人手模型，他们既包含简单曲面也包含复杂曲面。以上四组标准测试点云的缺陷校验过程和效果如图7所示，基于本技术的方法对待校验目标的扫描点云进行前置处理和配准，得到待校验目标的三维点云，如图7(a)所示，点云前置处理效果良好，基于本技术的方法对点云进行曲面重构，重构效果如图7(b)所示，图7(c)给出了待校验目标的标准三维模型，图7(d)给出了采用现有技术的校验效果，图7中方框选中部分是曲线校验效果较差的部分；图7(e)给出了本技术方法的校验效果，从图7中可以看出，本技术方法校验效果良好，优于现有技术方法的校验结果。具体来讲，针对人脸模型，人的右耳
存在细小缺陷，现有技术没有校验到；对于油泵模型，外边缘轮廓部分的两个缺陷现有技术虽然进行了标记，但轮廓线不符合油泵模型的轮廓曲线，而本技术方法通过对最近邻点的检索策略进行了改进，以待校验点与标准模型中最近邻点的邻域之间的距离对原始距离临界值进行自适应更新，使得距离临界值更好的适应曲面拓扑结构的变化，更好的反映待校验点所在区域特性，提高缺陷点的识别精度。同时，对缺陷点进行了限制，消除了因计算和三维重构而导致的孤立缺陷点，使得缺陷点符合区域聚集特性，将假缺陷点滤除，进一步提高缺陷校验的精度，缺陷校验效果更加精细和准确；对于人手模型和超级缭绳模型，现有技术不仅在模型轮廓部分校验精度不高，而且在模型轮廓变化较为剧烈的曲面上存在的缺陷，校验往往存在漏检，校验出的缺陷与真实缺陷存在差异。而本技术方法不仅优化高精度的缺陷校验，而且校验结果能够较好的反映目标存在的缺陷。而通过纵向和横向的比较，无论是对于简单曲面，还是复杂曲面，亦或是既存在复杂曲面又存在简单曲面的复杂模型，本技术方法都得到了较好的校验结果。与经典方法相比，在校验精度和质量上都有提高，证明了本技术方法的鲁棒性和高效性。