一种四维时空感知的大场景自由弯曲管路检测及点云补全方法与流程

[0001]
本发明涉及一种面向大场景三维点云的自由弯曲管道特征检测及点云补全方法，属于工业视觉领域，特别涉及三维视觉领域。


背景技术：

[0002]
在工业制造和装配领域中，常面临大尺寸的操作对象，如航空发动机。其机体表面结构复杂、零部件种类和数量繁多且分布密集交错，每个零部件对机体的运行质量和安全均具有重要作用。管路是航空发动机上的一种重要部件，它密集交错地分布于航空发动机机体，主要为发动机及飞机输送油体和气体等介质，保障发动机的稳定运行。
[0003]
由于运行环境的温度和压力影响，航空发动机管路在制造和运行过程中可能会存在微小变形的问题；由于装配精度的影响，各管路也可能存在和主机体或管路群的间隙不合格的问题。上述问题是贯穿航空发动机管路的制造、装配、及运行维护阶段始终监测的目标。管路的制造精度、安装位置精度、运行可靠性对航空发动机的性能和寿命至关重要。目前，发动机制造装配领域大多采用人工持特定仪器对管路进行几何形貌和安装间隙的检测，由于机体尺寸较大，该种检测方式存在操作不便和效率较低的问题；同时人工检测只能实行管道定点检测模式，难以对整根管道进行一次性快速检测，适用性较为有限。因此，快速智能监测机体上的导管形貌及其几何参数对航空发动机制造和装配各个环节均有重要价值。
[0004]
大型机体表面的管路数量较多，管路较长且自由弯曲，管路上分布有大小形貌各异的紧固或连接件，管路之间存在相互部分遮挡等复杂情况。在如此复杂大场景下自动检测出三维管路是一项极具挑战性的任务。现有的自动管路检测技术大多是基于二维图像数据开展的。例如，通过手工构建特征或深度神经网络模型自动学习管路特征实现图像中的二维管路检测或分割。由于发动机等工业制造体表面缺少纹理且存在高反光问题，因此获取机体表面的二维图像上通常存在高曝光或阴影区域，这些光学成像因素严重影响了二维管路图像的质量，也对二维管路检测和重建技术提出了更苛刻的需求。关于三维管路技术方面，专利102410811b通过多目立体视觉技术获取多视角管路图像，提取图像中的管路边缘重建三维管路轴线；专利cn108801175b构建了管路空间轴线透视投影模型，通过双目视觉传感器获取管路图像对，经由立体匹配重建出管路的三维轴线，进而实现管路间隙监测。它们仍是以二维图像为原始数据，经由双/多视角的维度重建过程才能获取三维管道的几何参数，由于原始二维数据不具有管道的真实尺度和三维几何形貌信息，上述发明无法以真实三维数据为参考对重建和解算出的管道参数进行优化或补全。目前，以三维点云为原始数据，对大型制造体表面管路的检测和重建仍是一项较少被探索的问题。三维数据本身包含了目标的原始几何信息，信息维度更高，具有更为丰富的模态信息，对获取完整的三维管道模型和分析具有重要意义。相比二维图像，三维目标避免了目标尺度变化、姿态影响、以及形变等问题，具有数据层面的本质优势。本发明设计了一种面向三维点云场景的自由
弯曲管路检测和点云补全技术，对自动、高效、准确、完整地监测大型机体表面复杂分布的管路三维形貌状态具有重要价值。


技术实现要素：

[0005]
本发明技术解决问题：针对工业大型制造件体表的三维自由弯曲管道的检测问题，提供一种时空域四维感知的大场景自由弯曲管路检测及点云补全方法，该方法可适应分布于复杂大场景中粗细、弯曲程度不同的管道，且能够克服管道连接件造成的管道隔断，实现多管道的完整检测并对管道点云进行补全。
[0006]
本发明技术解决方案：一种时空域四维感知的大场景自由弯曲管路检测及点云补全方法，首先采用点对式管道特征聚类的方法探测三维管道表面特征点，在四维时空域分别建立自由弯曲管路的几何参数模型和时序性参数估计模型，检测大型制造体表的三维自由弯曲管道点云并计算其轴线和均值半径。通过检测参数生成完整的三维管道模型，通过最小化生成模型和原始点云模型的配准误差对三维管道模型进行迭代优化。本发明提供了一种感知四维时空域信息的三维管道建模和检测方法，能够精确探测大型工业场景中的三维自由弯曲管道，具有高效性和广泛适用性。
[0007]
本发明的技术方案如下，一种时空域四维感知的大场景自由弯曲管路检测及点云补全方法，包括以下步骤：
[0008]
步骤a、在待检场景的三维点云中均匀采样三维点，以各采样点为中心，建立具有一定半径的球形支撑域并提取各支撑域覆盖的三维点云块；计算三维点云块中各点的三维法向量并与各三维点的三维位置信息聚合，形成六维点云块；
[0009]
步骤b、在步骤a中的六维点云块中多次随机采样六维点对，并使得六维点对的法向量夹角满足设定的阈值约束；根据圆柱体几何关系，由一对六维点可解算出圆柱轴心和柱体半径，因此分别解算出多次随机采样的六维点对所对应的圆柱轴心和柱体半径，将多次采样解算的柱体半径聚合为一个点对式圆柱特征集；
[0010]
步骤c、对各点云块对应的点对式圆柱特征集进行特征聚类，根据聚类后最大簇的内点比例判断该点对式圆柱特征集所归属的点云块是否为三维管道表面点，实现在场景点云中自动探测三维管道表面特征点；
[0011]
步骤d、在四维时空域中建立管道的参数化几何模型，将自由弯曲管道表达为三维空间域上离散的参数化圆柱段及在一维时间域上的时序性聚合，该时序性聚合是以特征点所在的局部点云为起始时刻圆柱段的时序性延伸过程，各时刻的圆柱段在三维空间域中参数化为轴向量和柱体半径；
[0012]
步骤e、在四维时空域中建立管道的时序参数估计模型，由起始时刻分别向当前轴线两端迭代进行圆柱段的延伸和参数估计，各时刻圆柱段的参数估计是由时域预测参数和三维空间域中根据步骤d几何模型的解算参数的融合滤波结果，最终检测得到感知四维时空信息的自由弯曲管道表面点云及其参数化的模型表示，即三维管路轴线和半径；
[0013]
步骤f、根据步骤d所建立的管道参数化几何模型，在步骤e求解所得的三维管路轴线上采样一个点作为起始时刻点，按一定的时刻间隔以时序延伸的模式重建出完整的三维管道表面；以重建的管道模型和原始三维点云场景的非刚性配准误差最小为目标函数，迭代解算出最优的三维管道参数，最终实现三维点云场景中自由弯曲管道的检测和点云补
全。
[0014]
进一步的，所述步骤a，在待检场景的三维点云中均匀采样三维点{p
i
∈r3}(r3表示三维空间域)，以各采样点p
i
为中心，建立具有一定半径r的球形支撑域并提取支撑域覆盖的三维点云块s
i
＝{p
ij
∈r3},计算点云块中各个三维点p
ij
的三维法向量n
ij
∈r3并与其三维度位置信息聚合，形成六维度点云块s
′
i
＝{p
′
ij
∈r6}，r6表示六维空间域，其中p
′
ij
＝{p
ij
,n
ij
}。
[0015]
进一步的，所述步骤b具体实现过程如下：
[0016]
(1)针对各六维点云块s
′
i
，多次随机采样六维点对pair＝{p
′
im
,p
′
in
}，并使得六维点对的法向量夹角满足设定的阈值约束其中n
im
和n
in
分别为六维点对的法向量，ε为夹角阈值，以保证后续六维点对式圆柱特征解算的精度；
[0017]
(2)计算各六维点对的圆柱特征参数：柱体轴心和半径，首先，计算同时垂直于两个法向{n
im
,n
in
}的向量axis＝n
im
×
n
in
，令以axis为法向的平面为p1；然后，计算经过一个采样点p
′
im
的法向n
im
且垂直于平面p1的平面p2，计算另一采样点p
′
in
的法向n
in
所在直线到平面p2的交点，该交点即为圆柱段轴线上的一点，该交点与采样点p
′
in
之间的距离即为圆柱段半径，将求解的柱体半径作为特征，将多次采样的六维点对解算所得的柱体半径聚合为该点云块的点对式圆柱特征集。
[0018]
进一步的，所述步骤c具体包括：
[0019]
若一个点云块为三维管道表面点云，则存在如下：该点云块上构建的点对式圆柱特征集中的特征应具有明显的密度中心和聚合性，对各点云块对应的点对式圆柱特征集中的特征分量进行聚类，根据聚类后最大簇的内点比例判断该点对式圆柱特征集所归属的点云块是否为三维管道表面点，实现在场景点云中自动探测三维管道表面特征点。
[0020]
进一步的，所述步骤d，在四维时空域建立管道的参数化几何模型，将第i根自由弯曲管道pipe
i
表达为一维时间域t上离散的参数化圆柱段seg
it
的时序性聚合，即该聚合是以步骤c探测的特征点所在局部管道段为起始的时序性延伸过程，各时刻t的管道段seg
it
在三维空间域中参数化表示为seg
it
＝f(cen
it
,dir
it
,r
it
)，其中cen
it
为管道段的一个轴心点，dir
it
为管道段轴向，r
it
管道段半径。
[0021]
进一步的，所述步骤e具体实现过程如下：
[0022]
(1)在四维时空域建立管道的时序参数估计模型，对各时刻下三维空间域中的管道段的轴心和轴线两方面参数进行融合估计，该时序参数估计模型融合了两部分参数估计结果，分别为前一时刻的管道段参数对当前时刻管道段参数的预测值和当前时刻管道参数的几何解算值，模型如下：
[0023][0024]
其中和分别为上一时刻管道段最优轴心和轴线估计值；和分别为当前时刻管道段的最优轴心和轴线估计值；a6×6为管道参数预测矩阵，用于延管道轴向以一定的时间间隔对下一时刻管道参数的预测；k6×6为增益矩阵；h6×6为对管道参数的观测矩
阵；cen
′
t
和dir
′
t
分别为当前时刻根据步骤d参数化几何模型解算所得的管道段轴心和轴线值；
[0025]
(2)对步骤c检测所得的管道特征点所在的局部点云块进行圆柱体拟合，获得管道段的参数化表示seg
i0
＝{cen
i0
,dir
i0
,r
i0
}(其中cen
i0
为管道段轴心点，dir
i0
为管道段轴向，r
i0
管道段半径)，作为起始时刻t0的管道参数状态；根据时序参数估计模型，由起始时刻分别向当前轴线两端迭代进行管道段的连续延伸和参数估计；各时刻t的管道段参数估计是由时域预测参数和三维空间域几何解算参数的融合滤波结果，最终检测出感知四维时空信息的自由弯曲管道表面点云及其参数化的模型表示，即三维管路轴线和半径，其中整根管道的半径采用各时刻管道段半径{r
it
}经由均值聚类所得的最大簇均值。
[0026]
进一步的，所述步骤f具体实现过程如下：
[0027]
(1)在步骤e解算出的三维管路轴线上采样一个点作为起始时刻点，根据步骤d的管道参数化几何模型，按一定的时刻间隔以时序延伸的模式重建出完整的三维管道表面，实现对原始场景中管道点云的补全；
[0028]
(2)以重建模型和原始三维点云场景的非刚性配准误差最小作为目标函数，对重建的三维管道轴线和半径参数进行迭代优化，获取更高质量和几何准确度的完整管道点云模型，最终实现三维点云场景中自由弯曲管道的检测和点云补全。
[0029]
本发明与现有技术相比的优点在于，本发明提供的大型工业场景中自由弯曲管路特征检测和点云补全方法基于三维点云数据进行，该数据模态自身不受环境光照和阴影变化影响，三维点云数据呈现了目标本身的真实尺度的几何形貌信息，避免了二维图像中目标尺度变化和成像投影变形等问题；时序性的自由弯曲管道检测有效利用了时间域对三维空间域管道特征的预测能力，是一种时空四维度的管道检测方法；基于点对式的管道特征构建形式简单高效，计算复杂度低，适用于工业大场景应用场合。
[0030]
本发明与现有技术相比的优点在于：
[0031]
(1)直接基于三维点云数据进行管路检测，相比基于二维图像的管道检测技术，本发明能够检测获得具有真实几何尺度和完整三维形貌信息的管道模型，检测过程避免了环境光照和阴影变化的影响，三维管道点云具有尺度和姿态不变性的特点；
[0032]
(2)三维管道的几何参数解算过程融合了各时刻管道段在三维空域的解算值和一维时域的预测值，相比基于单一域的管道参数解算过程，本发明解算获得的管道轴线更为平滑；时域维度的预测使得管道检测过程可克服管道连接件的隔断和遮挡，从而实现更为完整连续的整根管道检测；
[0033]
(3)本发明提供的四维时空感知的管道几何参数化模型将管道表示为离散管道段的时序性空间聚合，因此尤其适用于自由弯曲的管道检测；本发明提供的点对式管道特征检测仅具有计算量小的特点，尤其适用于工业大场景。
附图说明
[0034]
图1为本发明的总体实现流程图；
[0035]
图2为自由弯曲管道的四维时空域建模图；
[0036]
图3为基于点对式特征聚类法的管道表面点自动探测结果图；
[0037]
图4为从三维点云场景检测的三维自由弯曲管道点云及其轴线；
[0038]
图5为三维点云场景中自由弯曲管道的点云补全结果图。
具体实施方式
[0039]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0040]
本发明的一个具体实施例的总体实现流程图，如图1所述，具体包括以下步骤：
[0041]
步骤11：在待检场景的三维点云中均匀采样三维点，以各采样点为中心，建立具有一定半径的球形支撑域并提取各支撑域覆盖的三维点云块；计算点云块中各点的三维法向量并与其三维位置信息聚合，形成六维度点云块。
[0042]
步骤12：针对各六维点云块，多次随机采样六维点对pair
i
＝{p
′
im
,p
′
in
}，并使得点对的法向量夹角满足一定的阈值约束以保证后续圆柱特征解算的精度。在本实施例中，点对的法向夹角阈值设置为30
°
，各点云块中进行了50次的随机六维点云块采样；
[0043]
计算各六维点对的圆柱特征参数：柱体轴心和半径，首先，计算同时垂直于两个法向{n
im
,n
in
}的向量axis＝n
im
×
n
in
，令以axis为法向的平面为p1；然后，计算经过一个采样点p
′
im
的法向n
im
且垂直于平面p1的平面p2，计算另一采样点p
′
in
的法向n
in
所在直线到平面p2的交点，该交点即为圆柱段轴线上的一点，该交点与采样点p
′
in
之间的距离即为圆柱段半径，将求解的柱体半径作为特征，将多次采样的六维点对解算所得的柱体半径聚合为该点云块的点对式圆柱特征集。本实施例中，由于在各点云块中进行了50次的随机采样，最后形成了50维的点对式圆柱特征集。
[0044]
步骤13：对各点云块对应的点对式圆柱特征集进行特征聚类，根据聚类后最大簇的内点比例判断该点对式圆柱特征集所归属的点云块是否为三维管道表面点云块，该实施案例中采用均值聚类算法，聚类带宽设置为0.0015，判断管道特征点的最大簇点数比例阈值为0.7。图2所示为发动机局部表面的三维点云中探测出的三维管道表面点云块的中心点，其中待检场景为发动机体的局部表面，该表面分布有3根管道，如图中的1至3数字标识，其中1号和2号管道因同一个卡箍件固定而发生隔断，3号管道的端头处存在一个接头，1号和3号管道存在交错情况；图2中颗粒较大的点为在该发动机体局部场景中自动探测出的三维管道表面点云块的中心点，他们均分布于在管道表面，未存在误探点。
[0045]
步骤14：在四维时空域建立管道参数化几何模型，如图3所示，其中右上子图为三维弯曲管道的渲染图，主图为建模图。以管道轴线为时域坐标轴，将自由弯曲管道表达为三维空间域上离散的参数化圆柱段及其在一维时间域上的时序性聚合。该聚合是以特征点所在的管道段为起始的时序性延伸过程，各时刻的管道段在三维空间域中参数化为轴向量和柱体半径。
[0046]
步骤15：根据步骤14的管道参数化几何模型，在四维时空域基于卡尔曼时域滤波模型进行管道的时序参数估计，以步骤13检测所得的管道特征点所在的局部点云块进行管道段参数化表示seg
i0
＝{cen
i0
,dir
i0
,r
i0
}，作为管道检测的起始时刻t＝0的参数状态。该示
意图将起始时刻t＝0放于管道端头，仅详细阐述延管道轴线向一端延伸的过程，(若起始时刻位于管道中间段，由起始时刻分别向轴线两端的延伸过程与此阐述一致，不做赘述)。由起始时刻沿时域坐标系t轴正向进行圆柱段的迭代延伸，各时刻的圆柱段参数估计是由时域预测参数和三维空间域几何解算参数的融合滤波结果。该实例中基于卡尔曼滤波模型建立时域参数估计模型如下：
[0047][0048]
其中和分别为上一时刻管道段最优轴心和轴线；和分别为当前时刻管道段的最优轴心和轴线估计结果；a6×6为管道轴线估计矩阵，用于延轴向以一定的时间间隔对下一时刻管道参数的预测；k6×6为卡尔曼增益矩阵，它在每一时刻都将更新；h6×6为对管道参数的观测矩阵，该实例中设置为单位阵；cen
′
t
和dir
′
t
分别为当前时刻根据局部支撑域内三维点云块拟合所得的管道段轴心和轴线；
[0049]
在图3中a点为时刻t-1时解算出的管道段轴心点，由a点所在的管道段参数可获得t时刻的管道段参数预测值；根据管道的参数化几何模型，由t时刻管道段的局部点云可解算出t时刻管道段参数测量值，融合测量值和预测值可获得时刻t的管道段最优参数值，即b点所在管道段的最优参数。在各时刻迭代进行融合解算可最终检测得到感知四维时空信息的自由弯曲管道表面点云及管道的参数化模型表示，即三维管路轴线和半径，其中整根管道的半径为各时刻管道段半径{r
it
}经由均值聚类所得的最大簇均值。该实例发动机场景中检测所得的三根自由弯曲管道表面点云如图4所示，三根检出的弯曲管道的轴线以三维点的形式显示于各管道中，其中1号和2号管道均跨过了卡箍连接件的隔断和遮挡实现了整根管道的完整延伸检测。
[0050]
步骤16：根据步骤14所建立的管道参数化几何模型，在各三维管路轴线上采样一个点作为起始时刻点，按一定的时刻间隔以时序延伸的模式重建出完整的三维管道表面；以重建的管道模型和原始三维点云场景的非刚性配准误差最小为目标函数，迭代解算出最优的三维管道参数，最终实现三维点云场景中自由弯曲管道的检测和点云补全，如图5为重建和优化后的三维自由弯曲管道模型示例，图中标号1,2,3的三根完整管道模型分别对应原始点云中的1至3号管道的重建结果，重建后的管道模型较原始场景中的管道点云具有完整的管道表面，弥补了原始点云由于采集视角下的自遮挡造成的管道部分表面缺失，因此具有对原始管道点云进行补全的作用；该实例也说明本发明技术适用于各种弯曲程度的管道。
[0051]
本发明提供了一种四维时空感知的大场景自由弯曲管路检测及点云补全方法，它主要包含6个步骤，即六维特征点采样、点对式圆柱特征集构建、三维管道表面特征点探测、三维管道的参数初始化、三维管道的四维时空域检测、以及三维管道模型补全和优化。本发明方法在航空发动机三维点云模型上进行了测试，可检出表面分布的自由弯曲管道并通过模型生成的方式进行点云补全，同时，本发明的管道检测算法可跨过管道连接件等干扰物实现整根管道的检测。因此，本发明具有理论可行性和实践有效性。本发明依托三维点云数据进行三维模态下的管道检测，避免了环境光照、阴影、高光体表对检测过程的干扰，具有更强的环境适应性，尤其适用于大型复杂场景中的多自由弯曲管道的检测和模型补全。
[0052]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。