斜孔倾斜角度的获取方法及系统与流程

1.本发明涉及物体检测的技术领域，具体地，涉及一种局部测量方法及系统，尤其是，涉及一种斜孔倾斜角度的获取方法及系统。


背景技术：

2.叶片是汽轮发电机和涡轮发动机的重要零件之一，叶片的型面质量直接影响着汽轮机的能量转换效率，它的形状误差对二次流损耗有着较大的影响。在叶片的生产过程中对型面的检测十分严格，测量要求准确度较高。目前对于叶片的测量，主要有标准样板法和三坐标测量法。两者都存在检测过程复杂、测量效率低、无法准确反映叶片整个型面偏差值等缺点。涡轮叶片包括多个气膜孔。
3.叶片加工完成后，需要对叶片进行验收，其中一项是判断加工完成后的叶片气膜孔是否满足加工要求。气膜冷却效率是材料、几何等参数及其耦合作用在高温高压三维非定常流场下的响应，其中，气膜孔分布位置决定了冷却气膜的横向覆盖宽度和纵向覆盖长度。因此，确保叶片气膜孔成形几何精度对于提高冷却效率与发动机能效至关重要。针对气膜孔的成形精度评估主要采用通止塞规进行测量。但由于气膜孔成形精度通常较差，塞规直径往往异于孔的实际直径，只能做定性判断，无法实现精确检测。同时，随着冷却技术的不断发展，在以圆柱形孔为基本孔形的基础上，具有更高冷却效率的孔形，如簸箕孔、前倾扇孔、猫耳朵孔、凹槽孔等异形孔先后被提出，更给气膜孔的测量带来了新的挑战。近年来，国内外对气膜孔检测技术进行了积极的探索且取得了丰硕成果。国外，英国罗罗公司、美国通用电气公司与普惠公司均已实现了高性能气膜冷却空心涡轮叶片的制造，但包括气膜孔加工与测量在内的一些关键技术对我国实行严格限制。
4.著名航空发动机叶片企业howmet公司已经开始使用流动式光学测量设备对气冷叶片进行数字化测量。国内，哈尔滨工业大学、天津大学、四川大学、大连理工大学等科研院所，以及中国航发沈阳黎明航空发动机有限责任公司、航空工业北京航空精密机械研究所、西安光学精密机械研究所等科研机构，都开展了基于光学的微小孔测量技术研究，取得了显著进展。但针对高深径比叶片气膜孔的高精测量问题，目前仍未得到有效解决。
5.另外由于光场相机记录下了光线的三维传播信息，因而具有还原所记录图像场景深度信息的能力。相比较传统的双目或相机阵列，光场相机由于只具有一个主镜头和成像传感器，只需要一次曝光就能记录下场景三维信息，避免了传统双目或相机阵列应用于实时深度图像获取时的相机信号时间同步问题，简化了立体视觉系统的结构和信号处理系统设计，在无人航行器导航方面有着较为广泛的应用前景。
6.公开号为cn111982029a的中国发明专利文献公开了一种涡轮叶片气膜孔空间方位角误差测量方法，采用定位装置把涡轮叶片固定到五轴精密平移台上，根据ug模型将叶片旋转至加工姿态并移动到ccd视场中心位置，将光纤末端作为照明光源从气膜孔入口较均匀射入插入涡轮叶片内部通道，使得叶片内部孔口轮廓清晰，外部孔口使用环形冷光源照明，然后通过软件模拟气膜孔内、外孔口的轮廓并记录坐标，便可精密测量出气膜孔空间
方位角的误差。
7.针对上述中的相关技术，发明人认为加工后的待测物局部的测量速度较慢，连续自动化测量的适应性较差。


技术实现要素：

8.针对现有技术中的缺陷，本发明的目的是提供一种斜孔倾斜角度的获取方法及系统。
9.根据本发明提供的一种斜孔倾斜角度的获取方法，包括如下步骤：
10.轮廓获取步骤：获取斜孔所在物体的深度图，从深度图中提取得到斜孔在物体表面的轮廓；
11.直线拟合步骤：从轮廓中提取出代表斜孔倾斜方向在垂直于物体表面的投影的轴线，获取轴线在深度图的像素点所对应的点云数据进行直线拟合，得到代表斜孔倾斜方向的方向直线；
12.平面拟合步骤：根据轮廓进行平面拟合，得到斜孔在物体表面的端部平面；
13.角度获取步骤：根据方向直线和端部平面的夹角，得到斜孔的倾斜角度。
14.优选地，平面拟合步骤中，平面拟合的方式包括：
15.获取轮廓的外接多边形，根据外接多边形的多个端点进行平面拟合；或者，
16.获取轮廓中的多个点，对多个点进行平面拟合。
17.优选地，斜孔所在物体表面的轮廓呈椭圆状，轴线为椭圆状轮廓的长轴。
18.优选地，从深度图中提取轮廓的方式包括：
19.对深度图进行轮廓提取，得到深度图内的边缘轮廓；
20.根据斜孔的特征所设定的筛选条件，对深度图内的边缘轮廓进行拟合得到拟合轮廓，依据筛选条件从拟合轮廓中筛选得到斜孔拟合轮廓；
21.将筛选得到的斜孔拟合轮廓所对应的边缘轮廓作为斜孔的轮廓。
22.优选地，在对边缘轮廓进行拟合之前，根据斜孔的已知表面轮廓长度对得到的边缘轮廓通过限制轮廓长度的方式进行长度筛选，再对长度筛选得到的边缘轮廓进行拟合。
23.根据本发明提供的一种斜孔倾斜角度的获取系统，包括如下模块：
24.轮廓获取模块：用于获取斜孔所在物体的深度图，从深度图中提取得到斜孔在物体表面的轮廓；
25.直线拟合模块：用于从轮廓获取模块提取到的轮廓中提取出代表斜孔倾斜方向在垂直于物体表面的投影的轴线，获取轴线在深度图的像素点所对应的点云数据进行直线拟合，得到代表斜孔倾斜方向的方向直线；
26.平面拟合模块：用于根据轮廓获取模块提取到的轮廓进行平面拟合，得到斜孔在物体表面的端部平面；
27.角度获取模块：用于根据方向直线和端部平面的夹角，得到斜孔的倾斜角度。
28.优选地，平面拟合模块中，平面拟合的方式包括：
29.获取轮廓的外接多边形，根据外接多边形的多个端点进行平面拟合；或者，
30.获取轮廓中的多个点，对多个点进行平面拟合。
31.优选地，斜孔在物体表面的轮廓呈椭圆状，直线拟合模块获取的轴线为椭圆状轮
廓的长轴。
32.优选地，轮廓获取模块从深度图中提取轮廓的方式包括：
33.对深度图进行轮廓提取，得到深度图内的边缘轮廓；
34.根据斜孔的特征所设定的筛选条件，对深度图内的边缘轮廓进行拟合得到拟合轮廓，依据筛选条件从拟合轮廓中筛选得到斜孔拟合轮廓；
35.将筛选得到的斜孔拟合轮廓所对应的边缘轮廓作为斜孔的轮廓。
36.优选地，平面拟合模块在对边缘轮廓进行拟合之前，根据斜孔的已知表面轮廓长度对得到的边缘轮廓通过限制轮廓长度的方式进行长度筛选，再对长度筛选得到的边缘轮廓进行拟合。
37.与现有技术相比，本发明具有如下的有益效果：
38.1、本发明测量速度快，适应自动化连续测量；
39.2、本发明使用光场成像技术得到深度图，并对深度图进行多次处理，便于去除多余图像，有利于提高得到待测叶片局部的轮廓的准确度；
40.3、本发明使用拟合度算法对深度图进行处理，有利于提高待测叶片局部的轮廓拟合的准确度。
附图说明
41.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
42.图1为本发明拍摄待测叶片气膜孔的深度图；
43.图2为本发明深度图处理中提取形状后的示意图；
44.图3为本发明深度图处理中增强形状后的示意图；
45.图4为本发明深度图处理中提取轮廓后的示意图；
46.图5为本发明深度图处理中筛选待测轮廓后的示意图；
47.图6为本发明深度图处理中椭圆拟合后的示意图；
48.图7为本发明筛选出待测叶片气膜孔椭圆轮廓后的示意图；
49.图8为本发明待测叶片气膜孔椭圆轮廓示意图；
50.图9为本发明为突出待测叶片气膜孔椭圆轮廓长轴和外接矩形的示意图；
51.图10为本发明待测叶片气膜孔椭圆轮廓长轴直线拟合和平面拟合后的第一示意图；
52.图11为本发明待测叶片气膜孔椭圆轮廓长轴平面拟合后的第二示意图。
具体实施方式
53.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
54.实施例一：
55.本发明提供了一种斜孔倾斜角度的获取方法，包括如下步骤：
56.轮廓获取步骤：通过光场相机等设备获取斜孔所在物体的深度图，从深度图中提取得到斜孔在物体表面的轮廓。斜孔包括叶片上的气膜孔，气膜孔在叶片表面的轮廓呈椭圆状，但本发明并不以此为限。具体的，从深度图中提取轮廓的方式包括：
57.图1为本发明拍摄待测叶片气膜孔的深度图，如图1所示，深度图中包括两个气膜孔：气膜孔1和气膜孔2。两个气膜孔在深度图中肉眼可见。具体地，光场相机正对气膜孔所在的面拍摄，得到深度图。其中，气膜孔所在的平面可以为平面，也可以为曲面。
58.然后，对深度图进行自适应阈值二值化提取形状。图2为本发明深度图处理中提取形状后的示意图，如图2所示，对图1的深度图进行初步形状提取，提取出的形状中包含图1中的两个气膜孔，对比与图1，图2初步提取出了图1深度图中形状。
59.本发明中对于自适应阈值二值化的具体实现方式不做限制，示例性的，根据灰度图片的直方图，找到一个合适的混合高斯分布去逼近直方图。其中，混合高斯分布，表示两个高斯分布之和。两个高斯分布相交的地方的灰度值，就是要选择的阈值，然后根据阈值通过二值化的方式进行处理。可知的是，二值化就把一个灰度图像二值化，具体地，找到一个阈值，将灰度大于这个阈值的，设置成255，灰度小于这个阈值的，设置为0。
60.图3为本发明深度图处理中增强形状后的示意图，如图3所示，本发明中对提取形状后的深度图进行形态学变换增强形状。具体地，形态学变换(morphological transformations)是一种基于形状的简单变换。它的处理对象通常是二值化图像或者彩色图像。通常，形态学变换有两个输入，一个输出：输入：原图像和核；输出：形态学变换后的图像。其中，形态学变换包括膨胀与腐蚀两种形态学变换方法，形态学处理的常规操作是这两种方法的组合。膨胀和腐蚀是针对较亮的像素的两种相反的操作，即较亮的像素会膨胀和被腐蚀。膨胀(dilation)就是求局部最大值。原始图像与核进行卷积，将最大值赋予指定像素，从而使亮者更亮，效果就是亮的区域膨胀。
61.最后，对提取形状后的深度图进行边缘检测，提取得到边缘轮廓。图4为本发明深度图处理中提取边缘轮廓后的示意图，如图4所示，对图3中的深度图进行边缘检测，得到边缘轮廓。其中，边缘轮廓包括深度图中的所有的边缘。优选地，对增强形状后的深度图进行边缘检测提取边缘轮廓。本发明中对于边缘检测的方法不做限制，示例性的，sobel边缘检测算法。
62.由于边缘检测得到的边缘轮廓包含了众多非待测目标的边缘轮廓，因此需要对其进行筛选，从而减少干扰。具体的，可以根据斜孔已知的设计特征设定筛选条件，例如斜孔边缘轮廓的长度，对于长度未达到或超过设定范围的边缘轮廓，则认为属于非斜孔的边缘轮廓。
63.如图5所示，在对边缘轮廓进行拟合之前，根据斜孔的已知表面轮廓长度对得到的边缘轮廓通过限制轮廓长度的方式进行长度筛选，再对长度筛选得到的边缘轮廓进行拟合。对得到的边缘轮廓通过限制轮廓长度进行长度筛选，根据斜孔的特征设定筛选条件。
64.对于筛选得到的边缘轮廓，根据斜孔的在物体表面的设计形状进行相应的拟合，在本实施例中，斜孔在表面的形状为椭圆形，因此进行椭圆拟合，本领域技术人员可根据实际情况选择相应的拟合形状。
65.图6为本发明深度图处理中椭圆拟合后的示意图，如图6所示，对长度筛选得到的边缘轮廓进行拟合，得到拟合轮廓。由于边缘轮廓的筛选只是初步的筛选，剩余的边缘轮廓
中仍然包含较多的非斜孔的边缘轮廓，因此还需要进行进一步的筛选。根据斜孔的设计特征，本实施例中，拟合轮廓的筛选条件根据表面目标已知的设计信息进行设计，包括：椭圆拟合轮廓面积、椭圆拟合轮廓中心位置、椭圆拟合轮廓轴长比等。通过椭圆面积、椭圆长短轴比、椭圆中心位置和整体拟合度这些信息，筛选出斜孔对应的拟合轮廓，图7为本发明筛选出待测叶片气膜孔拟合轮廓后的示意图。
66.在此基础上，筛选条件还可以包括单个拟合轮廓和与该拟合轮廓对应的边缘轮廓之间的拟合度，对于拟合度高的，则认为该边缘轮廓为表面目标的轮廓。如图8所示，拟合度的计算方式包括：计算边缘轮廓中落入拟合轮廓的像素数量与边缘轮廓的总像素数量的比值，得到第一比值；计算边缘轮廓中落入拟合轮廓的像素数量与拟合轮廓的总像素数量的比值，得到第二比值；当第一比值和第二比值均高于预定值时，判定该边缘轮廓为表面目标的轮廓。本发明中对于预定值的设置不做限制，示例性的，可以为99.7％、99.8％和99.9％。
67.示例性地，拟合度算法：拟合轮廓是拟合得到的椭圆，这里用2像素的宽度进行绘制；边缘轮廓是对应的孔轨迹。统计出落在拟合轮廓中的边缘轮廓像素数量n。用n除以边缘轮廓轨迹总像素数，得到一个比值。再用n除以拟合轮廓像素数，得到另一个比值。使用者两个比值就可以用来表示拟合准确度，第一比值和第二比值均越接近1拟合准确度越高。
68.直线拟合步骤：从拟合轮廓中提取出代表斜孔倾斜方向在垂直于物体表面的投影的轴线，获取轴线在深度图的像素点所对应的点云数据进行直线拟合，得到代表斜孔倾斜方向的方向直线。本发明中对于轴线不做限制，在本实施例中，为椭圆的长轴。
69.图9为本发明为突出待测叶片气膜孔椭圆轮廓长轴和外接矩形的示意图，如图9所示，从椭圆轮廓中提取出长轴。然后获取长轴在深度图的像素点所对应的点云数据进行直线拟合，根据直线拟合得到的直线，确定代表斜孔倾斜方向的方向直线。
70.平面拟合步骤：根据轮廓进行平面拟合，得到斜孔在物体表面的端部平面。平面拟合步骤中，平面拟合的方式包括：获取轮廓的外接多边形，根据外接多边形的多个端点进行平面拟合；或者，获取轮廓中的多个点，对多个点进行平面拟合。
71.如图9所示，获取椭圆轮廓上的多个点或者外接长方形端点的点云数据，根据点云数据进行平面拟合，得到斜孔的端部平面。其中，端部平面表征斜孔的出口平面。图10为本发明待测叶片气膜孔椭圆轮廓长轴直线拟合和平面拟合后的第一示意图，如图10所示，带箭头的直线为方向直线，椭圆所在的面为拟合得到的端部平面。
72.角度获取步骤：获取方向直线与端部平面的交点，然后根据方向直线和端部平面的夹角，得到斜孔的倾斜角度。图11为本发明待测叶片气膜孔椭圆轮廓长轴平面拟合后的第二示意图，如图11所示，方向直线与端部平面之间的夹角表示斜孔的倾斜角度。与此同时，根据拟合轮廓还可以作为初步计算的斜孔的出口面积。
73.实施例二
74.本发明还提供了一种斜孔倾斜角度的获取系统，包括如下模块：
75.轮廓获取模块：通过光场相机等设备获取斜孔所在物体的深度图，从深度图中提取得到斜孔在物体表面的轮廓。斜孔包括叶片上的气膜孔，气膜孔在叶片表面的轮廓呈椭圆状，但本发明并不以此为限。具体的，从深度图中提取轮廓的方式包括：
76.图1为本发明拍摄待测叶片气膜孔的深度图，如图1所示，深度图中包括两个气膜孔：气膜孔1和气膜孔2。两个气膜孔在深度图中肉眼可见。具体地，光场相机正对气膜孔所
在的面拍摄，得到深度图。其中，气膜孔所的平面可以为平面，也可以为曲面。
77.然后，对深度图进行自适应阈值二值化提取形状。图2为本发明深度图处理中提取形状后的示意图，如图2所示，对图1的深度图进行初步形状提取，提取出的形状中包含图1中的两个气膜孔，对比图1，图2初步提取出了图1深度图中形状。
78.本发明中对于自适应阈值二值化的具体实现方式不做限制，示例性的，根据灰度图片的直方图，找到一个合适的混合高斯分布去逼近直方图。其中，混合高斯分布，表示两个高斯分布之和。两个高斯分布相交的地方的灰度值，就是要选择的阈值，然后根据阈值通过二值化的方式进行处理。可知的是，二值化就把一个灰度图像二值化，具体地，找到一个阈值，将灰度大于这个阈值的，设置成255，灰度小于这个阈值的，设置为0。
79.图3为本发明深度图处理中增强形状后的示意图，如图3所示，本发明中对提取形状后的深度图进行形态学变换增强形状。具体地，形态学变换(morphological transformations)是一种基于形状的简单变换。它的处理对象通常是二值化图像或者彩色图像。通常，形态学变换有两个输入，一个输出：输入：原图像和核；输出：形态学变换后的图像。其中，形态学变换包括膨胀与腐蚀两种形态学变换方法，形态学处理的常规操作是这两种方法的组合。膨胀和腐蚀是针对较亮的像素的两种相反的操作，即较亮的像素会膨胀和被腐蚀。膨胀(dilation)就是求局部最大值。原始图像与核进行卷积，将最大值赋予指定像素，从而使亮者更亮，效果就是亮的区域膨胀。
80.最后，对提取形状后的深度图进行边缘检测，提取得到边缘轮廓。图4为本发明深度图处理中提取边缘轮廓后的示意图，如图4所示，对图3中的深度图进行边缘检测，得到边缘轮廓。其中，边缘轮廓包括深度图中的所有的边缘。优选地，对增强形状后的深度图进行边缘检测提取边缘轮廓。本发明中对于边缘检测的方法不做限制，示例性的，sobel边缘检测算法。
81.由于边缘检测得到的边缘轮廓包含了众多非待测目标的边缘轮廓，因此需要对其进行筛选，从而减少干扰。具体的，可以根据斜孔已知的设计特征设定筛选条件，例如斜孔边缘轮廓的长度，对于长度未达到或超过设定范围的边缘轮廓，则认为属于非斜孔的边缘轮廓。
82.如图5所示，在对边缘轮廓进行拟合之前，根据斜孔的已知表面轮廓长度对得到的边缘轮廓通过限制轮廓长度的方式进行长度筛选，再对长度筛选得到的边缘轮廓进行拟合。对得到的边缘轮廓通过限制轮廓长度进行长度筛选，根据斜孔的特征设定筛选条件。
83.对于筛选得到的边缘轮廓，根据斜孔的在物体表面的设计形状进行相应的拟合，在本实施例中，斜孔在表面的形状为椭圆形，因此进行椭圆拟合，本领域技术人员可根据实际情况选择相应的拟合形状。
84.图6为本发明深度图处理中椭圆拟合后的示意图，如图6所示，对长度筛选得到的边缘轮廓进行拟合，得到拟合轮廓。由于边缘轮廓的筛选只是初步的筛选，剩余的边缘轮廓中仍然包含较多的非斜孔的边缘轮廓，因此还需要进行进一步的筛选。根据斜孔的设计特征，本实施例中，拟合轮廓的筛选条件根据表面目标已知的设计信息进行设计，包括：椭圆拟合轮廓面积、椭圆拟合轮廓中心位置、椭圆拟合轮廓轴长比等。通过椭圆面积、椭圆长短轴比、椭圆中心位置和整体拟合度这些信息，筛选出斜孔对应的拟合轮廓，图7为本发明筛选出待测叶片气膜孔拟合轮廓后的示意图。
85.在此基础上，筛选条件还可以包括单个拟合轮廓和与该拟合轮廓对应的边缘轮廓之间的拟合度，对于拟合度高的，则认为该边缘轮廓为表面目标的轮廓。如图8所示，拟合度的计算方式包括：计算边缘轮廓中落入拟合轮廓的像素数量与边缘轮廓的总像素数量的比值，得到第一比值；计算边缘轮廓中落入拟合轮廓的像素数量与拟合轮廓的总像素数量的比值，得到第二比值；当第一比值和第二比值均高于预定值时，判定该边缘轮廓为表面目标的轮廓。本发明中对于预定值的设置不做限制，示例性的，可以为99.7％、99.8％和99.9％。
86.示例性地，拟合度算法：拟合轮廓是拟合得到的椭圆，这里用2像素的宽度进行绘制；边缘轮廓是对应的孔轨迹。统计出落在拟合轮廓中的边缘轮廓像素数量n。用n除以边缘轮廓轨迹总像素数，得到一个比值。再用n除以拟合轮廓像素数，得到另一个比值。使用者两个比值就可以用来表示拟合准确度，第一比值和第二比值均越接近1拟合准确度越高。
87.直线拟合模块：从拟合轮廓中提取出代表斜孔倾斜方向在垂直于物体表面的投影的轴线，获取轴线在深度图的像素点所对应的点云数据进行直线拟合，得到代表斜孔倾斜方向的方向直线。本发明中对于轴线不做限制，在本实施例中，为椭圆的长轴。
88.图9为本发明为突出待测叶片气膜孔椭圆轮廓长轴和外接矩形的示意图，如图9所示，从椭圆轮廓中提取出长轴。然后获取长轴在深度图的像素点所对应的点云数据进行直线拟合，根据直线拟合得到的直线，确定代表斜孔倾斜方向的方向直线。
89.平面拟合模块：根据轮廓进行平面拟合，得到斜孔在物体表面的端部平面。平面拟合模块中，平面拟合的方式包括：获取轮廓的外接多边形，根据外接多边形的多个端点进行平面拟合；或者，获取轮廓中的多个点，对多个点进行平面拟合。
90.如图9所示，获取椭圆轮廓上的多个点或者外接长方形端点的点云数据，根据点云数据进行平面拟合，得到斜孔的端部平面。其中，端部平面表征斜孔的出口平面。图10为本发明待测叶片气膜孔椭圆轮廓长轴直线拟合和平面拟合后的第一示意图，如图10所示，带箭头的直线为方向直线，椭圆所在的面为拟合得到的端部平面。
91.角度获取模块：获取方向直线与端部平面的交点，然后根据方向直线和端部平面的夹角，得到斜孔的倾斜角度。图11为本发明待测叶片气膜孔椭圆轮廓长轴平面拟合后的第二示意图，如图11所示，方向直线与端部平面之间的夹角表示斜孔的倾斜角度。与此同时，根据拟合轮廓还可以作为初步计算的斜孔的出口面积。
92.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
93.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。