架空输电线路杆塔建模方法

1.本公开涉及输电线路杆塔建模技术领域，具体而言，涉及一种架空输电线路杆塔建模方法。


背景技术：

2.高温、高压和腐蚀等恶劣环境会对长期服役的金属构件造成不可逆转的损伤，尤其金属材料表面微损伤，不易检测但危害极大。因此，对输电线路杆塔表面性能实行监测实为必要。对输电线路杆塔的监测通常采用无损方式。无损检测技术借助物理或化学手段，在不伤害被检测对象的性能、保证被检测对象的完整的前提下发现被检测对象是否存在问题或缺陷。对输电线路杆塔实行监测需要先对杆塔进行三维建模。
3.然而，由于输电线路杆塔构件复杂，现有的测量技术在建模时容易丢失细小部件，建模效果往往不佳，难以准确发现杆塔表面存在的缺陷。因此，提供一种可以对输电线路杆塔进行精确建模的方法实为必要。


技术实现要素：

4.本公开的目的在于提供一种架空输电线路杆塔建模方法，能够解决上述提到的至少一个技术问题。具体方案如下：
5.根据本公开的具体实施方式，第一方面，本发明提供一种架空输电线路杆塔建模方法，包括：
6.同步采集被检测杆塔的三维激光点云数据与倾斜摄影图像数据，其中，所述三维激光点云数据的观测位置位于所述被检测杆塔附近的地面，所述倾斜摄影图像数据的观测位置点位于所述被检测杆塔附近的空中；
7.对所述倾斜摄影图像数据进行超分辨解析，获得解析数据；
8.对所述解析数据进行空三加密和影像密集匹配，并抽取特征点构成倾斜摄影密集点云数据；
9.将所述三维激光点云数据与所述倾斜摄影密集点云数据进行融合，根据融合后的数据获得所述被检测杆塔的三维模型。
10.可选的，所述同步采集被检测杆塔的三维激光点云数据与倾斜摄影图像数据包括：同时采集所述被检测杆塔同一位置的三维激光点云数据与倾斜摄影图像数据。
11.可选的，所述同步采集被检测杆塔的三维激光点云数据与倾斜摄影图像数据包括：所述三维激光点云数据通过设置于所述被检测杆塔地表附近的激光成像系统采集，所述倾斜摄影图像数据通过飞行器上搭载的摄影系统航摄采集。
12.可选的，所述摄影系统包括多台传感器，该多台传感器同时从垂直、前视、左视、右视以及后视角度采集所述被检测杆塔的影像，其中，前视、左视、右视以及后视角度的倾斜角的范围为15
°
～45
°
。
13.可选的，所述同步采集被检测杆塔的三维激光点云数据与倾斜摄影图像数据包
括：将所述被检测杆塔划分为若干子区域；控制所述激光成像系统与所述摄影系统依照预先设定的顺序依次采集每一子区域的三维激光点云数据与倾斜摄影图像数据。
14.可选的，所述激光成像系统包括：激光器、扩束器以及ccd传感器；所述激光器用于产生检测光；所述扩束器用于将所述检测光扩束为均匀发散光，所述均匀发散光照射到所述被检测杆塔的表面并发生散射；所述ccd传感器用于接收所述均匀发散光在所述被检测杆塔的表面的散射光。
15.可选的，所述根据融合后的数据获得所述被检测杆塔的三维模型包括：根据融合后的点云数据构建tin模型；根据所述tin模型生成基于影像纹理的所述被检测杆塔的三维模型。
16.可选的，所述超分辨解析包括根据迭代加权质心算法和/或动态阈值分析方法对所述倾斜摄影图像数据进行处理；其中，所述迭代加权质心算法包括：根据公式确定质心位置，其中，为第n次迭代的质心计算结果，为第i个采样点在第n次迭代中的加权因子；ii为信号强度值；xi为第i个采样点的位置；n为自然数。
17.可选的，若所述倾斜摄影图像数据每个时间通道内的理想信号分布函数为高斯型，所述加权因子的表达式为：其中，τ为信号宽度，τ的取值在迭代过程中保持不变；为第n-1次迭代的质心计算结果。
18.可选的，在所述对所述倾斜摄影图像数据进行超分辨解析，获得解析数据之前，还包括：估计所述倾斜摄影图像数据中每个像素的局部均值和方差；根据所述局部均值和方差创建按像素的维纳滤波器；利用所述维纳滤波器对所述倾斜摄影图像数据进行去噪。
19.本公开实施例的上述方案与现有技术相比，至少具有以下有益效果：
20.本公开实施例提供的将不同角度的三维偏振激光扫描获取的点云数据与倾斜摄影数据相融合的建模方案，可以实现复杂环境下细小物体的准确建模，进而可以精准监测杆塔表面是否存在缺陷。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
22.图1为根据本发明实施例的基于激光成像的输电线路杆塔建模方法流程图。
23.图2为根据本发明实施例的一种可选的激光成像系统结构示意图。
24.图3为根据本发明另一实施例的基于偏振激光成像的输电线路杆塔建模方法流程图。
25.图4为根据本发明实施例的一种可选的激光成像系统结构示意图。
26.图5为根据本发明另一实施例的基于激光成像的输电线路杆塔建模方法流程图。
27.图6为根据本发明实施例的基于激光成像的输电线路杆塔建模装置结构示意图。
28.图7为根据本发明实施例的数字图像处理方法流程图。
29.图8为根据本发明的实施例的中值滤波方法去除椒盐噪声的示意图。
30.图9为根据本发明的实施例的利用iwcog算法计算质心位置的流程图。
31.图10为根据本发明的实施例的质心定位中的阈值设置示意图。
32.图11为根据本发明的实施例的数字图像处理装置结构示意图。
33.图12为根据本发明实施例的基于激光成像的输电线路杆塔表面缺陷检测方法流程图。
34.图13为根据本发明实施例的基于激光成像的输电线路杆塔表面缺陷检测装置结构示意图。
35.图14为根据本发明的实施例的电子设备连接结构示意图。
具体实施方式
36.为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
37.在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
38.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
39.应当理解，尽管在本公开实施例中可能采用术语第一、第二、第三等来描述，但这些描述不应限于这些术语。这些术语仅用来将描述区分开。例如，在不脱离本公开实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。
40.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
41.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
42.下面结合附图详细说明本公开的可选实施例。
43.实施例1
44.如图1所示，本公开实施例提供一种基于激光成像的输电线路杆塔建模方法，具体
包括以下步骤：
45.步骤s102，同步采集被检测杆塔的三维激光点云数据与倾斜摄影密集点云数据；
46.在此步骤中，被检测杆塔的三维激光点云可以利用激光成像系统进行采集。图2示出了可供本实施例使用的激光成像系统10的结构示意图。
47.该激光成像系统10包括：激光器11、扩束器15、透镜17以及ccd传感器19。激光器11发出的激光经过扩束器15的扩束变为均匀发散光，该均匀发散光，散射光经过透镜17最终成像到ccd传感器19。具体地，所述激光器11用于产生检测光；所述扩束器15用于将所述检测光扩束为均匀发散光，该均匀发散光照射到所述被检测杆塔的表面并发生散射；所述偏ccd传感器19用于接收所述均匀发散光在所述被检测杆塔的表面的散射光。
48.该激光成像系统10可以控制其所发射的光斑的位置与尺寸。该激光成像系统10可以控制其所发射的激光的能量。通过计算可以得出该激光成像系统10所发出的激光在不同高度的能量密度。本实施例中采用相同的能量密度照射被检测杆塔，即被检测杆塔各个位点处辐照的激光能量密度基本相同。
49.激光成像系统10在采集被检测杆塔的三维激光点云过程中发射的检测光为绿光激光。实验中发现，正常视力的人眼对于频谱在绿光区域的电磁波最为敏感，采用绿光作为照射光源可以最大限度地捕捉到被检测杆塔表面的缺陷。在实际检测中，可以选用波长为532nm的绿光激光器作为照射光源。
50.透镜17可以选用大通光孔径的成像透镜，以提高成像分辨率。
51.ccd传感器19可以为ccd相机。通过ccd传感器19可以接收检测光照射到被检测杆塔后产生的散射光。
52.在此步骤中，被检测杆塔的倾斜摄影密集点云可以利用无人机平台搭载多台传感器进行采集。
53.具体地，可以利用多旋翼无人机平台搭载多台传感器，同时从垂直、前视、左视、右视与后视共5个不同的角度采集被检测杆塔的影像。其中，前视、左视、右视与后视4个倾斜摄影影像倾斜角度在15
°
～45
°
之间。垂直摄影的影像可经过传统航空摄影测量技术处理，制作4d(dem、dom、dlg与drg)产品。前视、左视、右视与后视4个倾斜摄影影像可用于获取地物侧面丰富的纹理信息。
54.采集过程中可以根据项目要求和测区范围地形特征，进行航线设计，继而进行测区范围内倾斜航空影像数据获取工作。野外航拍完成后进行内业处理，通过用于影像的快速生产和自动化处理软件，即应用地物的垂直和侧视影像及地面控制点，构建真实的空间三维场景。
55.将无人机航摄相片导入后处理软件，检查并补充相片参数。输入控制点信息，对照外业的控制点位置，在航摄相片中精确刺点，尽量让每个航线上的照片均有控制点标记，检查无误提交空间三维计算。解算完成后查看空间三维关系模型，确保坐标轴方向正确，进行实景模型重构及各类数据的生产导出。
56.倾斜摄影测量以无人机平台搭载数码相机，在空中多角度对地表对象进行拍摄获取影像数据，然后基于多视影像的地表同名点坐标进行密集匹配，快速获取地表三维数据。其数据格式一般为jpg等图片格式，通过相应的软件平台进行空三加密和影像密集匹配算法，自动匹配出所有影像的同名点，并从影像中抽取更多的特征点构成倾斜摄影密集点云。
57.在本实施例中，激光成像系统10与数码相机均搭载于同一飞行器，例如无人机平台。即倾斜摄影密集点云数据的观测位置位于被检测杆塔附近的空中，三维激光点云数据的观测位置也位于被检测杆塔附近的空中且与所述倾斜摄影密集点云数据的观测位置基本相同。
58.为了实现两种点云数据的融合，被检测杆塔的三维激光点云与倾斜摄影密集点云需要同步进行采集。所谓同步采集即同时且依次采集被检测杆塔每一位置的三维激光点云数据与倾斜摄影密集点云数据。
59.具体地，被检测杆塔可以事先被划分为若干子区域，激光成像系统10与无人机平台依照预先设定的顺序，同步采集相同子区域的数据。例如，被检测杆塔被划分为n个子区域，依次编号为a1,a2,a3
…
an，激光成像系统10与无人机平台首先同时采集a1子区域的数据，接着同时采集a1子区域的数据，依次采集直至同时采集an子区域的数据。
60.步骤s104，将所述三维激光点云与所述倾斜摄影密集点云进行融合，根据融合后的数据获得所述被检测杆塔的三维模型；
61.在此步骤中，根据融合后的点云数据构建不规则三角网(triangulated irregular network,tin)模型，并以此生成基于影像纹理的三维模型。由于密集匹配过程中产生了大量的点云数据，这就为三维激光点云与倾斜摄影密集点云的融合提供了可操作性。三维激光点云的高精度可以弥补倾斜摄影近地面区域精度偏低的缺陷，将两种方法采集的点云进行融合，再进行三维建模，可以实现三维模型整体上的高精度，解决倾斜摄影三维建模局部拉花、底部效应等问题。同时三维激光扫描可以获取电塔特征点的三维坐标，可以免除倾斜摄影测量外业布设像控点的工作。
62.由于输电线路杆塔构件复杂，现有的测量技术在建模时容易丢失细小部件，建模效果往往不佳，难以准确发现杆塔表面存在的缺陷。本实施例提供的基于激光成像的输电线路杆塔建模方法将三维激光扫描获取的点云数据与倾斜摄影数据相融合，可以实现复杂环境下细小物体的准确建模。在本实施例提供的建模方法的基础上，可以进一步精准监测被检测杆塔表面是否存在缺陷。
63.实施例2
64.如图3所示，本公开实施例还提供一种基于偏振激光成像的输电线路杆塔建模方法，具体包括以下步骤：
65.s202，同步采集被检测杆塔的三维激光点云数据与倾斜摄影密集点云数据，其中，所述三维激光点云数据的检测光为线偏振光；
66.s204，将所述三维激光点云数据与所述倾斜摄影密集点云数据进行融合，根据融合后的数据获得所述被检测杆塔的三维模型。
67.与前述实施例不同，在本实施例中采用了线偏振光作为所述三维激光点云数据的检测光。图4示出了可供本实施例使用的激光成像系统20的结构示意图。
68.该激光成像系统20包括：激光器11、偏振片13、扩束器15、透镜17以及偏振态检测器18。其中，该偏振片13设置在激光器11与扩束器15之间。激光器11发出的激光经过偏振片13后变为线偏振光，该线偏振光经过扩束器15的扩束变为均匀发散光，该均匀发散光照射到被检测杆塔的表面并在被检测杆塔的表面发生散射，散射光经过透镜17最终成像到偏振态检测器18。偏振态检测器18能获知待测杆塔表面对偏振光的影响，以判断表面缺陷。
69.传统偏振成像一般采用被动工作方式，具有隐蔽性好的优点，但成像效果和距离均受到气象条件、目标温度对比度和天空背景照度等因素的限制。本实施例提供的激光偏振成像不依赖目标自身辐射(热成像)和目标对太阳或月亮等次光源的反射(可见光或近红外成像)，而是依靠以其自身发出激光作为照明光源，由被探测目标反射或散射光子来提取目标的信息，不受气象条件、目标温度及背景照度的影响。
70.激光成像系统20可以控制其所发射的光斑的位置与尺寸。激光成像系统20可以控制其所发射的激光的能量。通过计算可以得出该激光成像系统20所发出的激光在不同高度的能量密度。本实施例中采用相同的能量密度照射被检测杆塔，即被检测杆塔各个位点处辐照的激光能量密度基本相同。
71.激光成像系统20在采集被检测杆塔的三维激光点云过程中发射的检测光为红光激光。可见光中红光的热效应最为显著，采用红光作为照射光源可以获得更为丰富的被检测对象的信息特征。在实际检测中，可以选用波长为635nm、660nm、660nm、670nm、671nm等规格的红光激光器作为照射光源。
72.实施例3
73.如图5所示，本公开实施例还提供一种基于激光成像的输电线路杆塔建模方法，具体包括以下步骤：
74.s301，同步采集被检测杆塔的三维激光点云数据与倾斜摄影图像数据，其中，所述三维激光点云数据的观测位置位于所述被检测杆塔附近的地面，所述倾斜摄影图像数据的观测位置点位于所述被检测杆塔附近的空中；
75.s302，对所述倾斜摄影图像数据进行超分辨解析，获得解析数据；
76.s303，对所述解析数据进行空三加密和影像密集匹配，并抽取特征点构成倾斜摄影密集点云数据；
77.s304，将所述三维激光点云数据与所述倾斜摄影密集点云数据进行融合，根据融合后的数据获得所述被检测杆塔的三维模型。
78.步骤s301中，三维激光点云数据的观测位置位于所述被检测杆塔附近的地面，而倾斜摄影图像数据的观测位置点位于所述被检测杆塔附近的空中。即分别从不同的观测位置获取三维激光点云数据与倾斜摄影图像数据。被检测杆塔的三维激光点云可以利用激光成像系统进行采集，倾斜摄影图像数据可以通过飞行器上搭载的摄影系统航摄采集。具体在本实施例中，激光成像系统设置于被检测杆塔附近的地表处，搭载数码相机的无人机平台在被检测杆塔周边航摄飞行。
79.步骤s302中，原始获得的倾斜摄影图像数据可能存在细小部件不清晰或缺失等情况，对航摄获取的原始倾斜摄影图像数据进行超分辨解析可以更准确地获得损伤部位信息。本实施例中的超分辨解析可以是利用迭代加权质心算法和/或动态阈值分析方法对原始倾斜摄影图像数据进行处理。
80.迭代加权质心算法(iwcog，iteratively weighted center of gravity)。在原始的cog算法基础上引入加权因子w，从而在计算信号质心的过程中更加完善地考虑了信号的形貌因素的影响。利用迭代加权质心算法确定质心的数学表达式如下：
[0081][0082]
式中，为第n次迭代的质心计算结果；为第i个采样点在第n次迭代中的加权因子；ii为信号强度值；xi为第i个采样点的位置；n为自然数。
[0083]
其中，取决于信号的理想形貌特征。通过引入偏离采样中心不同距离的采样点的信号强度值ii对最终的质心计算结果具有不同的贡献。一般情况下，距离采样中心距离越近越大，对的影响也会越大。的具体取值可以由信号的理想分布函数得到。若条纹图像每个时间通道内的理想信号分布函数为高斯型，iwcog算法中加权因子表达式为：
[0084][0085]
式中，τ为信号宽度；为第n-1次迭代的质心计算结果。迭代过程中，信号宽度τ保持不变，其取值可以根据条纹图像预先分析得出，信号预判位置的初值为：
[0086][0087]
利用iwcog算法计算质心位置的过程如图9所示，当质心位置的变化幅度小于某一阈值时迭代停止。
[0088]
可选地，在对所述倾斜摄影图像数据进行超分辨解析，获得解析数据之前，还可以包括：
[0089]
估计所述倾斜摄影图像数据中每个像素的局部均值和方差；
[0090]
根据所述局部均值和方差创建按像素的维纳滤波器；
[0091]
利用所述维纳滤波器对所述倾斜摄影图像数据进行去噪。
[0092]
本实施例中分别从地面与高空采集被检测杆塔的三维激光点云数据与倾斜摄影图像数据。地面三维激光点云的高精度可以弥补倾斜摄影近地面区域精度偏低的缺陷，而空中无人机倾斜摄影则弥补了三维激光顶部扫描盲区和影像获取视角不够广的缺陷。将两种不同方法、不同角度采集的点云进行融合，再进行三维建模，可以进一步提高三维模型整体上的精度，解决倾斜摄影三维建模局部拉花、底部效应等问题。在两种点云数据进行融合前，对倾斜摄影图像数据进行超分辨解析可以进一步提高模型中损伤部位信息的准确性。
[0093]
实施例4
[0094]
本公开还提供了与上述实施例承接的装置实施例，用于实现如上实施例所述的方法步骤，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。
[0095]
如图6所示，本公开提供一种架空输电线路杆塔表面缺陷检测装置，包括：采集单
元302以及融合单元304。
[0096]
采集单元302，用于同步采集被检测杆塔的三维激光点云数据与倾斜摄影密集点云数据；
[0097]
融合单元304，用于将所述三维激光点云数据与所述倾斜摄影密集点云数据进行融合，根据融合后的数据获得所述被检测杆塔的三维模型。
[0098]
由于输电线路杆塔构件复杂，现有的测量技术在建模时容易丢失细小部件，建模效果往往不佳，难以准确发现杆塔表面存在的缺陷。本实施例提供的基于激光成像的输电线路杆塔建模装置将三维激光扫描获取的点云数据与倾斜摄影数据相融合，可以实现复杂环境下细小物体的准确建模。在本实施例提供的建模方法的基础上，可以进一步精准监测被检测杆塔表面是否存在缺陷。
[0099]
实施例5
[0100]
如图7所示，本公开还提供了一种用于输电线路杆塔的数字图像处理方法，可以用于对多角度获取的被检测杆塔的影像数据进行处理。该数字图像处理方法具体包括以下步骤：
[0101]
步骤s402，对原始图像数据进行去噪，获得去噪图像数据，其中，所述原始图像数据包括多角度获取的被检测杆塔的影像数据；
[0102]
在此步骤中，多角度影像数据可以是空中倾斜摄影所获取的被检测杆塔的影像信息，例如，可以采用搭载影像系统的无人机倾斜摄影按照事先划分好的子区域分区拍摄被检测杆塔。具体地，可以利用多旋翼无人机平台搭载多台传感器，同时从垂直、前视、左视、右视与后视共5个不同的角度采集被检测杆塔的影像。其中，前视、左视、右视与后视4个倾斜摄影影像倾斜角度在15
°
～45
°
之间。
[0103]
去噪主要对原始图像数据进行平滑、滤波操作，上述操作的核心算法基于高斯带通滤波、二维维纳滤波和中值滤波。
[0104]
高斯滤波器是一种线性滤波器，能够有效的抑制噪声、平滑图像。高斯滤波器的作用原理和均值滤波器类似，都是取滤波器窗口内的像素的均值作为输出。但高斯滤波器窗口模板的系数和均值滤波器不同，均值滤波器的模板系数都是相同的为1，而高斯滤波器的模板系数则随着距离模板中心的增大而系数减小。因此，高斯滤波器相比于均值滤波器对图像个模糊程度较小。一个二维的高斯函数如下：
[0105][0106]
其中，(x,y)为点坐标，在图像处理中可认为是整数；σ是标准差。要想得到一个高斯滤波器的模板，可以对高斯函数进行离散化，得到的高斯函数值作为模板的系数。例如：要产生一个3
×
3的高斯滤波器模板，以模板的中心位置为坐标原点进行取样。模板在各个位置的坐标如表1所示(x轴水平向右，y轴竖直向下)。
[0107]
表1
[0108]
(-1,1)(0,1)(1,1)(-1,0)(0,0)(1,0)(-1,-1)(0,-1)(1,-1)
[0109]
将各个位置的坐标带入到高斯函数中，得到的值就是模板的系数。对于窗口模板
的大小为(2k+1)
×
(2k+1)，模板中各个元素值的计算公式如下：
[0110][0111]
二维维纳低通滤波器可以滤除由恒定功率附加噪声降低的灰度图像。维纳滤波使用基于每个像素的局部邻域估计的统计的像素自适应维纳方法，函数定义如下：
[0112]
j＝wiener2(i，[m n]，noise)
[0113]
使用像素自适应维纳滤波对图像i进行滤波，使用大小为m
×
n的邻域来估计局部图像均值和标准偏差。如果省略[m n]参数，则m和n默认为3。加性噪声(高斯白噪声)功率被假定为噪声。[j，noise]＝wiener2(i，[m n])也可在进行滤波之前估计加性噪声功率。wiener2返回噪音估计值。
[0114]
利用维纳滤波器对所述原始图像数据进行去噪可以包括以下步骤：
[0115]
s4021，估计所述原始图像数据中每个像素的局部均值和方差；
[0116]
s4022，根据所述局部均值和方差创建按像素的维纳滤波器；
[0117]
s4023，利用所述维纳滤波器对所述原始图像数据进行去噪。
[0118]
具体地，二维维纳低通滤波具体算法如下：
[0119]
wiener2估计每个像素的局部均值和方差，
[0120][0121][0122]
其中，η是图像中每个像素的n
×
m邻域区间。
[0123]
wiener2使用这些估计值创建按像素的维纳滤波器，
[0124][0125]
其中，ν2是噪声方差。如果未给出噪声方差，则wiener2使用所有局部估计方差的平均值。
[0126]
中值滤波是一种非线性操作，通常用于图像处理以减少“盐和胡椒”噪声。当目标是同时减少噪声并保留边缘时，中值滤波器比卷积更有效，其函数形式如下
[0127]
b＝medfilt2(a，[m n])
[0128]
中值滤波以二维方式对矩阵a进行中值滤波。每个输出像素包含输入图像中相应像素的m
×
n附近的中值。medfilt2图像边缘为0，因此边缘处的点的中值可能会出现失真。
[0129]
中值滤波器的主要思想是通过入口来遍历信号入口，用邻居入口的中值替换每个入口。邻居的模式被称为“窗口”，它通过入口滑动，覆盖整个信号。对于一维信号，最明显的窗口只是前后几项，而2d(或更高维)信号(如图像)则可能有更复杂的窗口模式(如“盒子”或“十字”模式)。如果窗口中有奇数个条目，则中位数很容易定义：在窗口中的所有条目都按数字排序之后，这只是中间值。对于偶数的条目，有不止一个可能的中位数。利用中值滤波方法去除椒盐噪声的典型实例如图8所示。
[0130]
步骤s404，对所述去噪图像数据进行超分辨解析，获得解析图像数据，其中，所述
超分辨解析包括根据迭代加权质心算法和/或动态阈值分析方法对所述去噪图像数据进行处理；
[0131]
在此步骤中，为了克服噪声对质心定位精度的影响，本实施例采用了迭代加权质心算法(iwcog，iteratively weighted center of gravity)。在原始的cog算法基础上引入加权因子w，从而在计算信号质心的过程中更加完善地考虑了信号的形貌因素的影响。利用迭代加权质心算法确定质心的数学表达式如下：
[0132][0133]
式中，为第n次迭代的质心计算结果；为第i个采样点在第n次迭代中的加权因子；ii为信号强度值；xi为第i个采样点的位置；n为自然数。
[0134]
其中，取决于信号的理想形貌特征。通过引入偏离采样中心不同距离的采样点的信号强度值ii对最终的质心计算结果具有不同的贡献。一般情况下，距离采样中心距离越近越大，对的影响也会越大。的具体取值可以由信号的理想分布函数得到。若条纹图像每个时间通道内的理想信号分布函数为高斯型，iwcog算法中加权因子表达式为：
[0135][0136]
式中，τ为信号宽度；为第n-1次迭代的质心计算结果。迭代过程中，信号宽度τ保持不变，其取值可以根据条纹图像预先分析得出，信号预判位置的初值为：
[0137][0138]
利用iwcog算法计算质心位置的过程如图9所示，当质心位置的变化幅度小于某一阈值时迭代停止。若所需的迭代次数为n，则iwcog算法的计算时间为cog算法的n倍。
[0139]
在图像的特征提取过程中，需要根据条纹信号的灰度值(grey value)逐列确定每一通道内信号的质心位置。然而噪声的存在会使质心定位产生偏差，尤其当噪声的均方根值(rms，root mean square)较大时，将会严重影响系统的测距精度。如图10所示，通过设定一个合适的阈值能够降低部分噪声对质心定位的干扰。
[0140]
然而阈值设定并非一成不变的，在具体应用中应根据图像实际情况选择合适的动态阈值。引入动态阈值后，在计算质心的过程中只有阈值以上的信号被视为有效采样点，阈值以下的信号将全部被重新赋值为0，距离提取时将根据阈值处理后的信号强度来确定质心位置，因此设定一个合适的阈值有助于提高系统的分辨精度。
[0141]
传统的大视场成像方法其横向分辨率受到视场角限制，二者很难兼顾。例如，若采用1024
×
1024分辨率ccd，在1m
×
1m视场范围情况下，横向分辨率最高可达1mm，而探伤目标
的破损裂痕往往只有毫米级尺度，探测器的横向分辨率需要突破至亚毫米级别。本实施例采用迭代加权质心算法和动态阈值分析方法优化和分析目标图像，可以在兼顾视场范围的情况下获得足够高的横向分辨率。
[0142]
步骤s406，基于区域增长的轮廓线提取算法对所述解析图像数据进行图像融合。
[0143]
现实测量中无人机分区拍摄被测建筑物，无人机拍摄所有图片将附加当前飞机gps信息(经度、纬度、高度)，飞机的惯性导航信息(俯仰角、航偏角、侧滚角)，以及无人机与被测视场区域的距离信息(通过激光测距仪实现)。根据测得的位置和姿态数据将所有图像进行融合拼接，最终实现对被测建筑物的三维重建。
[0144]
在此步骤中，数据融合采用基于区域增长的轮廓线提取算法实现。
[0145]
所述基于区域增长的轮廓线提取算法进一步包括以下步骤：
[0146]
s4061，由种子单元开始，计算所述种子单元内的各个交点的坐标；
[0147]
s4062，由种子点出发，将与所述种子点连接的轮廓线交点存入轮廓线链表；
[0148]
s4063，根据存入所述轮廓线链表的交点的坐标确定相邻的下一个包含轮廓线的单元，直到下一个单元与所述种子单元重合或者下一个单元到达断层图像边界；
[0149]
s4064，从种子链表中取出下一个种子点，直到所述种子链表为空；
[0150]
s4065，将由各个种子点生成的各轮廓线连接起来。
[0151]
基于区域增长的方法是和一系列的种子点相关的。这个过程是从种子点集合出发，根据某一相似规则将相邻的单元加入到这个种子点集合中去。因此，需要找到轮廓线单元，然后在轮廓线单元中计算轮廓线。使用区域增长的方法来搜索轮廓线单元。具体地，如果某个网格单元一条边与轮廓线有交点，则与这个网格单元边相邻的网格单元就是轮廓线单元，将其加入轮廓线单元的集合。
[0152]
可以采用一种简化的方法计算网格单元与轮廓线的交点，用与轮廓线相交的网格单元边的中点来代替线性插值。这样可以省去插值计算，而中点算法的最大误差为0.5个单元边长，对于目前的图像和显示设备，上述误差在显示效果上几乎是看不出来的。如果网格单元的一个顶点函数值正好等于阈值，轮廓线正好通过该顶点，这样下一个轮廓线单元的搜索就要在与该顶点相连的三个网格单元中进行搜索，这样将大大降低算法的效率。采用中点算法可以有效地避免这种情况的出现，中点算法将函数值等于阈值的顶点看作小于阈值的情况处理，这样轮廓线与网格单元的实际交点与中点之间的误差就是最大误差，即0.5个单元边长。由于每个中点对应一条边，这样下一个网格单元的搜索就只需要在上、下、左、右四个方向上搜索即可，从而避免了因轮廓线通过网格单元顶点，从而造成搜索路径的错误。
[0153]
在确定了阈值和种子点之后，由种子单元开始，先计算出种子单元内的各个交点的坐标，然后由种子点出发，将与种子点连接的轮廓线交点存入轮廓线链表。如果是第1、2连接方式，则直接将交点存入轮廓线链表，若是第3种连接方式，则先要解决二义性，然后再将与种子点连接的轮廓线交点存入轮廓线链表，对于另外的两个交点，将其中的一个存入种子链表即可。然后根据刚存入轮廓线链表的交点的坐标确定相邻的下一个包含轮廓线的单元，重复上面的步骤，直到下一个单元与种子单元重合或者到达断层图像边界为止。然后从种子链表中取出下一个种子点，重复上面的步骤，直到种子链表为空时结束。将由各个种子点生成的各轮廓线连接起来，就得到了所求的轮廓线。
[0154]
已知一个网格单元与轮廓线的交点，确定下一个网格单元位置的方法如下：
[0155]
设当前网格单元下边的一条边为边1、右边的一条边为边2、上边的一条边为边3、左边的一条边为边4；
[0156]
当已知的一个交点在边1上时，下一个要搜索的单元就是该单元下边的单元；当已知的一个交点在边2上时，下一个要搜索的单元就是该单元右边的单元；当已知的一个交点在边3上时，下一个要搜索的单元就是该单元上边的单元；当已知的一个交点在边4上时，下一个要搜索的单元就是该单元左边的单元。
[0157]
通过上述方法可以根据已经连接的轮廓线交点判断下一个要搜索的单元，从而找到下一个要连接的轮廓线交点。
[0158]
s408，根据融合后的图像判断所述被检测杆塔是否存在缺陷。
[0159]
原始影像采集到的各个视角的图像经过融合后可以反映被检测杆塔的整体信息。被检测杆塔的表面发生裂纹将会显示在融合后的图像上。可以利用本实施例提供的基于激光成像的输电线路杆塔缺陷检测方法，定期巡检各个杆塔，获取各个被检测杆塔的不同日期的数据，然后将不同日期的数据进行比较，以发现被检测杆塔表面是否发生缺陷。
[0160]
由于输电线路杆塔构件复杂，环境背景各异，现有的测量技术在拍摄或建模时容易丢失细小部件，效果往往不佳，难以准确发现杆塔表面存在的缺陷。本实施例提供的数字图像处理方法可以对原始的输电线路杆塔图像进行优化处理，准确发现原始图片中损伤部位的信息。
[0161]
实施例6
[0162]
本公开还提供了与上述实施例承接的装置实施例，用于实现如上实施例所述的方法步骤，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。
[0163]
如图11所示，本公开提供一种数字图像处理装置，包括：去噪单元602、解析单元604以及融合单元606。
[0164]
去噪单元602，用于对原始图像数据进行去噪，获得去噪图像数据，其中，所述原始图像数据包括多角度获取的被检测杆塔的影像数据；
[0165]
解析单元604，用于对所述去噪图像数据进行超分辨解析，获得解析图像数据，其中，所述超分辨解析包括根据迭代加权质心算法和/或动态阈值分析方法对所述去噪图像数据进行处理；
[0166]
融合单元606，用于基于区域增长的轮廓线提取算法对所述解析图像数据进行图像融合；
[0167]
判断单元608，根据融合后的图像判断所述被检测杆塔是否存在缺陷。
[0168]
利用本实施例提供的数字图像处理装置，可以对原始的输电线路杆塔图像进行优化处理，准确获得原始图像中损伤部位的信息。
[0169]
实施例7
[0170]
请参见图12，本实施例提供一种基于激光成像的输电线路杆塔缺陷检测方法，具体包括以下步骤：
[0171]
s502，将被检测杆塔划分为若干子区域；
[0172]
在此步骤中，被检测杆塔可以事先被划分为若干子区域，例如，被检测杆塔被划分
为20个子区域，依次编号为a1,a2,a3
…
a20。为了便于后续的测量过程，在划分时，可以令各个子区域的形状、尺寸基本相同。
[0173]
s504，依次采集所述被检测杆塔的每一子区域在激光光束照射下的倾斜摄影数据；
[0174]
在此步骤中，用来照射被检测杆塔的激光光束可以由激光器提供。激光器发出的激光光束照射在被检测杆塔的表面，形成一定尺寸的光斑。在实际测量中，光斑的的尺寸需要大于子区域的尺寸，即光斑需要能够覆盖整个子区域。
[0175]
可选地，激光器发出的光束以先经过扩束器的扩束变为均匀发散光，该均匀发散光照射到被检测杆塔的表面。
[0176]
在实际测量中，可以控制激光器所发射的激光的能量，以使被检测杆塔各个子区域辐照到的激光的能量密度基本相同。
[0177]
本实施例中，激光器发出的激光为单色激光。实验中发现，如果采用频谱在绿光区域激光作为辐照光源可以最大限度地捕捉到被检测杆塔表面的信息。在实际测量中，可以选用波长为532nm的绿光激光器作为照射光源。
[0178]
实际测量中，可以采用搭载影像系统的无人机倾斜摄影按照事先划分好的子区域分区拍摄被检测杆塔。具体地，可以利用多旋翼无人机平台搭载多台传感器，同时从垂直、前视、左视、右视与后视共5个不同的角度采集被检测杆塔的影像。其中，前视、左视、右视与后视4个倾斜摄影影像倾斜角度在15
°
～45
°
之间。
[0179]
s506，基于区域增长的轮廓线提取算法对所述倾斜摄影数据进行图像融合拼接；
[0180]
在此步骤中，数据融合采用基于区域增长的轮廓线提取算法实现。基于区域增长的方法是和一系列的种子点相关的。这个过程是从种子点集合出发，根据某一相似规则将相邻的单元加入到这个种子点集合中去。因此，需要找到轮廓线单元，然后在轮廓线单元中计算轮廓线。使用区域增长的方法来搜索轮廓线单元。具体地，如果某个网格单元一条边与轮廓线有交点，则与这个网格单元边相邻的网格单元就是轮廓线单元，将其加入轮廓线单元的集合。
[0181]
可以采用一种简化的方法计算网格单元与轮廓线的交点，用与轮廓线相交的网格单元边的中点来代替线性插值。这样可以省去插值计算，而中点算法的最大误差为0.5个单元边长，对于目前的图像和显示设备，上述误差在显示效果上几乎是看不出来的。如果网格单元的一个顶点函数值正好等于阈值，轮廓线正好通过该顶点，这样下一个轮廓线单元的搜索就要在与该顶点相连的三个网格单元中进行搜索，这样将大大降低算法的效率。采用中点算法可以有效地避免这种情况的出现，中点算法将函数值等于阈值的顶点看作小于阈值的情况处理，这样轮廓线与网格单元的实际交点与中点之间的误差就是最大误差，即0.5个单元边长。由于每个中点对应一条边，这样下一个网格单元的搜索就只需要在上、下、左、右四个方向上搜索即可，从而避免了因轮廓线通过网格单元顶点，从而造成搜索路径的错误。
[0182]
在确定了阈值和种子点之后，由种子单元开始，先计算出种子单元内的各个交点的坐标，然后由种子点出发，将与种子点连接的轮廓线交点存入轮廓线链表。如果是第1、2连接方式，则直接将交点存入轮廓线链表，若是第3种连接方式，则先要解决二义性，然后再将与种子点连接的轮廓线交点存入轮廓线链表，对于另外的两个交点，将其中的一个存入
种子链表即可。然后根据刚存入轮廓线链表的交点的坐标确定相邻的下一个包含轮廓线的单元，重复上面的步骤，直到下一个单元与种子单元重合或者到达断层图像边界为止。然后从种子链表中取出下一个种子点，重复上面的步骤，直到种子链表为空时结束。将由各个种子点生成的各轮廓线连接起来，就得到了所求的轮廓线。
[0183]
已知一个网格单元与轮廓线的交点，确定下一个网格单元位置的方法如下：
[0184]
设当前网格单元下边的一条边为边1、右边的一条边为边2、上边的一条边为边3、左边的一条边为边4；
[0185]
当已知的一个交点在边1上时，下一个要搜索的单元就是该单元下边的单元；当已知的一个交点在边2上时，下一个要搜索的单元就是该单元右边的单元；当已知的一个交点在边3上时，下一个要搜索的单元就是该单元上边的单元；当已知的一个交点在边4上时，下一个要搜索的单元就是该单元左边的单元。
[0186]
通过上述方法可以根据已经连接的轮廓线交点判断下一个要搜索的单元，从而找到下一个要连接的轮廓线交点。
[0187]
进一步地，还可以在基于区域增长的轮廓线提取算法对所述倾斜摄影数据进行图像融合拼接之前，对所述倾斜摄影数据进行去噪处理。
[0188]
进一步地，还可以还可以在基于区域增长的轮廓线提取算法对所述倾斜摄影数据进行图像融合拼接之前，对所述倾斜摄影数据进行超分辨解析。
[0189]
s508，根据融合拼接后的图像判断所述被检测杆塔是否存在缺陷。
[0190]
倾斜摄影采集到的各个子区域的图像经过融合拼接后可以反映被检测杆塔的整体信息。被检测杆塔的表面发生裂纹将会显示在融合拼接后的图像上。可以利用本实施例提供的基于激光成像的输电线路杆塔缺陷检测方法，定期巡检各个杆塔，获取各个被检测杆塔的不同日期的数据，然后将不同日期的数据进行比较，以发现被检测杆塔表面是否发生缺陷。
[0191]
由于输电线路杆塔构件复杂，环境背景各异，现有的测量技术在拍摄或建模时容易丢失细小部件，效果往往不佳，难以准确发现杆塔表面存在的缺陷。本实施例中，利用激光光束照射下的倾斜摄影数据，可以准确获得被检测杆塔的微小细节信息，可以满足无损检测的要求。
[0192]
实施例8
[0193]
本公开还提供了与上述实施例承接的装置实施例，用于实现如上实施例所述的方法步骤，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。
[0194]
如图13所示，本公开提供一种基于绿光激光成像的输电线路杆塔表面缺陷检测装置，包括：划分单元502、采集单元504、融合单元506以及判断单元508。
[0195]
划分单元502，用于将被检测杆塔划分为若干子区域；
[0196]
采集单元504，用于依次采集所述被检测杆塔的每一子区域在激光光束照射下的倾斜摄影数据；
[0197]
融合单元506，用于基于区域增长的轮廓线提取算法对所述倾斜摄影数据进行图像融合拼接。
[0198]
判断单元508，用于根据融合拼接后的图像判断所述被检测杆塔是否存在缺陷。
[0199]
由于输电线路杆塔构件复杂，环境背景各异，现有的测量技术在拍摄或建模时容易丢失细小部件，效果往往不佳，难以准确发现杆塔表面存在的缺陷。本实施例提供的基于激光成像的输电线路杆塔缺陷检测装置利用激光光束照射下的倾斜摄影数据，可以准确获得被检测杆塔的微小细节信息，可以满足无损检测的要求。
[0200]
实施例9
[0201]
如图14所示，本实施例提供一种电子设备，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上实施例所述的方法步骤。
[0202]
实施例10
[0203]
本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行如上实施例所述的方法步骤。
[0204]
实施例11
[0205]
下面参考图12，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0206]
如图12所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储装置408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram 403中，还存储有电子设备操作所需的各种程序和数据。处理装置401、rom 402以及ram 403通过总线405彼此相连。输入/输出(i/o)接口405也连接至总线405。
[0207]
通常，以下装置可以连接至i/o接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置405；包括例如磁带、硬盘等的存储装置408；以及通信装置405。通信装置405可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
[0208]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置405从网络上被下载和安装，或者从存储装置408被安装，或者从rom 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
[0209]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便
携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0210]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
[0211]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0212]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0213]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。