一种融合图像特征与GPS信息的光伏电站全景拼接方法

本发明涉及一种融合图像特征与gps信息的光伏电站全景拼接技术，属于光伏电站巡检与智能运维。

背景技术：

1、随着光伏发电装机容量的持续增长，光伏电站的运维问题备受关注。安装在户外的光伏组件可能发生故障、缺陷、遮挡等情况，不仅造成输出功率损失，而且影响光伏系统的稳定性。及时检测出光伏组件的异常情况，并且采取合理的运维方式，对于提高光伏电站的有效性和安全性具有十分重要的意义。

2、随着无人机领域与人工智能领域的蓬勃发展，可以通过无人机搭载云台，采集光伏组件的可见光图像与红外热成像，结合智能诊断方法，筛选出异常组件。相比于人工巡检，无人机巡检具有效率高、成本低、操作灵活等优势。无人机巡检不仅适用于分布式光伏电站，也适用于大规模光伏电站，具有广阔的应用前景。

3、现有技术针对光伏组件的可见光图像与红外热成像，已经实现了故障缺陷、温度异常、局部遮挡的自动检测。然而，现有技术(例如航空三角测量与陆地影像配准)将图像中的组件与光伏电站中的组件进行匹配时，难以利用上述图像处理层面的检测结果。如何将图像处理方法与组件匹配方法进行有效结合，实现光伏电站的全景可视化与异常组件定位，是实际运维中需要考虑的重要问题。

技术实现思路

1、发明目的：本发明的目的在于解决现有技术中存在的不足，从光伏电站的运维角度出发，结合图像处理方法，将图像中的组件与光伏电站中的组件进行匹配，提供一种融合图像特征与gps信息的光伏电站全景拼接方法。

2、技术方案：本发明的一种融合图像特征与gps信息的光伏电站全景拼接方法，依次包括以下步骤：

3、s1：拍摄光伏电站的局部图像；

4、s2：识别图像中的光伏组件，提取特征点，矫正透视形变；

5、s3：读取图像的gps信息，对纬度与经度进行聚类，根据簇中心的位置，将局部图像与光伏阵列进行匹配；

6、s4：根据光伏组件的尺寸与安装角度，计算光伏组件的投影长度与投影宽度；

7、s5：根据组件间距与阵列间距，将实际距离转换为像素距离，计算各个组件在全景拼接图中的位置。

8、进一步的，所述步骤s1中，光伏电站包括若干光伏阵列，每个阵列包括若干光伏组件；通过无人机搭载云台，拍摄光伏电站的局部图像；每张局部图像仅涉及一个阵列的全部或部分组件，每个组件至少在某张局部图像中完整出现一次。

9、进一步的，所述步骤s2中，采用图像处理方法，识别局部图像中的光伏组件。将组件的角点作为特征点，用(uijk,vijk)t表示第i个阵列第j个组件第k个特征点(k＝1,2,3,4)的像素坐标。

10、进一步的，所述步骤s2中，用hij表示第i个阵列第j个组件的透视形变齐次矩阵，根据特征点列出方程组其中wijk＝(uijk,vijk,1)t表示特征点在图像中的像素齐次坐标，表示特征点在理想情况下的齐次坐标，可以根据组件尺寸进行设置。根据特征点的方程组求解矩阵hij，矫正光伏组件的透视形变。

11、进一步的，所述步骤s3中，用la,r与lo,r分别表示第r张局部图像的纬度与经度，re表示地球半径(近似为6371km)，计算第r张局部图像的拍摄点在纬度方向与经度方向的坐标xr与yr如下：

12、xr＝lo,r·π/180·re

13、yr＝la,r·π/180·re·cos(lo,r·π/180)

14、采用dbscan算法对局部图像的坐标(xr,yr)t进行聚类，每一簇表示一个光伏阵列的局部图像。将每一簇的坐标均值作为簇中心，根据簇中心的位置，判断光伏阵列所在的行与列。

15、进一步的，所述步骤s4中，用sl,m与sw,m分别表示光伏组件的长度和宽度，di,l与di,w分别表示组件长边与短边的内缘距离，α表示组件的安装角度，计算组件有效区域的长度sl与宽度sw，以及组件有效区域的投影长度sl,p与投影宽度sw,p如下：

16、sl＝sl,m-2·di,w

17、sw＝sw,m-2·di,l

18、sl,p＝sl·cos(α)

19、sw,p＝sw

20、进一步的，所述步骤s5中，用do,l与do,w分别表示组件长边与短边的外缘间距，计算组件有效区域在纬度方向与经度方向的间距dm,la与dm,lo如下：

21、dm,la＝do,l+2·di,l

22、dm,lo＝(do,w+2·di,w)·cos(α)

23、计算光伏阵列的列间距dcol与行间距drow如下：

24、

25、

26、其中，nr与nc分别表示光伏阵列的总行数与总列数；rla表示光伏电站所在地的纬线圈半径，

27、

28、进一步的，所述步骤s5中，定义实际距离转换为像素距离的比例，结合光伏阵列所在的行与列，组件的投影长度与投影宽度，组件间距与阵列间距，计算所述步骤s2中，矫正透视形变后的各个组件在全景拼接图中的位置。

29、有益效果：本发明提供了一种融合图像特征与gps信息的光伏电站全景拼接方法，基于无人机巡检拍摄的可见光图像与红外热成像，识别光伏组件并且提取图像特征，利用gps信息将图像中的组件与光伏电站中的组件进行自动匹配。通过图像特征与gps信息的有效融合，实现光伏电站的全景可视化。该方法可以结合图像处理方法，实现异常组件的检测与定位。该方法可以用于光伏电站的智能巡检与智慧运维。

技术特征：

1.一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：依次包括以下步骤：

2.根据权利要求1所述的一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：所述步骤s1中，光伏电站包括若干光伏阵列，每个阵列包括若干光伏组件；通过无人机搭载云台，拍摄光伏电站的局部图像；每张局部图像仅涉及一个阵列的全部或部分组件，每个组件至少在某张局部图像中完整出现一次。

3.根据权利要求1所述的一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：所述步骤s2中，采用图像处理方法，识别局部图像中的光伏组件；将组件的角点作为特征点，用(uijk,vijk)t表示第i个阵列第j个组件第k个特征点的像素坐标，其中k＝1,2,3,4。

4.根据权利要求1所述的一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：所述步骤s2中，用hij表示第i个阵列第j个组件的透视形变齐次矩阵，根据特征点列出方程组其中wijk＝(uijk,vijk,1)t表示特征点在图像中的像素齐次坐标，表示特征点在理想情况下的齐次坐标，根据组件尺寸进行设置；根据特征点的方程组求解矩阵hij，矫正光伏组件的透视形变。

5.根据权利要求1所述的一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：所述步骤s3中，用la,r与lo,r分别表示第r张局部图像的纬度与经度，re表示地球半径，计算第r张局部图像的拍摄点在纬度方向与经度方向的坐标xr与yr如下：

6.根据权利要求1所述的一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：所述步骤s4中，用sl,m与sw,m分别表示光伏组件的长度和宽度，di,l与di,w分别表示组件长边与短边的内缘距离，α表示组件的安装角度，计算组件有效区域的长度sl与宽度sw，以及组件有效区域的投影长度sl,p与投影宽度sw,p如下：

7.根据权利要求1所述的一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：所述步骤s5中，用do,l与do,w分别表示组件长边与短边的外缘间距，计算组件有效区域在纬度方向与经度方向的间距dm,la与dm,lo如下：

8.根据权利要求1所述的一种融合图像特征与gps信息的光伏电站全景拼接方法，其特征在于：所述步骤s5中，定义实际距离转换为像素距离的比例，结合光伏阵列所在的行与列，组件的投影长度与投影宽度，组件间距与阵列间距，计算所述步骤s2中，矫正透视形变后的各个组件在全景拼接图中的位置。

技术总结
本发明公开一种融合图像特征与GPS信息的光伏电站全景拼接方法，包括以下步骤：拍摄光伏电站的局部图像；识别图像中的光伏组件，提取特征点，矫正透视形变；读取图像的GPS信息，对纬度与经度进行聚类，根据簇中心的位置，将局部图像与光伏阵列进行匹配；根据光伏组件的尺寸与安装角度，计算光伏组件的投影长度与投影宽度；根据组件间距与阵列间距，将实际距离转换为像素距离，计算各个组件在全景拼接图中的位置。本发明融合了图像中的光伏组件特征与拍摄点的GPS信息，有效实现了光伏电站的全景拼接，可以用于无人机巡检、光伏组件的智能诊断与可视化。

技术研发人员：沈堉,曾鹏中,胡语涵,童朝流,张侃健,魏海坤
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/1/13