一种基于图像分割的目标定位方法、系统、设备和介质与流程

本申请涉及图像处理领域，尤其涉及一种基于图像分割的目标定位方法、系统、设备和介质。

背景技术：

1、光伏电站故障检测和定位技术在电站智能化运维过程中扮演着非常重要的角色。通过光伏电站的图像进行检测，可检测出光伏组件的遮挡热斑、缺失、碎裂以及不发电等故障。目前光伏电站图像多采用无人机巡航进行采集，在检测到故障后，故障定位相对困难，如何将无人机视角的故障点定位到光伏电站的准确位置以便进行故障处理成为当前一大难题。

技术实现思路

1、鉴于以上现有技术存在的问题，本申请提出一种基于图像分割的目标定位方法、系统、设备和介质，主要解决现有光伏电站故障定位困难且准确性较差的问题。

2、为了实现上述目的及其他目的，本申请采用的技术方案如下。

3、本申请还提供一种基于图像分割的目标定位方法，包括：

4、获取多张目标区域图像，所述目标区域中包含一个或多个目标对象；

5、对所述目标区域图像进行图像分割，得到所述目标对象的子图区域；

6、根据所述目标区域图像进行三维重建，得到所述目标区域图像对应的三维点云数据以及对应的相机参数；

7、对所述目标区域图像进行故障检测，得到故障点在所述目标区域图像中的第一坐标；

8、根据所述第一坐标确定故障点所在的子图区域的目标像素坐标集合，以建立所述三维点云数据与所述目标像素坐标集合之间的映射关系；

9、根据所述相机参数和所述映射关系确定所述故障点在目标坐标系下的定位坐标值。

10、于本申请一实施例中，对所述目标区域图像进行图像分割之前，还包括：

11、获取多张包含目标对象的样本图像，对所述样本图像中目标对象对应的图像区域进行标注以构建训练样本集，其中所述目标对象的被遮挡区域或坏块被标注为背景；

12、基于所述样本图像进行模型训练，得到分割模型，以根据所述分割模型进行图像分割。

13、于本申请一实施例中，对所述目标区域图像进行图像分割，包括：

14、根据所述分割模型对所述目标区域图像进行分割，得到所述目标对象的掩膜图像；

15、根据所述掩膜图像确定所述目标区域图像中各目标对象的子图区域。

16、于本申请一实施例中，根据所述分割模型对所述目标区域图像进行分割，得到得到所述目标对象的掩膜图像，包括：

17、将所述目标区域图像进行分片，得到多个分片图像；

18、将每个所述分片图像分别输入所述分割模型进行像素分割，得到由背景像素值和目标对象像素值组成的分片掩膜；

19、对所述分片掩膜进行拼接，得到所述目标对象的掩膜图像。

20、于本申请一实施例中，对所述目标区域图像进行故障检测，得到故障点在所述目标区域图像中的第一坐标，包括：

21、将所述目标区域图像输入预设故障检测模型，得到一个或多个故障检测框；

22、将所述故障检测框的中心坐标作为所述第一坐标。

23、于本申请一实施例中，根据所述第一坐标确定故障点所在的子图区域的目标像素坐标集合，以建立所述三维点云数据与所述目标像素坐标集合之间的映射关系，包括：

24、将所述第一坐标与各所述子图区域的像素坐标集合进行比对，将匹配的坐标对应的子图区域作为所述故障点所在的子图区域，并将对应的像素坐标集合作为所述目标像素坐标集合；

25、提取所述故障点所在的子图区域的三维点云数据，并投影到所述子图区域的坐标系下，以得到所述三维点云数据与所述目标像素坐标集合的映射关系。

26、于本申请一实施例中，根据所述相机参数和所述映射关系确定所述故障点在目标坐标系下的定位坐标值，包括：

27、根据所述映射关系确定包含故障点的子图区域中共面的三维点云数据，并基于所述共面的三维点云数据建立对应子图区域的共面方程；

28、获取共线方程，所述共线方程用于表示所述相机参数与所述目标区域图像的中各像素坐标的关联关系；

29、根据所述共线方程和所述共面方程确定所述故障点在所述目标坐标系下的所述定位坐标值。

30、本申请还提供一种基于图像分割的目标定位系统，包括：

31、图像获取模块，用于获取多张目标区域图像，所述目标区域中包含一个或多个目标对象；

32、图像分割模块，用于对所述目标区域图像进行图像分割，得到所述目标对象的子图区域；

33、三维重建模块，用于根据所述目标区域图像进行三维重建，得到所述目标区域图像对应的三维点云数据以及对应的相机参数；

34、故障检测模块，用于对所述目标区域图像进行故障检测，得到故障点在所述目标区域图像中的第一坐标；

35、坐标映射模块，用于根据所述第一坐标确定故障点所在的子图区域的目标像素坐标集合，以建立所述三维点云数据与所述目标像素坐标集合之间的映射关系；

36、故障定位模块，用于根据所述相机参数和所述映射关系确定所述故障点在目标坐标系下的定位坐标值。

37、本申请还提供一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于图像分割的目标定位方法的步骤。

38、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时所述的基于图像分割的目标定位方法的步骤。

39、如上所述，本申请一种基于图像分割的目标定位方法、系统设备和介质，具有以下有益效果。

40、本申请通过图像分割得到目标对象的子图区域，并基于二维图像重构三维点云数据，结合相机参数将子图区域中的故障点定位到目标坐标系下，以便于维护人员根据定位坐标进行故障检修。仅针对目标对象的子图区域进行三维点云数据映射，减少被遮挡或缺失等不良对定位结果的影响，提高定位精度以及鲁棒性。

技术特征：

1.一种基于图像分割的目标定位方法，其特征在于，包括：

2.根据权利要求1所述的基于图像分割的目标定位方法，其特征在于，对所述目标区域图像进行图像分割之前，还包括：

3.根据权利要求2所述的基于图像分割的目标定位方法，其特征在于，对所述目标区域图像进行图像分割，包括：

4.根据权利要求3所述的基于图像分割的目标定位方法，其特征在于，根据所述分割模型对所述目标区域图像进行分割，得到得到所述目标对象的掩膜图像，包括：

5.根据权利要求4所述的基于图像分割的目标定位方法，其特征在于，对所述目标区域图像进行故障检测，得到故障点在所述目标区域图像中的第一坐标，包括：

6.根据权利要求1-5任一所述的基于图像分割的目标定位方法，其特征在于，根据所述第一坐标确定故障点所在的子图区域的目标像素坐标集合，以建立所述三维点云数据与所述目标像素坐标集合之间的映射关系，包括：

7.根据权利要求1-5任一所述的基于图像分割的目标定位方法，其特征在于，根据所述相机参数和所述映射关系确定所述故障点在目标坐标系下的定位坐标值，包括：

8.一种基于图像分割的目标定位系统，其特征在于，包括：

9.一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于图像分割的目标定位方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于图像分割的目标定位方法的步骤。

技术总结
本申请提供一种基于图像分割的目标定位方法、系统、设备和介质，该方法包括：获取多张目标区域图像；对所述目标区域图像进行图像分割，得到所述目标对象的子图区域；根据所述目标区域图像进行三维重建，得到所述目标区域图像对应的三维点云数据以及对应的相机参数；对所述目标区域图像进行故障检测，得到故障点在所述目标区域图像中的第一坐标；根据所述第一坐标确定故障点所在的子图区域的目标像素坐标集合，以建立所述三维点云数据与所述目标像素坐标集合之间的映射关系；根据所述相机参数和所述映射关系确定所述故障点在目标坐标系下的定位坐标值。本申请可有效提高故障定位精度。

技术研发人员：王学能,王新乐,张锐
受保护的技术使用者：阳光智维科技股份有限公司
技术研发日：
技术公布日：2024/1/13