基于AI大模型的电网用无人机巡检图像识别方法与流程

本发明涉及电网用无人机巡检，具体为基于ai大模型的电网用无人机巡检图像识别方法。

背景技术：

1、随着国内经济的迅猛发展，对电力的需求逐渐增大，采用高压和超高压架空电力长线是长距离输配电的主要方式，所以超高压大容量电力线路的安全运行是我国经济建设坚强的电力保障；减少电力传输的故障、减少停电事故是需要解决的重点问题；人工巡检受地形、天气和人员因素的影响，效率较低、数据准确性不高，人员安全也难以得到保障；所以无人机巡检逐渐投入电网安全检测的应用当中；但是对于目标的无人机巡检，往往是由系统设置好巡航路线，对每个巡航点的图像进行捕捉传输分析，且在首次捕捉后检测出缺陷时需要二次调整无人机的位姿进行多方位的图像获取；此时会存在一个问题，在高压输电线路的每一塔杆上存在的绝缘子数量较多，如果每个绝缘子在初始识别都存在缺陷需要二次识别时，每个塔杆的工作量可能扩大五倍甚至更多，这给无人机的巡检效率、巡检电力带来了考验，也给云端分析系统带来巨大的考验。

技术实现思路

1、本发明的目的在于提供基于ai大模型的电网用无人机巡检图像识别方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：基于ai大模型的电网用无人机巡检图像识别方法，包括以下分析步骤：

3、步骤s100：提取无人机基于电网巡检方案记录的历史图像数据，并以高压架空输电线路对应每一杆塔包含所有绝缘子的历史图像数据作为一存储单元独立存储至图像识别数据库中；

4、步骤s200：将各存储单元中的历史图像数据以绝缘子为线索识别目标按照巡检顺序进行特征识别标记，输出每一线索识别目标对应的特征识别集合；标记缺陷识别正常时的特征识别集合为第一特征集合、缺陷识别异常时的特征集合为第二特征集合，筛选第一特征集合和第二特征集合中线索识别目标关联的从属可识别目标；

5、步骤s300：基于从属可识别目标并结合巡检顺序，提取除去首个线索识别目标外各缺陷识别异常时对应的线索识别目标为侦查识别目标，并标记侦查识别目标关联满足时序需求的权属可识别目标及对应的权属特征识别集合；若不存在权属可识别目标，基于电网巡检方案内容按序执行；

6、步骤s400：辨析权属特征识别集合与对应侦查识别目标所记录的特征识别集合的识别亲密度；

7、步骤s500：将识别亲密度大于识别亲密度阈值的图像数据作为侦查识别目标的可参考线索图像，并提取可参考线索图像的特征条件作为侦查识别目标实时存在初始缺陷识别异常时对历史图像数据的检索条件，将符合检索条件的历史图像作为实时侦查识别目标的预警图像包。

8、进一步的，电网巡检方案包括：

9、在3d点云中标注每一塔杆包含的绝缘子对应的位置，生成无人机航点动作和飞行轨迹，飞行轨迹包括巡航位点和巡航路径；巡航位点是无人机对绝缘子进行图像拍摄的固定点位，巡航路径是指由巡航位点进行最小路径的线段连接构成对一塔杆上所有绝缘子完成图像拍摄的路径；任意相邻巡航位点间的巡航路径不存在无人机拍摄操作；

10、每一巡航位点对应的拍摄顺序对应绝缘子的序号顺序；

11、无人机到达每一巡航位点时自动寻找对应拍摄绝缘子，并调整云台使绝缘子位于图像正中，调整焦距至预设清晰度以及识别绝缘子，完成拍摄生成初始目标图像，并将初始目标图像传输至云端进行缺陷识别；

12、云端响应存在缺陷时，传输指令至无人机，无人机接受云端指令后自动调整飞行姿态、云台角度，对同一绝缘子的缺陷进行二次拍摄；调整飞行姿态、云台角度与初始目标图像获取时对应的飞行姿态、云台角度不同；二次拍摄记录的图像个数大于初始目标图像个数。如

13、进一步的，步骤s200包括以下步骤：

14、步骤s210：特征识别标记是指对除去线索识别目标外其他可识别绝缘子进行特征标记；其他可识别绝缘子是指在初始目标图像中存在满足系统录入绝缘子图像特征的其他绝缘子图像；特征标记包括大小标记和序号标记；大小标记是指在拍摄图像中的绝缘子图像比例；

15、步骤s220：获取线索识别目标对应的所有初始目标图像，将初始目标图像以每一特征标记类型的可识别绝缘子进行分类，并构成每一线索识别目标对应的特征识别集合；每一特征标记类型以线索识别目标对应的绝缘子序号进行进行区分；

16、步骤s230：缺陷识别正常是指云端对图像进行缺陷识别的结果为绝缘子无缺陷损伤，缺陷识别异常是指云端对图像进行缺陷识别的结果为绝缘子存在缺陷损伤；

17、步骤s240：标记第k个第一特征集合对应的线索识别目标序号为uk、第s个第二特征集合对应的线索识别目标序号为vs，提取uk、vs记录对应特征集合中的已进行特征标记的可识别绝缘子序号uki、vsj，uki表示第k个第一特征集合下已进行特征标记的第i个可识别绝缘子序号，vsj表示第s个第二特征集合下已进行特征标记的第j个可识别绝缘子序号；k、s、i、j均表示非零正整数；

18、步骤s250：提取可输入远端满足缺陷识别对应像素阈值需求的可识别绝缘子图像为从属可识别图像，从属可识别图像对应的可识别绝缘子为所属线索识别目标的从属可识别目标；并标记为第一特征集合对应的从属集合a，a={uk→uk1,uk2,...,ukn}和第二特征集合对应的从属集合b，b={vs→vs1,vs2,...,vsm}；n表示第一特征集合中线索识别目标包含从属识别目标的个数，m表示第二特征集合中线索识别目标包含从属识别目标的个数；i≤n，j≤m。

19、进一步的，步骤s300包括以下步骤：

20、步骤s310：满足时序需求是指小于当前侦查识别目标序号；权属可识别目标是指侦查识别目标序号所处从属集合中对应记录的线索识别目标序号；将线索识别目标序号对应的线索识别目标作为满足时序需求的权属可识别目标；

21、步骤s320：提取权属可识别目标对应的特征识别集合构成权属特征识别集合。

22、进一步的，步骤s400包括以下具体过程：

23、步骤s410：提取权属特征识别集合中对应相同序号侦查识别目标的图像数据，将第p个图像数据输入云端进行缺陷识别，当云端输出结果为缺陷识别正常时，标记第p个图像数据的第一特征值为0；当云端输出结果为缺陷识别异常时，标记第p个图像数据的第一特征值为1；对权属特征识别集合中的图像数据进行云端缺陷识别可以快速的判断出图像数据对应所需识别绝缘子图像的有效性；

24、步骤s420：筛除第一特征值为0时对应的图像数据，将剩余图像数据作为同一权属特征识别集合中对应相同序号侦查识别目标的有效图像数据；利用公式：

25、tp1=[(2μp1μy+c1)(2σp1y+c2)]/[(μp12+μy2+c1)(σp12+σy2+c2)]

26、计算第p1个有效图像数据与侦查识别目标记录的初始目标图像的识别亲密度tp1，其中μp1表示有效图像p1亮度，μy表示初始目标图像亮度，亮度用均值计算；σp1y表示有效图像p1和初始目标图像亮度的结构相似程度，结构相似程度用协方差计算；σp12表示有效图像p1的对比度，σy2表示初始目标图像的对比度，对比度用方差计算；c1=(a1l)2，c2=(a2l)2，a1=0.01，a2=0.03，l表示像素值的动态范围；

27、在分析识别亲密度时需要对图像数据进行等比例的裁剪，避免因同一图像数据中多个绝缘子带来的误差影响；

28、步骤s430：将有效图像数据分别与侦查识别目标记录所有二次识别图像进行识别亲密度计算，选取每一有效图像数据对应的识别亲密度最大值作为有效图像数据的代表亲密度。

29、进一步的，步骤s500包括以下具体步骤：

30、步骤s510：提取所有有效图像数据中代表亲密度的最小值，将最小值作为对应侦查识别目标的识别亲密度阈值；

31、选取与二次识别图像对应亲密度的最小值是因为所有权属特征识别集合中的图像选取的目的是要作为二次识别图像的需求代替，是为了减少无人机在二次识别中的重复拍摄，所以权属特征识别集合中的图像与对应二次识别图像越相似度时替代性越高；

32、步骤s520：可参考线索图像的特征条件是指对相应侦查识别目标确定大小标记、序号标记、离地高度、图像相似度和相应侦查识别目标记录的识别亲密度阈值；

33、步骤s530：符合检索条件的历史图像是指先确定实时侦查识别目标对应历史侦查识别目标的识别亲密度阈值，具体过程为：遍历历史侦查识别目标的初始目标图像数据，确定与实时侦查识别目标序号标记相同、大小标记差值小于第一差值阈值、离地高度差值小于第二差值阈值、相似度大于等于相似度阈值的历史侦查识别目标；提取对应历史侦查识别目标记录的识别亲密度阈值；

34、再将实时侦查识别目标对应记录权属特征集合中存在满足实时识别亲密度大于识别亲密度阈值的图像数据作为符合检索条件的历史图像；

35、预警图像包是在初始缺陷识别异常时传输至云端供以二次缺陷识别的所有图像。

36、因为在初始目标图像缺陷识别异常时才会进行二次识别，本技术直接在异常响应时对历史包含侦查识别目标的图像进行提取分析，确定可以作为二次识别的参考图像，节约了无人机再次对该目标进行重复图像捕捉的次数，节约了无人机的工作时间，提高巡检的效率。且符合检索条件的历史图像可通过计算机维度进行再加工如放大等，替代无人机更换角度、航线等方式实现图像的二次识别，大大提高对高压架空输电线路上多个塔杆的工作进程。

37、基于ai大模型的电网用无人机巡检图像识别系统，包括图像识别数据库建立模块、从属可识别目标分析模块、权属特征识别集合确定模块、识别亲密度分析模块和预警图像包生成模块；

38、图像识别数据库建立模块用于提取无人机基于电网巡检方案记录的历史图像数据；

39、从属可识别目标分析模用于筛选第一特征集合和第二特征集合中线索识别目标关联的从属可识别目标；

40、权属特征识别集合确定模块用于标记侦查识别目标关联满足时序需求的权属可识别目标及对应的权属特征识别集合；

41、识别亲密度分析模块用于辨析权属特征识别集合与对应侦查识别目标所记录的特征识别集合的识别亲密度；

42、预警图像包生成模块用于将符合检索条件的历史图像作为实时侦查识别目标的预警图像包。

43、进一步的，从属可识别目标分析模块包括特征识别标记单元、特征识别集合构成单元和从属集合生成单元；

44、特征识别标记单元用于对除去线索识别目标外其他可识别绝缘子进行特征标记；

45、特征识别集合构成单元用于将初始目标图像以每一特征标记类型的可识别绝缘子进行分类，并构成每一线索识别目标对应的特征识别集合；

46、从属集合生成单元用于标记各特征集合的线索识别目标序号，提取可输入远端满足缺陷识别对应像素阈值需求的可识别绝缘子图像为从属可识别图像，从属可识别图像对应的可识别绝缘子为所属线索识别目标的从属可识别目标；并标记为第一特征集合对应的从属集合。

47、进一步的，识别亲密度分析模块包括特征值分类单元、识别亲密度计算单元和代表亲密度输出单元；

48、特征值分类单元用于基于云端输出结果确定特征值；

49、识别亲密度计算单元用于有效图像数据与侦查识别目标记录的初始目标图像的识别亲密度；

50、代表亲密度输出单元用于将有效图像数据分别与侦查识别目标记录所有二次识别图像进行识别亲密度计算，选取每一有效图像数据对应的识别亲密度最大值作为有效图像数据的代表亲密度。

51、与现有技术相比，本发明所达到的有益效果是：本发明通过对无人机拍摄图像中包含的所有绝缘子进行分类，使得图像的利用不再单一化，提取有效可利用的所有绝缘子图像；并基于从属关联分析确定图像与对应实体之间的关联性，同时分析满足需求的识别亲密度，作为实时侦查识别目标的有效图像检索条件，使得图像的利用更加精确化和有效化；本发明利用无人机在进行定点图像拍摄存在缺陷识别异常时，快速提取历史满足需求的有效图像作为二次识别的图像基础，使得无人机在一定情况下可通过云端处理图像来避免二次拍摄所需的重复航行，提高了包含多个绝缘子历史图像的利用性，并且节约了无人机的使用电量以及航行时间，使得无人机在高效利用的情况下也能实现相同功能的缺陷识别效果，提高了同一高压架空输电线路上同一无人机对塔杆监测的高效性。