基于无人机联邦学习的输电线路典型目标检测方法及系统

1.本发明涉及输电线路目标检测领域，特别是涉及一种基于无人机联邦学习的输电线路典型目标检测方法及系统。


背景技术：

2.输电线路中的典型目标是维护架空输电线路正常运行的重要保障。以电力绝缘子为例，它能在杆塔、横担和电力导线中发挥良好的绝缘作用。然而，绝缘子由于长期暴露在野外，因此容易受到日晒雨淋和化学腐蚀；另一方面，绝缘子因为在整个架空输电线路中的特殊功能和位置，所以常常会受到强力电场和超额的机械负荷等作用。这也导致了绝缘子十分容易发生开裂、破损和雷击闪络等故障，如果这些故障发生就会影响输电线路的正常运行。因此，对于架空输电线路的稳定运行来说，对电力绝缘子等输电线路典型目标进行定期的巡检维护工作具有极其重要的意义。
3.传统巡检方法大部分依赖于人工巡检的方式，然而人工巡检具有花费时间长、人力成本高、工作风险大和效率低等缺点。近年来，随着计算机视觉技术和无人机技术取得了长足的进步，采用无人机航拍影像和智能识别定位算法来替代人工巡检己经成为主流的发展趋势之一。通过观察无人机拍摄的输电线路图片，能直观地检查各种输电线路设备的状态，比如可以观察导线是否发生了覆冰和断线、销钉是否发生了松动以及绝缘子是否出现了裂纹等故障，并随后派遣工作人员予以故障排除。而传统分布式模型训练方法会因为数据的集中上传导致通信链路拥塞以致于检测效率低。


技术实现要素：

4.本发明的目的是提供一种基于无人机联邦学习的输电线路典型目标检测方法及系统，能够避免通信链路拥塞，提高检测效率。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于无人机联邦学习的输电线路典型目标检测方法，包括：
7.根据输电线路典型目标先验数据库，采用yolov3目标检测算法确定输电线路典型目标检测模型；所述输电线路典型目标先验数据库包括：输电线路典型目标的图片以及对应的标签；所述输电线路典型目标包括：绝缘子、导线或销钉；
8.将无人机网络划分为多个联邦学习单元；获取无人机网络拍摄的输电线路典型目标的图片以及对应的标签，确定训练数据库；
9.根据训练数据库和输电线路典型目标检测模型，基于horovod架构和fate联邦学习架构训练每一联邦学习单元，并根据训练后的联邦学习单元确定训练后的无人机网络；
10.利用训练后的无人机网络确定输电线路典型目标的图片中典型目标。
11.可选地，所述根据训练数据库和输电线路典型目标检测模型，基于horovod架构和fate联邦学习架构训练每一联邦学习单元，并根据训练后的联邦学习单元确定训练后的无人机网络，具体包括：
12.根据训练数据库和输电线路典型目标检测模型，基于horovod架构分配每一联邦学习单元的并行计算力，确定每一联邦学习单元的权重；
13.利用fate联邦学习架构对每一联邦学习单元的权重进行汇总；
14.将汇总后的权重传递至每一联邦学习单元，并返回所述根据训练数据库和输电线路典型目标检测模型，基于horovod架构分配每一联邦学习单元的并行计算力，确定每一联邦学习单元的权重的步骤，直至loss误差函数收敛，确定训练后的无人机网络。
15.可选地，所述loss误差函数为：
16.loss＝λ
coord
l1+λ
coord
l2+l3+l4；
17.其中，l1为中心坐标误差，l2为宽高坐标误差，l3为置信度误差，l4为分类误差，λcoord为联合误差系数。
18.一种基于无人机联邦学习的输电线路典型目标检测方法，包括：
19.输电线路典型目标检测模型确定模块，用于根据输电线路典型目标先验数据库，采用yolov3目标检测算法确定输电线路典型目标检测模型；所述输电线路典型目标先验数据库包括：输电线路典型目标的图片以及对应的标签；所述输电线路典型目标包括：绝缘子、导线或销钉；
20.联邦学习单元和训练数据库确定模块，用于将无人机网络划分为多个联邦学习单元；获取无人机网络拍摄的输电线路典型目标的图片以及对应的标签，确定训练数据库；
21.训练后的无人机网络确定模块，用于根据训练数据库和输电线路典型目标检测模型，基于horovod架构和fate联邦学习架构训练每一联邦学习单元，并根据训练后的联邦学习单元确定训练后的无人机网络；
22.检测模块，用于利用训练后的无人机网络确定输电线路典型目标的图片中典型目标。
23.可选地，所述训练后的无人机网络确定模块具体包括：
24.联邦学习单元的权重训练单元，用于根据训练数据库和输电线路典型目标检测模型，基于horovod架构分配每一联邦学习单元的并行计算力，确定每一联邦学习单元的权重；
25.联邦学习单元的权重汇总单元，用于利用fate联邦学习架构对每一联邦学习单元的权重进行汇总；
26.迭代单元，用于将汇总后的权重传递至每一联邦学习单元，并返回所述联邦学习单元的权重训练单元。
27.可选地，所述loss误差函数为：
28.loss＝λ
coord
l1+λ
coord
l2+l3+l4；
29.其中，l1为中心坐标误差，l2为宽高坐标误差，l3为置信度误差，l4为分类误差，λcoord为联合误差系数。
30.根据本发明提供的具体实施例，本发明公开了以下技术效果：
31.本发明所提供的一种基于无人机联邦学习的输电线路典型目标检测方法及系统，利用无人机巡检拍摄目标图片的方式代替传统的人工输电线路巡检，能有效解决人工巡检效率低、资源消耗大的的缺点，相比于在经简易连接的服务器机组上完成的传统分布式模型训练方法，无人机联邦学习架构能高效完成训练参数的更新和反馈，无需集中上传数据
从而避免通信链路拥塞，并且能最大限度地保障各联邦学习单元数据的隐私性。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明所提供的一种基于无人机联邦学习的输电线路典型目标检测方法流程示意图；
34.图2为无人机联邦学习过程的流程图；
35.图3为无人机联邦学习过程的示意图；
36.图4为无人机联邦学习过程中loss误差函数的曲线图；
37.图5为本发明所提供的一种基于无人机联邦学习的输电线路典型目标检测系统结构示意图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.本发明的目的是提供一种基于无人机联邦学习的输电线路典型目标检测方法及系统，能够避免通信链路拥塞，提高检测效率。
40.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
41.图1为本发明所提供的一种基于无人机联邦学习的输电线路典型目标检测方法流程示意图，图2为一种基于无人机联邦学习的输电线路典型目标检测方法，包括：
42.s101，根据输电线路典型目标先验数据库i0，采用yolov3目标检测算法确定输电线路典型目标检测模型，即确定模型的权重p0；所述输电线路典型目标先验数据库包括：输电线路典型目标的图片以及对应的标签；所述输电线路典型目标包括：绝缘子、导线或销钉；
43.s102，将无人机网络划分为多个联邦学习单元；获取无人机网络拍摄的输电线路典型目标的图片以及对应的标签，确定训练数据库；
44.按每ai台无人机组成一个联邦学习单元的方式，将包含n个无人机节点的无人机网络划分成l个联邦学习单元。
45.参数ai、n、l满足：
[0046][0047]
式中ai表示第i个联邦学习单元中无人机节点的个数。
[0048]
无人机拍摄的照片数m满足：
[0049][0050]
式中l表示m张图片所标记训练标签的总数，bj表示第j张图片中的训练标签数量，tag
jk
表示第j张图片中的第k个训练标签。
[0051]
s103，根据训练数据库和输电线路典型目标检测模型，基于horovod架构和fate联邦学习架构训练每一联邦学习单元，并根据训练后的联邦学习单元确定训练后的无人机网络；
[0052]
具体包括：
[0053]
根据训练数据库和输电线路典型目标检测模型，基于horovod架构分配每一联邦学习单元的并行计算力，确定每一联邦学习单元的权重；
[0054]
利用fate联邦学习架构对每一联邦学习单元的权重进行汇总；
[0055]
将汇总后的权重传递至每一联邦学习单元，并返回所述根据训练数据库和输电线路典型目标检测模型，基于horovod架构分配每一联邦学习单元的并行计算力，确定每一联邦学习单元的权重的步骤，直至loss误差函数收敛，确定训练后的无人机网络。
[0056]
所述loss误差函数为：
[0057]
loss＝λ
coord
l1+λ
coord
l2+l3+l4；
[0058]
其中，l1为中心坐标误差，l2为宽高坐标误差，l3为置信度误差，l4为分类误差，λcoord为联合误差系数。
[0059]
如图2和图3所示，horovod是一种采用ring-allreduce算法的分布式训练框架，使用ring-allreduce算法进行分布式训练基本过程如下：
[0060]
步骤s1：每个无人机设备根据各自的训练数据分别进行梯度的计算，得到梯度；
[0061]
步骤s2：将每个无人机设备上的梯度向量切分成长度大致相等的h个分片(其中分片数h与设备数量相等)；
[0062]
步骤s3：通过h-1轮梯度传输和梯度相加，在每个无人机设备上的梯度向量都有一小部分为所有设备中该分片梯度之和；
[0063]
步骤s4：通过h-1轮梯度传输，将上个阶段计算出的每个梯度向量分片之和广播到其他无人机设备；
[0064]
步骤s5：在每个无人机设备上合并分片梯度，并根据梯度更新每个设备上的模型。
[0065]
假设所训练模型的总参数量为x，模型中parameter server单元的数量为1，worker单元的数量为h。
[0066]
基于此，horovod框架中每个无人机设备需要传输信息的次数e为：
[0067]
e＝2n-1；
[0068]
训练模型每完成一次batchinteration数据传输耗时t为：
[0069][0070]
当n逐渐增大时，t趋近于t
′
，t
′
满足：
[0071][0072]
fate联邦学习架构中各模块的功能为：
[0073]
fate flow：该服务分为client和server两部分，其中client部分由用户使用，用于向fate集群提交联邦学习任务；fate flow server是fate集群对外提供服务的入口；
[0074]
mysql：与任务相关的一些元数据，如创建时间，状态都会存在mysql中。
[0075]
egg/roll：向训练任务提供了分布式计算和存储能力。
[0076]
meta service：一组数据或一个文件，可以被切片并分布在不同的egg上，meta service负责管理和定位文件的切片信息。
[0077]
federation：由于联邦学习的特殊性质，在训练中，各个参与方之间往往会进行若干次数据互换。该服务为训练任务提供发送和接受数据的功能。
[0078]
proxy：提供反向代理服务，是fate集群对外(训练其他参与方)的唯一入口。
[0079]
fate board：向用户提供训练任务的可视化。
[0080]
fate serving：提供在线推理服务。用户可以把训练好模型推送到该服务后作在线推理。
[0081]
下面以两个不同无人机联邦学习单元a和b在协作者c的协调下执行联邦学习的过程为例，说明联邦学习的流程：
[0082]
步骤s1：基于加密的用户样本对齐技术，在a和b不公开各自数据的前提下确认双方的共有图片数据，以便联合这些图片数据的特征进行建模；
[0083]
步骤s2：协作者c把公钥分发给a和b，用以对训练过程中需要交换的数据进行加密；
[0084]
步骤s3：a和b分别计算梯度的中间结果，并将结果以加密形式发送给c。同时b根据其标签数据计算损失函数值；
[0085]
步骤s4：c解密a和b所发送的结果，汇总计算总梯度值，然后将总梯度值加密发送给a和b。
[0086]
步骤s5：a和b根据梯度更新各自模型的参数，并开始新一轮训练过程。
[0087]
图4反映了loss误差函数值在1-100轮模型迭代训练中的收敛过程，loss误差函数的解析式为：
[0088]
loss＝λ
coord
l1+λ
coord
l2+l3+l4[0089]
式中l1为中心坐标误差，l2为宽高坐标误差，l3为置信度误差，l4为分类误差。
[0090]
中心坐标误差l1满足：
[0091][0092]
式中s2表示网格的数量为s
×
s个，b表示每个候选框的个数，表示第p个网格的第j个候选框对该project的负责情况，和分别表示第p个网格的第j个候选框的中心点横坐标的预测值和真实值，和分别表示第p个网格的第j个候选框的中心点纵坐标的预测值和真实值。
[0093]
宽高坐标误差l2满足：
[0094][0095]
式中和分别表示第p个网格的第j个候选框的宽度的预测值和真实值，和分别表示第p个网格的第j个候选框的高度的预测值和真实值。
[0096]
置信度误差l3满足：
[0097][0098]
式中表示第p个网格的第j个候选框对该project的不负责情况，和表示第p个网格的第j个候选框置信度的预测值和真实值。
[0099]
分类误差l4满足：
[0100][0101]
式中和分别表示第p个网格的第j个候选框分类概率的预测值和真实值。
[0102]
s104，利用训练后的无人机网络确定输电线路典型目标的图片中典型目标。
[0103]
图5为本发明所提供的一种基于无人机联邦学习的输电线路典型目标检测系统结构示意图，如图5所示，本发明所提供的一种基于无人机联邦学习的输电线路典型目标检测方法，包括：
[0104]
输电线路典型目标检测模型确定模块501，用于根据输电线路典型目标先验数据库，采用yolov3目标检测算法确定输电线路典型目标检测模型；所述输电线路典型目标先验数据库包括：输电线路典型目标的图片以及对应的标签；所述输电线路典型目标包括：绝缘子、导线或销钉；
[0105]
联邦学习单元和训练数据库确定模块502，用于将无人机网络划分为多个联邦学习单元；获取无人机网络拍摄的输电线路典型目标的图片以及对应的标签，确定训练数据库；
[0106]
训练后的无人机网络确定模块503，用于根据训练数据库和输电线路典型目标检测模型，基于horovod架构和fate联邦学习架构训练每一联邦学习单元，并根据训练后的联邦学习单元确定训练后的无人机网络；
[0107]
检测模块504，用于利用训练后的无人机网络确定输电线路典型目标的图片中典型目标。
[0108]
所述训练后的无人机网络确定模块503具体包括：
[0109]
联邦学习单元的权重训练单元，用于根据训练数据库和输电线路典型目标检测模型，基于horovod架构分配每一联邦学习单元的并行计算力，确定每一联邦学习单元的权重；
[0110]
联邦学习单元的权重汇总单元，用于利用fate联邦学习架构对每一联邦学习单元的权重进行汇总；
[0111]
迭代单元，用于将汇总后的权重传递至每一联邦学习单元，并返回所述联邦学习单元的权重训练单元。
[0112]
所述loss误差函数为：
[0113]
loss＝λ
coord
l1+λ
coord
l2+l3+l4；
[0114]
其中，l1为中心坐标误差，l2为宽高坐标误差，l3为置信度误差，l4为分类误差，λ
coord
为联合误差系数。
[0115]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0116]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。