基于权重自适应的多载具大坝损害识别方法及装置

本发明涉及一种基于权重自适应的多载具大坝损害识别方法及装置，属于图像识别分类。

背景技术：

1、随着信息技术和智能化水平的快速发展，多型载具(如无人机、摄像头、轨道机器人等)在各个领域得到了广泛应用，这些数量较多的无人载具采集了海量的数据，形成了巨大的分布式物联网。由于各种载具采集到的数据较为分散且独立性较高，且不同载具采集到数据之间是非独立同分布状态，使得单一全局模型难以适用于所有类型载具。联邦学习利用各客户端自身数据训练本地模型，然后将模型参数或模型梯度更新上传到参数服务器，参数服务器对接收到的本地模型或本地模型梯度进行聚合，形成新的全局模型，客户端将全局模型与本地模型进行线性混合，这样既考虑了本地数据的分布也从全局模型中学到了全局共享知识，充分利用了所有客户端的数据，可以在保护本地数据隐私安全的同时，通过多个客户端的协作，训练出适合各个客户端本地数据的模型。

2、对地震等自然灾害对大坝损害的识别和检测，由于识别区域的地理范围大、位置特殊，各无人载具往往用于处理不用区域、不同类型的损害检测，这些数据独立性强，在这种数据异质环境下，难以通过集中式数据处理和分析，用单一的识别模型处理所有图像数据。同时，在自然灾害等应急工况下，各载具的通信通常会收到影响，要求各载具尽可能在本地完成各种损害的识别和检测，减少对通信资源的占用。在上述的场景下，为每个无人载具搭载适配其损害数据的识别模型是一个较好的解决办法。然而，在联邦学习中，由于客户端数据分布不同，每个客户端的本地模型与全局模型的差异程度都不尽相同，并且在每轮联邦训练时本地模型与全局都在不断变化，模型混合时的权重难以确定。同时，模型层级间存在差异，将整个模型视为一个整体进行混合忽略了模型的层级差异性，影响了个性化模型的精度。

技术实现思路

1、发明目的：在地震等自然灾害对大坝损害的识别和检测中，针对联邦学习中数据异质性和粗粒度模型混合造成的个性化模型的精度低的问题，本发明基于自适应权重计算和模型分层混合技术，提供了一种基于权重自适应的多载具大坝损害识别方法及装置，能够在聚合多种无人载具对地震等自然灾害对大坝的损害进行识别和检测，为各无人载具提供适配的损害识别模型，同时保证无人载具的损害识别精准度。

2、技术方案：一种基于权重自适应的多载具大坝损害识别方法，该方法通过自适应权重计算和模型分层混合技术，在聚合多种无人载具对地震等自然灾害对大坝的损害进行识别和检测，为各无人载具提供适配的损害识别模型，同时保证无人载具的损害识别精准度。

3、自适应权重计算根据训练过程中得到的模型参数，通过链式求导法则更新分层权重值，找到各个载具模型的最优混合权重；

4、模型分层混合使用分层混合权重对本地模型和中间模型进行分层混合，动态调整全局模型捕获的所有载具之间的共享知识和中间模型所学习到的本地知识之间的平衡，保证了本地模型识别的准确度。

5、基于权重自适应的多载具大坝损害识别方法，通过巡检无人机、定点摄像头、轨道机器人和轮式机器人多型载具对应的损害图像数据，使得各个无人载具上训练的本地模型适配其损害图像数据；每个载具存储三个模型，分别为：本地模型、个性化模型的中间版本(后面统称为中间模型)和个性化模型，包括以下步骤：

6、步骤1)根据多载具获取的大坝灾后损害图像数据，通过联邦学习算法训练大坝灾后损害识别模型；在联邦训练每一轮训练之初，中央控制室服务器从参与当前训练轮次的载具集群中随机选择n台，将第t轮的全局模型wt发送至选中的n台载具；

7、所述多载具包括巡检无人机、定点摄像头、轨道机器人和轮式机器人。

8、步骤2)n台载具接收到全局模型wt，使用全局模型wt以及本地中间模型参数和权重初始化本地模型中间模型权重参数更新本地模型更新中间模型

9、步骤3)本地更新后，采用自适应权重计算，通过链式求导法则来动态调整模型分层混合权重

10、步骤4)在完成本地模型中间模型和模型分层混合权重多次迭代更新后，基于模型分层混合权重将本地模型与中间模型进行分层混合，得到个性化模型并将本地模型上传到中控室服务器；

11、步骤5)中控室服务器接收步骤1)中选中的参与本轮联邦训练的n台载具的本地模型参数，将所接收到的本地模型参数根据联邦平均法进行聚合，形成新的全局模型；

12、重复步骤1)-步骤5)直至达到指定的通信轮次t或各载具的大坝损害识别模型收敛，最终输出n台载具的个性化模型集合即为各载具的个性化大坝损害识别模型。各载具利用对应的大坝损害识别模型对采集的大坝灾后损害图像数据进行大坝损害识别。

13、进一步的，所述步骤2)中中间模型更新的具体步骤如下：

14、中间模型不参与全局聚合，因此在更新中间模型时，使用交叉熵损失函数：

15、

16、其中为交叉熵损失函数fcf的随机梯度，为第t轮通信时载具i的个性化模型，为交叉熵损失函数对v的梯度，η为学习率。

17、进一步的，所述步骤3)中自适应权重计算的具体步骤如下：

18、训练个性化模型时，需要根据权重参数在本地模型和中间模型之间进行权衡，权重系数的更新是基于本地模型与中间模型的差异和个性化模型的梯度，可在训练过程中根据函数的链式求导法则更新更新的公式如下：

19、

20、其中为第t轮通信时载具i的层级混合权重，表示个性化模型的交叉熵损失函数的随机梯度。

21、进一步的，所述步骤4)中权重感知的具体步骤如下：

22、通过分层表示，本地模型中间模型和个性化模型可表示为：

23、

24、

25、

26、其中p为模型的总层数，和分别表示本地模型、中间模型和个性化模型的第j层参数；

27、个性化模型通过以下公式获得：

28、

29、其中为一个1×p的向量，为模型分层混合时中间模型第j层的权重，⊙为哈达玛积，1为和大小相同元素全为1的单位向量。

30、基于权重自适应的多载具大坝损害识别装置，包括中控室服务器和作为客户端的多型载具，多型载具包括无人机、定点摄像头、轨道机器人和轮式机器人；利用多型载具集群采集大坝区域巡检图像数据；

31、中控室服务器选择一部分载具参与联邦训练，然后参与训练的各载具从中控室服务器接收全局模型。利用接收到的全局模型、上一轮训练保存的个性化模型和权重参数，分别初始化本轮通信的本地模型、中间模型和权重参数；

32、各个无人载具使用交叉熵损失函数来更新本地模型和中间模型。在各载具上的本地模型和中间模型迭代完毕后，按照层级权重将本地模型与中间模型进行分层混合得到个性化模型；

33、中控室服务器接收来自参与本轮联邦训练的载具的本地模型参数将所接收到的载具本地模型参数根据联邦平均法进行聚合，更新中控室服务器上的全局模型得到t+1轮的全局模型wt+1；重复上述过程直至达到指定的通信轮次或各载具的大坝损害识别模型收敛，最终输出各载具的个性化模型集合，即为各载具的个性化大坝损害识别模型。各载具集群采集大坝区域巡检图像数据，利用个性化大坝损害模型进行大坝损害识别。

34、基于权重自适应的多载具大坝损害识别装置的模型训练更新过程与方法相同，不再赘述。

35、基于权重自适应的多载具大坝损害识别系统包括多型采集模块、个性化模型构建模型、中央服务器模块；

36、所述多型采集模块，包括巡检无人机、定点摄像头、挂轨机器人和轮式机器人，用于采集大坝不同区域的巡检图像数据，巡检无人机巡检上下游坝面，定点摄像头巡检固定裂缝跟踪孔等狭窄区域，挂轨机器人巡检内部廊道，轮式机器人巡检坝顶等宽敞区域；

37、所述个性化模型构建模型用于在多型载具采集所巡检区域的数据后通过自适应权重和分层混合得到个性化模型；

38、所述中央服务器模块，用于收集多型载具的模型参数梯度并完成全局模型的更新。

39、所述系统的实现过程与方法实现过程相同，不再赘述。

40、有益效果：与现有技术相比，本发明提供了基于权重自适应的多载具大坝损害识别方法，该方法通过自适应权重计算和模型分层混合技术，在聚合多种无人载具对地震等自然灾害对大坝的损害进行识别和检测，为各无人载具提供适配的损害识别模型，同时保证无人载具的损害识别精准度；自适应权重计算根据训练过程中得到的模型参数，通过链式求导法则更新分层权重值，找到各个载具模型的最优混合权重；模型分层混合使用分层混合权重对本地模型和中间模型进行分层混合，动态调整全局模型捕获的所有载具之间的共享知识和中间模型所学习到的本地知识之间的平衡，保证了本地模型识别的准确度。本发明解决了各边缘载具采集的图像数据难以大批量上传和单一模型无法适应各个边缘载具对应的缺陷数据的问题，缓解了各个边缘载具的数据异质性造成的损害识别模型精度下降问题，保证了载具的损害识别模型精度。