基于联邦学习和架构搜索的AIGC模型的建立方法与流程

本发明属于机器学习，具体涉及一种基于联邦学习和架构搜索的aigc模型的建立方法。

背景技术：

1、随着人工智能、算力及多模态技术的发展，在自然语言处理、图像生成、视频处理等领域产生了大量的人工智能生成内容(aigc)。在边缘计算场景，为每个边缘节点实现个性化aigc可以满足不同任务的需求。然而aigc的训练需要大量的数据，且会涉及到个人隐私问题；同时，为每个边缘节点训练aigc模型需要耗费大量的时间和人力成本。

2、在这种场景下，如何通过一定的技术实现边缘节点的aigc，从而保证每个边缘节点数据的隐私和安全，并且减少人工参与度，提高模型训练效率是一个值得关注的问题。现有技术中将aigc技术和边缘环境结合的技术较少，同时存在以下缺点：1、模型需要大量的数据进行训练，会对个人隐私安全造成一定的损害；2、模型的训练需要昂贵的时间和人力成本，因此模型的训练效率有待提高。

技术实现思路

1、针对以上问题，本发明提出了一种基于联邦学习和架构搜索的aigc模型的建立方法，实现了边缘计算环境下的个性化aigc的建立。为解决以上技术问题，本发明所采用的技术方案如下：

2、一种基于联邦学习和架构搜索的aigc模型的建立方法，包括如下步骤：

3、s1，建立包括若干个边缘设备和一个中心服务器的aigc模型训练系统，所述中心服务器中设有基于有向无环图的路径所构成的搜索空间；

4、所述有向无环图的节点的数量为n，节点之间设有供搜索时选择网络层的网络层集合；

5、s2，收集训练样本集，将训练样本集划分为训练集和验证集，初始化迭代轮次t＝1，并设置总训练次数t；

6、s3，基于架构搜索方法对搜索空间进行搜索，同时基于搜索路径和训练集数据进行训练得到aigc网络模型，利用验证集数据对aigc网络模型进行优化得到aigc初始模型；

7、s4，将步骤s3得到的aigc初始模型部署到每个边缘设备上，每个边缘设备以最小化模型损失函数为目标基于本地样本对aigc初始模型进行训练得到对应于每个边缘设备的aigc本地模型，并将aigc本地模型上传到中心服务器；

8、s5，中心服务器对接收到的aigc本地模型进行聚合更新得到aigc全局模型；

9、s6，判断t＜t，如果是，执行t＝t+1，返回步骤s4并基于aigc全局模型对aigc初始模型进行更新，否则训练结束。

10、当需要建立用于处理图像数据的aigc模型时，所述网络层包括卷积层、池化层和全连接层；当需要建立用于处理数值数据的aigc模型时，所述网络层包括输入层、输出层和隐藏层。

11、所述步骤s3包括如下步骤：

12、s3.1，基于架构搜索方法对搜索空间进行搜索，基于搜索路径中每条边所代表的操作以最小化训练集损失函数为目标对训练集进行训练得到aigc网络模型；

13、所述操作是指从网络层集合中所选的网络层；

14、s3.2，以最小化验证集损失函数为目标将验证集输入aigc网络模型进行优化得到aigc初始模型。

15、在步骤s3.1中，每条边所代表的操作的输出的表达式为：

16、x(j)＝∑i＜jo(i,j)(x(i))；

17、式中，x(i)表示搜索路径中以节点i为终点的有向边所代表操作的输出，x(j)表示搜索路径中以节点j为终点的有向边所代表操作的输出，o(i,j)表示搜索路径上节点i和节点j之间的有向边代表的操作。

18、所述架构搜索方法满足以下要求：在搜索完成前，每条有向边所代表的操作均是不确定的；搜索时在每条有向边上放置混合操作以确保搜索空间的连续性；

19、所述混合操作是指节点到节点之间的所有有向边所代表操作的加权和，其表达式为：

20、

21、式中，αo(i,j)表示以节点i为起点、节点j为终点的有向边所代表的操作o的权重，o表示操作的集合也即网络层集合，o(·)表示操作函数，表示以节点i为起点、节点j为终点的有向边所代表的混合操作，x表示输入，表示以节点i为起点、节点j为终点的有向边所代表的操作o′的权重，且o≠o′。

22、在步骤s4中，所述aigc本地模型的表达式为：

23、

24、式中，mt,i表示边缘设备i在第t轮训练得到的aigc本地模型，mt-1,i表示边缘设备i在第t-1轮训练得到的aigc本地模型，η表示学习率，fi(m)表示边缘设备i的本地模型损失函数，且di表示边缘设备i上的本地样本集，fk(m)＝α(xk,yk,m)表示本地样本集中的实例(xk,yk)产生的损失函数。

25、本发明的有益效果：

26、1、基于边缘计算的特点，使用联邦学习的方法训练aigc模型，保证了每个边缘节点的数据安全。

27、2、利用架构搜索技术，避免了繁重的人工设计模型，实现了自动搜索模型，大大提升了模型的设计和训练效率。

28、3、将联邦学习和架构搜索技术相结合，为每个边缘节点设计aigc模型，从而实现个性化的内容生成模型。

技术特征：

1.一种基于联邦学习和架构搜索的aigc模型的建立方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于联邦学习和架构搜索的aigc模型的建立方法，其特征在于，当需要建立用于处理图像数据的aigc模型时，所述网络层包括卷积层、池化层和全连接层；当需要建立用于处理数值数据的aigc模型时，所述网络层包括输入层、输出层和隐藏层。

3.根据权利要求1所述的基于联邦学习和架构搜索的aigc模型的建立方法，其特征在于，所述步骤s3包括如下步骤：

4.根据权利要求3所述的基于联邦学习和架构搜索的aigc模型的建立方法，其特征在于，在步骤s3.1中，每条边所代表的操作的输出的表达式为：

5.根据权利要求3所述的基于联邦学习和架构搜索的aigc模型的建立方法，其特征在于，所述架构搜索方法满足以下要求：在搜索完成前，每条有向边所代表的操作均是不确定的；搜索时在每条有向边上放置混合操作以确保搜索空间的连续性；

6.根据权利要求1所述的基于联邦学习和架构搜索的aigc模型的建立方法，其特征在于，在步骤s4中，所述aigc本地模型的表达式为：

技术总结
本发明公开了一种基于联邦学习和架构搜索的AIGC模型的建立方法，包括：S1，建立AIGC模型训练系统，中心服务器设有基于有向无环图构成的搜索空间；有向无环图节点间设有网络层集合；S2，初始化迭代轮次t＝1，设置总训练次数T；S3，基于架构搜索方法搜索，基于搜索路径和训练集得到AIGC网络模型，利用验证集优化得到AIGC初始模型；S4，边缘设备基于本地样本训练得到AIGC本地模型并上传；S5，中心服务器通过聚合更新得到AIGC全局模型；S6，判断t＜T，若是，t＝t+1，返回S4并基于AIGC全局模型对AIGC初始模型更新，否则训练结束。本发明可以实现自动搜索模型，提升模型设计和训练效率。

技术研发人员：姚欣,张子桐,王晓飞
受保护的技术使用者：派欧云计算（上海）有限公司
技术研发日：
技术公布日：2024/1/16