基于联邦学习的多方隐私数据联合像素级标注方法及系统

本发明属于人工智能领域，具体涉及一种基于联邦学习的多方隐私数据联合像素级标注方法及系统。

背景技术：

1、在当前的数字化时代，数据标注成为了许多领域中智能化应用和算法研究的重要基础。然而，传统的数据标注方法通常需要大量的人力资源和时间投入，成本高昂且效率低下。同时，随着隐私保护意识的提高，许多数据所有者不愿意将其隐私数据直接共享给第三方进行标注，导致了隐私数据的利用受限。为了解决这些问题，联邦学习成为了一种备受关注的解决方案。联邦学习允许在保护数据隐私的前提下，多个数据所有者能够共同训练一个全局模型，从而实现隐私数据的像素级高效标注。然而，现有的联邦学习方法主要集中在模型训练和参数聚合，对于像素级标注这种需要高度准确标注的任务，传统的联邦学习方法并不适用。因此，如何将联邦学习应用于像素级标注任务中，是目前亟待解决的技术问题。

技术实现思路

1、本发明的目的是克服现有的不足，提供一种基于联邦学习的多方隐私数据联合像素级标注方法、装置及介质。

2、为实现本发明目的，提供的技术方案如下：

3、第一方面，本发明提供了一种基于联邦学习的多方隐私数据联合像素级标注方法，其包括如下步骤：

4、s1：交互式语义分割标注：各用户使用交互式语义分割大模型，在本地私有的图像数据中将其感兴趣的各个语义类别进行像素级标注，形成本地标注数据；

5、s2：模型训练：每个用户本地的客户端使用本地标注数据训练用于语义分割的本地模型，通过修正的交叉熵损失函数，纠正本地模型更新过程中的本地类别漂移问题；

6、s3：模型聚合：当本地模型训练若干轮后，每个客户端将其训练更新后的本地模型发送到中心服务器，中心服务器收集来自所有客户端的模型更新，然后进行聚合后更新用于语义分割的全局模型，使全局模型拥有预测全部类别能力；

7、s4：模型更新：聚合更新完成后，中心服务器将全局模型的更新发送回每个客户端；客户端通过全局模型来改进本地模型，并进一步通过像素级对比学习损失函数，将各个语义类别在编码空间中区分，扩大本地模型的标注类别；

8、s5：反复迭代：不断迭代s2～s4，重复联邦学习训练过程，直到达到终止条件后，各用户利用客户端中训练完毕的本地模型进行本地图像数据的像素级标注。

9、作为上述第一方面的优选，所述步骤s1的具体实现方法如下：

10、s11：图像选择和预处理：用户在本地选择需要进行语义分割的图像，并将这些图像预处理为符合模型输入要求的输入图像i；

11、s12：用户手工标注：用户使用交互式工具对选择的图像中感兴趣的语义类别进行交互标注，标注过程中使用前景点背景点标注或边界框标注方法来选择图像中的特定区域，从而形成手工标注p；

12、s13：像素级标注生成：交互式语义分割大模型接收用户提供的手工标注，然后将这些手工标注扩展到像素级别，为用户感兴趣的各个语义类别生成像素级的标注，形成本地数据集；

13、所述交互式语义分割大模型由一个图像编码器enci、一个标注编码器encp和一个轻量级掩码解码器decm组成；

14、交互式语义分割大模型以一个图像i和一组手工标注p作为输入，首先利用图像编码器enci获得输入图像i的特征，用标注编码器encp将用户给定的手工标注p编码成c维的token：

15、fi＝enci(i),tp＝encp(p)

16、其中和其中h和w表示输入图像特征的分辨率，k表示手工标注的长度；编码后得到的fi和tp输入到解码器decm中，进行基于注意力的特征交互；交互式语义分割大模型再通过将可学习的token tm作为前缀与提示tokenfi拼接，构建成解码器的输入token并负责生成最终的掩模输出；解码器decm中的解码过程描述为

17、m＝decm(fi,concat(tm,tp))

18、其中m表示交互式语义分割大模型的预测掩模，concat(,)表示拼接函数。

19、作为上述第一方面的优选，所述步骤s2的具体实现方法如下：

20、s21：本地模型初始化：对于总数量为n的客户端，每个客户端i都有一个用于语义分割模型训练的本地标注数据集每个客户端通过随机初始化或采用中心服务器下发的全局模型初始化本地模型；

21、s22：数据预处理：每个客户端对本地标注数据集进行预处理，将数据转换为适合训练模型的格式；

22、s23：本地模型训练：在每一轮训练中，所有的客户端都在本地数据集上通过最小化损失函数来迭代优化本地模型，使得每个客户端模型的参数wi逐渐趋近于全局最优；其中客户端i训练时采用的修正的交叉熵损失函数为：

23、

24、其中表示所有像素的集合，yj是像素j的真实标签，以及

25、

26、其中，px(j,c)表示像素j为语义类别c的预测概率，是所有语义类别的集合，是客户端i中注释的类别的集合，m是语义类别的总数

27、s24：保存模型更新：当本地模型迭代训练完成若干轮后，每个客户端将保存训练后的本地模型，并将最新的本地模型参数发送到中心服务器。

28、作为上述第一方面的优选，所述步骤s3中具体实现步骤如下：

29、每个客户端i将自己最新的本地模型参数wi发送到中心服务器，中心服务器按下式加权聚合更新全局模型中的模型参数：

30、

31、其中，wi是客户端i的本地模型参数，w是中心服务器上更新后的全局模型参数，||表示取模操作。

32、作为上述第一方面的优选，所述步骤s4的具体实现方法如下：

33、s41：全局模型同步：中心服务器将更新后的全局模型参数通过安全的数据传输协议发送到每个客户端；

34、s42：本地模型调整：每个客户端接收到中心服务器下发的全局模型参数后，通过直接参数覆盖或者知识蒸馏的方式对本地模型进行相应的参数调整；

35、s43：对比学习：在本地模型完成参数调整后，客户端进一步采用像素级对比学习损失函数来对各个语义类别在编码空间中进行区分。

36、作为上述第一方面的优选，所述s43中，客户端进一步采用像素级对比学习损失函数来对各个语义类别在编码空间中进行区分的具体步骤如下：

37、s431：特征提取：在本地模型完成参数调整后，每个客户端首先运用最新的本地模型对本地标注数据集中的图像进行像素级的特征提取，图像中的每个单独的像素j被视作一个实例由本地模型获取像素j的特征表示vlocal,j，然后对各图像打上包括每个像素点的语义类别的伪标签，最后采用平均操作将本地标注数据集的图像中属于同一语义类别的像素特征表示vlocal,j聚合成一个本地区域表示vlocal，每种语义类别c均对应于一个本地区域表示vlocal；

38、s432：特征分享：各个客户端在完成s431后，将本地生成的区域表示vlocal以及伪标签上传至中心服务器，然后分享给其他客户端，每个客户端接收其他所有客户端的分享数据后，将来源于其他客户端的所有分享数据中的区域表示vlocal作为自身客户端的异源区域表示vother；

39、s433：计算对比学习损失函数：每个客户端中，首先针对来自其他客户端的区域表示进行逐语义类别的正负样本划分，其中：对于每一种语义类别c，其对应的本地区域表示为vlocal，将属于语义类别c的异源区域表示vother作为正样本不属于语义类别c的异源区域表示vother作为负样本接着，利用一个对比学习损失函数来优化本地模型，损失函数形式为：

40、

41、

42、其中，表示语义类别c的对比学习损失项，和分别表示语义类别c对应的正样本集合和负样本集，vlocal是语义类别c对应的本地区域表示，和分别是当前语义类别c对应的vlocal的正样本和负样本，τ是一个温度超参数。

43、作为上述第一方面的优选，所述步骤s5中，训练终止条件为多方数据标注效果达到用户要求，或者训练的迭代次数达到上限。

44、第二方面，本发明提供了一种基于联邦学习的多方隐私数据联合像素级标注系统，其包括交互式语义分割标注模块、模型训练模块、模型聚合模块、模型更新模块和迭代和标注模块；

45、交互式语义分割标注模块中，各用户使用交互式语义分割大模型，在本地私有的图像数据中将其感兴趣的各个语义类别进行像素级标注，形成本地标注数据；

46、模型训练模块中，每个用户本地的客户端使用本地标注数据训练用于语义分割的本地模型，通过修正的交叉熵损失函数，纠正本地模型更新过程中的本地类别漂移问题；

47、模型聚合模块中，当本地模型训练若干轮后，每个客户端将其训练更新后的本地模型发送到中心服务器，中心服务器收集来自所有客户端的模型更新，然后进行聚合后更新用于语义分割的全局模型，使全局模型拥有预测全部类别能力；

48、模型更新模块中，聚合更新完成后，中心服务器将全局模型的更新发送回每个客户端；客户端通过全局模型来改进本地模型，并进一步通过像素级对比学习损失函数，将各个语义类别在编码空间中区分，扩大本地模型的标注类别；

49、迭代和标注模块中，不断迭代执行交互式语义分割标注模块、模型训练模块、模型聚合模块和模型更新模块，重复联邦学习训练过程，直到达到终止条件后，各用户利用客户端中训练完毕的本地模型进行本地图像数据的像素级标注。

50、第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述第一方面任一方案所述的基于联邦学习的多方隐私数据联合像素级标注方法。

51、第四方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；

52、所述存储器，用于存储计算机程序；

53、所述处理器，用于当执行所述计算机程序时，实现如上述第一方面任一方案所述的基于联邦学习的多方隐私数据联合像素级标注方法。

54、相对于现有技术而言，本发明的有益效果如下：1、降低数据标注成本：传统的数据标注方法通常需要大量的人力资源和时间投入，成本高昂且效率低下。而本发明采用联邦学习的方法，允许多个数据所有者在保护数据隐私的前提下共同训练一个全局模型，避免了数据直接共享的风险，显著降低了数据标注的成本。2、保护数据隐私：随着隐私保护意识的提高，许多数据所有者不愿意将其隐私数据直接共享给第三方进行标注。而本发明基于联邦学习的方法允许数据所有者在本地保留数据，仅共享模型更新，有效保护了数据隐私。3、提高标注准确性：本发明通过引入交互式语义分割大模型和修正的交叉熵损失函数，对本地模型的训练过程进行优化。修正的交叉熵损失函数纠正了本地类别漂移问题，提高了模型对各个类别的准确性和标注质量。4、扩大标注类别：通过全局模型的更新和像素级对比学习损失函数的引入，本发明使得各个语义类别在编码空间中得到区分，从而扩大了本地模型的标注类别。这使得模型具备更广泛的标注能力，能够预测更多类别的语义信息。