一种隐私保护的图像分类方法及装置

本发明属于多方安全计算、隐私保护推理、图像分类，尤其涉及一种隐私保护的图像分类方法及装置。

背景技术：

1、vgg19、resnet152等大模型的出现促进了神经网络推导在图像分类领域更为流行和火爆。但这一过程中也产生了新的隐私问题，一方面用户不希望模型提供者获取他输入图像里的私人信息；另一方面模型提供者也不希望其模型数据被用户或其他竞争者获取。因此隐私保护神经网络推理应运而生，利用多方安全计算可以实现隐私保护的神经网络推理，在图像分类领域也即隐私保护的图像分类。即利用多方安全计算的各种协议加密用户输入的图像和服务提供者的神经网络，再对用户的输入运行神经网络的推理功能。在协议执行结束时，用户和服务提供者都得到最终的图像分类结果，并且本方的输入都未泄露给对方。但本身用于图像分类的大模型的训练和部署就非常耗时，并且安全多方计算的执行性能也比较低，因此导致隐私保护图像分类的性能十分低效。

技术实现思路

1、针对现有技术存在的问题，本申请实施例的目的是提供一种隐私保护的图像分类方法及装置。

2、根据本申请实施例的第一方面，提供一种隐私保护的图像分类方法，包括：

3、基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的relu激活层替换为平方激活层；

4、模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；

5、客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。

6、进一步地，所述激活层的替换具体为：

7、分别将每个relu激活层替换为平方激活层并进行预定轮次的微调，获得准确度下降的数值，利用各个层的准确度下降的数值对该层赋一个权重；

8、利用二分算法进行被替换层的查找，从而完成relu激活层到平方激活层的替换，在每一轮二分查找中：

9、根据每个relu激活层的权重，随机挑选特定数量的relu激活层作为被替换层；

10、将被替换层的relu函数替换为relu函数和平方函数的叠加态，其中平方线的系数由0变化到1，从而使得relu激活层逐渐过渡为平方激活层。

11、进一步地，所述权重，其中dj为relu激活层layerj准确度下降的数值，n为所述预训练图像分类模型中激活层的总数。

12、进一步地，所述relu函数和平方函数的叠加态为：

13、

14、其中，取自函数，其中t为微调阶段的总迭代次数，t为当前迭代次数。

15、进一步地，利用k叉-树状进化算法进行超参数的调整。

16、进一步地，所述k叉-树状进化算法具体为：

17、每个节点产生多个随机进化方向作为其孩子节点，若该孩子节点使得准确度下降过大则剪枝；每个父节点的孩子节点按准确度进行排序，最多保留k个孩子节点，其余孩子节点被剪枝；若该孩子节点触发衰退事件则导致回溯，将其父节点的状态拷贝为其孩子节点的状态。

18、进一步地，通过动态规划进行安全多方计算协议的分配，具体为：

19、从开始层向下依次遍历所有网络层，对第i网络层，计算其以每一种协议进行执行时，从开始层到第i层这个子网络的最小执行开销，从而得到所有网络层的协议类型。

20、进一步地，将所述平方激活层及其前面的卷积层或全连接层固定为算术共享协议类型，利用平方激活层将模型划分为若干区间的特性，在各区间内并行通过动态规划进行安全多方计算协议的分配。

21、根据本申请实施例的第二方面，提供一种隐私保护的图像分类装置，包括：

22、模型调整模块：基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的relu激活层替换为平方激活层；

23、协议分配模块：模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；

24、图像分类模块：客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。

25、根据本申请实施例的第三方面，提供一种电子设备，包括：

26、一个或多个处理器；

27、存储器，用于存储一个或多个程序；

28、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

29、本申请的实施例提供的技术方案可以包括以下有益效果：

30、由上述实施例可知，本申请可以在保证图像分类精度满足用户给定阈值的前提下，进行优化神经网络的结构、选择合适的超参数、给各个网络层分配适当的协议类型，以实现高效地执行隐私保护图像分类的过程。并且整个流程不需要重新训练完整的神经网络，只需要对已经训练好的神经网络进行微调。大大提升了隐私保护图像分类的执行效率。

31、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种隐私保护的图像分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述激活层的替换具体为：

3.根据权利要求2所述的方法，其特征在于，所述权重，其中dj为relu激活层layerj准确度下降的数值，n为所述预训练图像分类模型中激活层的总数。

4.根据权利要求2所述的方法，其特征在于，所述relu函数和平方函数的叠加态为：

5.根据权利要求1所述的方法，其特征在于，利用k叉-树状进化算法进行超参数的调整。

6.根据权利要求5所述的方法，其特征在于，所述k叉-树状进化算法具体为：

7.根据权利要求1所述的方法，其特征在于，通过动态规划进行安全多方计算协议的分配，具体为：

8.根据权利要求7所述的方法，其特征在于，将所述平方激活层及其前面的卷积层或全连接层固定为算术共享协议类型，利用平方激活层将模型划分为若干区间的特性，在各区间内并行通过动态规划进行安全多方计算协议的分配。

9.一种隐私保护的图像分类装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

技术总结
本发明公开了一种隐私保护的图像分类方法及装置，该方法包括：基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。

技术研发人员：张秉晟,刘健,任奎
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/1/15