隐私保护模型的训练方法、隐私保护方法及系统与流程

本说明书涉及隐私保护领域，尤其涉及一种隐私保护模型的训练方法、隐私保护方法及系统。

背景技术：

1、目前，随着智能电子设备的广泛应用，生物识别技术得到了广泛推广，用户的生物识别图像被频繁采集、处理和传输，这将导致用户隐私信息的泄漏风险大幅增加。随着用户越来越重视对自身的图像等隐私信息的保护，因此，用户隐私信息的脱敏被广泛的应用于隐私保护领域。

2、如何得到安全性能高的轻量级隐私保护模型实现对用户隐私信息的保护，成为了当前面对的挑战之一。

3、需要说明的是，背景技术部分的内容仅仅是发明人个人所知晓的信息，并不代表上述信息在本公开申请日之前已经进入公共领域，也不代表其可以成为本公开的现有技术。

技术实现思路

1、本说明书提供的隐私保护模型的训练方法、隐私保护方法及系统，可以在保证隐私保护性能的前提下，得到轻量级的隐私保护模型。

2、第一方面，本说明书提供一种隐私保护模型的训练方法，包括：所述隐私保护模型包括脱敏模块，所述方法包括：训练预设隐私保护模型，得到第一脱敏模块；基于所述第一脱敏模块的参数的敏感度，基于所述第一脱敏模块的参数的敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块；以及以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。

3、在一些实施例中，所述预设隐私保护模型包括预设脱敏模块，所述训练预设隐私保护模型，包括：将第一样本图像集输入至所述预设隐私保护模型，基于第一训练目标对所述预设隐私保护模型进行迭代训练，以更新所述预设隐私保护模型的参数，其中，在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活。

4、在一些实施例中，所述在每次迭代中，基于所述预设脱敏模块的多个通道间的相关性，使所述预设脱敏模块的相关性低于预设的通道阈值的部分通道失活，包括：将当前迭代的第一训练图像输入至所述预设隐私保护模型中，得到所述预设脱敏模块的中间层输出的所述多个通道的特征值，所述第一训练图像是所述第一样本图像集中的至少一个样本图像；基于所述多个通道的特征值，确定所述预设脱敏模块的所述多个通道间的相关性，并将相关性低于所述通道阈值的部分通道作为失活通道；将所述预设脱敏模块中的所述失活通道的参数置零，得到失活脱敏模块；将所述第一训练图像输入至所述失活脱敏模块中，得到与其对应的第一脱敏图像；确定所述第一训练图像对应的第一损失信息，并基于第一训练目标以及所述第一损失信息更新所述预设脱敏模块的参数。

5、在一些实施例中，所述确定所述第一训练图像对应的第一损失信息，包括：确定所述第一训练图像与其对应的第一脱敏图像的第一相似度；确定所述第一训练图像与其对应的第一重建图像的第一差异，其中，所述第一重建图像是基于预设反脱敏模块对所述第一脱敏图像进行反脱敏得到的；以及确定所述失活通道的数量与所述多个通道的数量的第一比例，所述第一损失信息包括所述第一相似度、所述第一差异以及所述第一比例。

6、在一些实施例中，所述第一训练目标包括：约束所述第一相似度小于预设的第一脱敏阈值；约束所述第一差异小于预设的第一重建阈值；以及约束所述第一比例在预设的失活比例范围内。

7、在一些实施例中，所述训练预设隐私保护模型还包括：训练所述预设反脱敏模块，得到反脱敏模块。

8、在一些实施例中，所述以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块，包括：将第二样本图像集输入至所述第一脱敏模块，基于第二训练目标对所述第一脱敏模块进行迭代训练，以更新所述第一脱敏模块的参数，其中，在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁；迭代结束后得到最后一次迭代对应的剪裁参数以及最后一次迭代对应的第一脱敏模块；以及基于所述最后一次迭代对应的剪裁参数对所述最后一次迭代对应的第一脱敏模块进行剪裁，得到所述第二脱敏模块。

9、在一些实施例中，所述在每次迭代中，基于所述第一脱敏模块的每个参数的敏感度，确定当前迭代的裁剪参数，并基于所述裁剪参数对所述第一脱敏模块的参数进行剪裁，包括对于所述当前迭代：所述第一脱敏模块的每个参数的敏感度；基于所述第一脱敏模块的每个参数的敏感度，确定所述第一脱敏模块的剪裁参数；基于所述第一脱敏模块的剪裁的参数，对所述第一脱敏模块进行剪裁，得到第一剪裁脱敏模块；将第二训练图像输入至所述第一剪裁脱敏模块中，输出与其对应的第二脱敏图像，所述第二训练图像是所述第二样本图像集中的至少一个样本图像；确定所述第二训练图像对应的第二损失信息，并基于第二训练目标以及所述第二损失信息更新所述所述第一脱敏模块的参数。

10、在一些实施例中，所述确定所述第二训练图像对应的第二损失信息，包括：确定所述第二训练图像与其对应的第二脱敏图像的第二相似度；确定所述第二训练图像与其对应的所述第二重建图像的第二差异，其中，所述第二重建图像是基于预先训练好的反脱敏模块对所述第二脱敏图像进行反脱敏得到的；以及确定所述剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例，所述第二损失信息包括所述第二相似度、所述第二差异以及所述第二比例。

11、在一些实施例中，所述第二训练目标包括：约束所述第二相似度小于预设的第二脱敏阈值；约束所述第二差异小于预设的第二重建阈值；以及约束所述第二比例在预设的剪裁比例范围内。

12、在一些实施例中，所述确定所述第一脱敏模块的每个参数的敏感度，包括：将所述第二训练图像输入至所述第一脱敏模块，输出与其对应的第三脱敏图像；确定所述第二训练图像对应的第三损失信息；以及对所述每个参数执行：对当前参数添加预设扰动，确定所述预设扰动添加前后所述第三损失信息的变化量，并基于所述变化量确定所述当前参数的敏感度。

13、在一些实施例中，所述确定所述第二训练图像对应的第三损失信息，包括：确定所述第二训练图像与其对应的第三脱敏图像的第三相似度；以及确定所述第二训练图像与其对应的第三重建图像的第三差异，其中，所述第三重建图像是基于预先训练好的反脱敏模块对所述第三脱敏图像进行反脱敏得到的，其中，所述第三损失信息包括所述第三相似度和所述第三差异。

14、在一些实施例中，所述基于所述第一脱敏模块的每个参数的敏感度，确定所述剪裁参数，包括：将所述每个参数以及所述每个参数的敏感度输入至预设强化学习模块中，以所述第三训练目标训练所述预设强化学习模块；将所述每个参数以及所述每个参数的敏感度输入至训练后的强化学习模块中，确定参数剪裁规则，所述参数剪裁规则包括多个参数剪裁组合中的一个；以及基于所述参数剪裁规则，确定所述剪裁参数。

15、在一些实施例中，所述第三训练目标包括：约束所述第二训练图像与其对应的强化脱敏图像之间的强化相似度小于预设的第二脱敏阈值，所述强化脱敏图像为基于所述预设强化学习模型输出的预测参数裁剪规则对所述第一脱敏模块进行裁剪得到的中间裁剪脱敏模块基于所述第二训练图像得到的；

16、约束所述第二训练图像与其对应的强化重建图像之间的强化差异小于预设的第二重建阈值，所述强化重建图像是基于预先训练好的反脱敏模块对所述强化脱敏图像进行反脱敏得到的；以及

17、约束所述预设强化学习模型输出的预测参数裁剪规则对应的预测剪裁参数的数量与所述第一脱敏模块的所有参数的数量的第二比例在预设的裁剪比例范围内。

18、在一些实施例中，所述以知识蒸馏的方式训练所述第二脱敏模块，包括：基于第三样本图像集，以所述第一脱敏模块为教师模型，以所述第二脱敏模块为学生模型，对所述第二脱敏模块进行知识蒸馏，通过迭代训练，更新所述第二脱敏模块的参数。

19、在一些实施例中，在每次迭代中，包括：将当前迭代的第三训练图像输入至所述第一脱敏模块中，输出与其对应的第四脱敏图像，所述第三训练图像包括所述第三样本图像集中的至少一个样本图像；将所述第三训练图像输入至所述第二脱敏模块中，输出与其对应的第五脱敏图像；将所述第三训练图像、所述第四脱敏图像以及所述第五脱敏图像分别输入预先训练好的监督模块中，输出对应的监督特征值，所述监督特征值包括与所述第三训练图像对应的第一特征值、与所述第四脱敏图像对应的第二特征值以及与所述第五脱敏图像对应的第三特征值；以及确定所述第三训练图像对应的第四损失信息，并基于第四训练目标以及所述第四损失信息更新所述第二脱敏模块的参数。

20、在一些实施例中，所述确定所述第三训练图像对应的第四损失信息，包括：确定所述第四脱敏图像与其对应的第五脱敏图像的第四差异；确定所述第二特征值与其对应的所述第三特征值的第五差异；以及确定所述第一特征值与其对应的第三特征值的第四相似度，所述第四损失信息包括所述第四差异、所述第五差异以及所述四相似度，其中，所述第四训练目标包括：约束所述第四差异小于预设的第一一致性阈值；约束所述第五差异小于预设的第二一致性阈值；以及约束所述第四相似度小于预设的隐私性阈值。

21、第二方面，本说明书提供一种隐私保护方法，包括：获取目标图像；以及基于隐私保护模型对所述目标图像进行脱敏，得到目标脱敏图像，其中，所述隐私保护模型是通过如第一方面所述的隐私模型的训练方法训练得到的。

22、第三方面，本说明书还提供一种隐私保护系统，包括：至少一个存储介质，存储有至少一个指令集，用于进行图像脱敏；以及至少一个处理器，同所述至少一个存储介质通信连接，其中当所述隐私保护系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集执行如第二方面所述的隐私保护方法。

23、由以上技术方案可知，本说明书提供的一种隐私保护模型的训练方法、隐私保护方法及系统，包括：训练预设隐私保护模型，得到第一脱敏模块，也就是压缩前的基础脱敏模块；基于第一脱敏模块的参数敏感度，以参数剪裁的方式训练所述第一脱敏模块，得到第二脱敏模块；以及以知识蒸馏的方式训练所述第二脱敏模块，得到所述脱敏模块。其中参数敏感度更能反映参数的重要程度，基于参数敏感度的裁剪可以在裁剪的同时保证模型的安全性能。由此可见，采用本说明书提供的一种隐私保护模型的训练方法得到的所述脱敏模块，在保证图像脱敏的安全性能的同时，参数更少，模型体积更小，耗费的存储空间和算力也更少，相比于所述第一脱敏模块更轻量级；同时，基于所述第一脱敏模块，将剪裁后得到的第二脱敏模块采用蒸馏学习的方式训练，使得所述脱敏模块性能可以趋近于所述第一脱敏模块的性能，从而在实现轻量级的同时保证了脱敏的性能(隐私保护的性能)。因此，将所述脱敏模块应用于隐私保护方法，部署在算力和模型体积等受限的用户终端设备上可以提升终端设备的脱敏运算效率，同时保证了终端设备的脱敏安全性能。

24、本说明书提供的隐私保护模型的训练方法、隐私保护方法及系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的隐私保护方法及系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。