一种脱敏图像数据的隐私对象推断方法、设备及存储介质

本发明涉及图像隐私混淆技术评估领域，尤其涉及一种脱敏图像数据的隐私对象推断方法。

背景技术：

1、在当今时代，随着移动摄像硬件的发展和网络社交分享的流行，人们已经习惯于将照片或视频上传到流行的社交分享平台。随着个人信息保护法的公布和推行实施，人们越来越关切个人隐私安全问题。由于从拍摄设备本地上传到云端的网络链路不可信任，上传的数据可能被恶意者截获，导致图像隐私的泄露问题。因此已有大量相关研究提出了在设备本地保护用户图像隐私的方案。由于安全加密、差分隐私、对抗样本扰动等其他图像隐私保护技术在移动设备上的发展受到计算资源、用户使用难易程度的限制，用户常用的图像脱敏方式仅局限于图像混淆技术，具体包括像素化、模糊、涂鸦、贴纸覆盖、抹除修复等。然而，这些脱敏方法保护图像隐私的有效性无法保证。

2、曾经有研究者们为了引起公众对于这些图像混淆技术隐私安全性的关注，尝试使用不同的计算机视觉任务模型攻击被混淆的图像。针对像素化和模糊这两种图像混淆技术，国内外已经有一些研究人员付出努力来探索过他们被不同任务的深度学习模型攻击的抵御能力。然而目前对图像混淆技术的攻击或评估方法一方面局限于图像中人脸的混淆、文本内容的混淆以及整张图像的混淆，忽略了隐私对象的多样性；另一方面则主要集中于像素化、模糊这类图像混淆技术，忽略了混淆保护技术的多样性。另外有一些研究探索并提出了一些对部分遮挡有较高鲁棒性的对象检测识别算法。然而目前的关于被部分遮挡的对象识别依赖于图像中被遮挡对象的局部视觉特征，而用户在脱敏隐私信息时会尽可能遮盖局部视觉特征，因此这些技术很难应用于从被混淆技术脱敏的图像中识别隐私信息的任务。

3、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供了一种脱敏图像数据的隐私对象推断方法、设备及存储介质，能在用户图像拍摄设备本地推断基于图像混淆的脱敏物体，来评估脱敏方式对用户的待发布图像进行隐私信息保护的有效性，进而解决现有技术中存在的上述技术问题。

2、本发明的目的是通过以下技术方案实现的：

3、一种脱敏图像数据的隐私对象推断方法，包括：

4、步骤1，获取脱敏图像数据：获取待推断隐私对象的脱敏图像；

5、步骤2，提取隐私信息语境上下文：通过图像篡改检测定位方式确定所述脱敏图像中的被脱敏隐私对象所在脱敏区域的位置，提取脱敏区域的视觉特征；通过对象识别方式确定所述脱敏图像中的未脱敏对象的位置，并识别得出未脱敏对象的类别以及提取未脱敏对象所在区域的视觉特征；通过图像场景分类方式确定所述脱敏图像中的图像场景的类别并提取图像场景所在区域的视觉特征；

6、步骤3，构建图像中语义信息关系：根据脱敏区域的位置和视觉特征，未脱敏对象的位置、类别和视觉特征，以及图像场景的类别和视觉特征构建语义空间关系图；

7、步骤4，基于上下文的关系图推理：采用带注意力机制的门控图神经网络模型从所述语义空间关系图中学习脱敏区域节点的隐式表示，得出脱敏区域节点的特征表示，对脱敏区域节点的特征表示进行分类得出脱敏区域节点对应的被脱敏隐私对象的类别。

8、一种处理设备，包括：

9、至少一个存储器，用于存储一个或多个程序；

10、至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现本发明所述的方法。

11、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现本发明所述的方法。

12、与现有技术相比，本发明所提供的脱敏图像数据的隐私对象推断方法、设备及存储介质，其有益效果包括：

13、通过融合图像中脱敏区域的视觉语境上下文信息的图结构学习方法推断图像中被脱敏对象的类别，能在手机拍摄设备上高效推断混淆脱敏图像中被混淆技术隐藏的隐私信息，该方法推断隐私对象类别的准确率最高可达82.17％，平均可达77.72％；在手机拍摄设备上的推断处理时间仅需2秒，能很好的评估现有混淆脱敏技术在隐私安全性方面是否存在严重漏洞，是一种在设备本地评估图像混淆脱敏技术对于隐私保护有效性的方法，以便用户在上传之前直观了解他们的私人图像隐私安全性以采取方案更好地保护隐私。

技术特征：

1.一种脱敏图像数据的隐私对象推断方法，其特征在于，包括：

2.根据权利要求1所述的脱敏图像数据的隐私对象推断方法，其特征在于，所述步骤2中，按以下方式通过图像篡改检测定位方式确定所述脱敏图像中的被脱敏隐私对象所在脱敏区域的位置，提取脱敏区域的视觉特征，包括：

3.根据权利要求2所述的脱敏图像数据的隐私对象推断方法，其特征在于，所述图像篡改检测定位模型采用mantra-net的图像篡改检测定位模型；

4.根据权利要求2或3所述的脱敏图像数据的隐私对象推断方法，其特征在于，所述步骤2中，预先训练图像篡改检测定位模型和对象识别模型所用的脱敏图像数据集是从社交分享平台获取的经过脱敏处理的用户已公开的脱敏图像数据集，获取脱敏图像数据集后对其中的脱敏图像的被脱敏隐私对象、未脱敏对象的类别和位置、图像场景的类别进行标注。

5.根据权利要求4所述的脱敏图像数据的隐私对象推断方法，其特征在于，所述方法中，是通过关键词搜索、关键词爬取、日常下载收集中的一种或多种从社交分享平台获取的经过脱敏处理的用户已公开的脱敏图像数据集。

6.根据权利要求1-3任一项所述的脱敏图像数据的隐私对象推断方法，其特征在于，所述步骤3中，按以下方式根据被脱敏隐私对象的位置和视觉特征，未脱敏对象的位置、类别和视觉特征，以及图像场景的类别和视觉特征构建语义空间关系图，包括：

7.根据权利要求5所述的脱敏图像数据的隐私对象推断方法，其特征在于，所述未脱敏对象节点、脱敏区域节点和图像场景节点的初始化是将将各节点包含的各种信息拼接成特征向量；

8.根据权利要求1-3任一项所述的脱敏图像数据的隐私对象推断方法，其特征在于，所述步骤4中，所述带注意力机制的门控图神经网络模型由依次连接的门控图神经网络模型、图注意力网络模型、全连接层和softmax分类器组成，该带注意力机制的门控图神经网络模型按以下方式从所述语义空间关系图中学习脱敏区域节点的隐式表示，得出脱敏区域节点的特征表示，推断出脱敏区域节点对应的被脱敏隐私对象的类别，包括：

9.一种处理设备，其特征在于，包括：

10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时能实现权利要求1-8任一项所述的方法。

技术总结
本发明公开了一种脱敏图像数据的隐私对象推断方法，包括：步骤1，获取待推断隐私对象的脱敏图像；步骤2，确定脱敏图像中的被脱敏隐私对象所在脱敏区域位置和视觉特征；确定脱敏图像中的未脱敏对象位置、类别和视觉特征；确定图像场景类别和视觉特征；步骤3，构建图像中语义信息关系：根据脱敏区域的位置和视觉特征，未脱敏对象的位置、类别和视觉特征，及图像场景的类别和视觉特征构建语义空间关系图；步骤4，用门控图神经网络‑注意力网络模型迭代更新从语义空间关系图中学习脱敏区域节点的特征表示，得出脱敏区域节点的特征表示，推断出脱敏区域节点对应的被脱敏隐私对象的类别。该方法能评估现有脱敏隐私技术的安全性。

技术研发人员：李向阳,刘苏源,张兰
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/5/16