基于图像对抗的图像隐私保护方法、系统及计算机设备

1.本发明属于图像处理技术领域，具体涉及一种图像隐私保护方法。


背景技术：

2.近年来，由于机器学习和大数据相关技术的快速发展，图像识别在带来便利的同时，也带来隐私和道德问题。为了防止机器视觉和图像处理技术被滥用，图像对抗成为较为活跃的研究方向。图像对抗能够保留图像原本的语义(对人类而言)，同时能够屏蔽某些神经网络训练出来的模型的识别(对于机器而言)。
3.goodfellow等人在2014年发现了一个现象，根据神经网络识别图像的原理——即大多数神经网络依靠梯度方向优化损失函数来提升识别的准确率这个结论。如果利用这个结论，根据神经网络识别图片时计算出的损失函数的计算图的梯度方向施加一个有符号的扰动，那么这张图片的识别就非常有可能失败，被识别成其他的结果。这是最先提出的有关图像对抗的一篇论文，随后kurakin等人又提出了基于迭代的应用于物理世界的一种对抗方法。再随后亦有大量的论文，从各种程度上表明图像识别网络的易攻击性。
4.虽然现在有关图像对抗的研究很多，但缺少简单易用的对抗图像还原方法。在一些应用场景中，用户希望在不丢失过多图像语义的情况下能够不被现有的图像识别技术识别出来，同时能够将对抗图像进行还原。
5.随着神经网络的发展，研究者提出了一些巧妙设计的神经网络结构，如文献：arxiv:1712.02328[cs.cv]和arxiv:1802.07088[cs.lg]，研究者设计了一种天然具有可逆的特性的网络i
‑
revnet，利用该网络辅以填入图像额外的数据，可以正向将图像的向量转换为对抗后的图像防止被其他网络识别，也可以反向将被转换后的向量还原回去，在论文中也呈现了这一种可逆操作的成果，但是直接将图像向量保存为图像会有精度损失，无法还原，尽管这些精度损失是很细微的，但是对于神经网络是很致命的，这些精度损失会让神经网络没有办法还原出输入的数据，目前很难找到将对抗后的图像无损还原的方式。


技术实现要素：

[0006]
发明目的：本发明旨在提供一种基于图像对抗的图像隐私保护方法，该方法能够得到扰乱图像识别的对抗图像，同时还能够精确还原对抗图像。
[0007]
技术方案：本发明一方面公开了一种基于图像对抗的图像隐私保护方法，包括：
[0008]
s1、对原始图像进行标准化，得到标准化图像数据x；
[0009]
s2、根据选定的图像分类器d，训练图像对抗模型f的参数；
[0010]
s3、采用图像对抗模型f对标准化图像数据进行对抗处理，得到标准化对抗图像数据f(x)；
[0011]
s4、对标准化对抗图像数据进行逆标准化，得到对抗图像。
[0012]
所述图像对抗模型f为基于i
‑
revnet的可逆网络；还包括：
[0013]
s5、在对抗图像文件后增加标准化对抗图像数据；
[0014]
s6、图像还原时，读取对抗图像文件中的标准化对抗图像数据，采用对抗处理f的反向处理g从标准化对抗图像数据中还原标准化图像数据；
[0015]
s7、对还原的标准化图像数据进行逆标准化，得到还原的原始图像。
[0016]
另一方面，本发明公开了实现上述方法的图像隐私保护系统，包括：
[0017]
图像标准化模块，用于对原始图像进行标准化；
[0018]
图像对抗模型f，用于对标准化图像数据x进行对抗处理，生成标准化对抗图像数据；所述图像对抗模型f的参数根据选定的图像分类器d训练得到；
[0019]
图像逆标准化模块，用于对标准化图像数据进行逆标准化。
[0020]
所述图像对抗模型f为基于i
‑
revnet的可逆网络；
[0021]
还包括：
[0022]
图像拼接模块，用于在对抗图像文件后拼接标准化对抗图像数据；
[0023]
图像还原模块，用于读取对抗图像文件中的标准化对抗图像数据，采用对抗处理f的反向处理g从标准化对抗图像数据中还原标准化图像数据；还原的标准化图像数据由图像逆标准化模块进行逆标准化，得到还原的原始图像。
[0024]
另一方面，本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像隐私保护方法。
[0025]
有益效果：本发明公开的基于图像对抗的图像隐私保护方法，能够针对选定的图像分类器训练图像对抗模型的参数，从得到对抗图像；当图像对抗模型采用可逆网络，结合数据隐写技术，能够得到精确还原的原始图像。
附图说明
[0026]
图1为实施例1公开的图像隐私保护方法的流程图；
[0027]
图2为实施例1中对抗图像的识别结果；
[0028]
图3为实施例2公开的图像隐私保护方法的流程图；
[0029]
图4为实施例3公开的图像隐私保护系统的组成示意图。
具体实施方式
[0030]
下面结合附图和具体实施方式，进一步阐明本发明。
[0031]
实施例1：
[0032]
本发明公开了一种基于图像对抗的图像隐私保护方法，如图1所示，包括：
[0033]
s1、对原始图像进行标准化，得到标准化图像数据x；
[0034]
标准化后的图像数据x由图像每个像素的标准化数据组成，像素(j,k)处第i个色彩通道的标准化数据为x(i,j,k)，x(i,j,k)∈[0,1]，i＝1,
…
,c，j＝1,2,
…
,w，k＝1,2,
…
,h，c为图像色彩空间的通道数，如果为rgb图像，则c＝3，如果为灰度图像，则c＝1；w为图像像素宽度，h为图像像素高度；
[0035]
s2、根据选定的图像分类器d，训练图像对抗模型f的参数；
[0036]
图像对抗模型f的训练步骤为：
[0037]
a2.1、设定约束条件：
[0038]
如果图像对抗的目的是使分类器d的分类结果错误，即为无目标对抗，约束条件为：
[0039]
如果图像对抗的目的是使分类器d的分类结果为指定的类别t，即无论输入何种图像分类器d的分类结果都是指定的类别t，此时为指定目标对抗，约束条件为：
[0040]
其中f(
·
)为选取的图像对抗算法，可以选择快速梯度符号算法fgsm(fast gradient sign method)或生成式对抗扰动gap(generativeadversarialperturbation)；f(x)为对抗处理后的标准化对抗图像数据，由对抗图像中每个像素的标准化数据组成，其每个元素的取值范围为[0,1]；d(x,f(x))为x与f(x)的差异，定义为：y(i,j,k)为对抗图像数据中像素(j,k)处第i个色彩通道的标准化数据，y(i,j,k)∈[0,1]；ε为预设的差异阈值；t为指定的目标类别；d(x)为x作为输入时分类器d的输出；
[0041]
本实施例中采用由mnist数据集训练的lenet网络作为分类器d，即d为训练好的手写图像识别神经网络，能够对手写图像进行分类识别。分类器d接受24*24的手写灰度图像归一化成的向量作为输入，输出为一个1*10的向量，表示softmax运算后可能是某个数字的概率，该网络由2个卷积层，1个dropout层和2个全连接层组成，每层之间通过relu作为激活函数传递，最后通过softmax来归一化输出每个数字可能的概率。本实施例中采用fgsm攻击来生成对抗图像。
[0042]
a2.2、在约束条件下通过最小化目标函数对图像对抗模型f的参数进行优化，所述目标函数l
a
为：
[0043]
其中为交叉熵损伤函数，为对抗损失函数；的定义为：
[0044][0045]
如果是无目标对抗，为：
[0046][0047]
如果是指定目标对抗，为：
[0048][0049]
其中，x
n
为第n个训练样本标准化处理后的图像数据，n为训练样本的总数；m为常数，本实施例中设置为(w*h)/50。
[0050]
本实施例中采用采用sgd作为优化器来最小化目标函数，得到训练好的图像对抗
模型f。
[0051]
s3、采用图像对抗模型f对标准化图像数据进行对抗处理，得到标准化对抗图像数据f(x)；
[0052]
s4、对标准化对抗图像数据进行逆标准化，得到对抗图像。
[0053]
如图2所示，对抗图像肉眼能够分别为数字6，但分类器d将其识别为数字2，证明了图像对抗模型f的有效性。
[0054]
实施例2：
[0055]
本实施例与实施例1的区别在于，本实施例中的图像对抗模型f为基于i
‑
revnet的可逆网络，从得到的对抗图像中能够精确还原得到原始图像，如图3所示，具体步骤为：
[0056]
s1、对原始图像进行标准化，得到标准化图像数据x；
[0057]
s2、根据选定的图像分类器d，训练图像对抗模型f的参数；
[0058]
对图像对抗模型f的训练步骤为：
[0059]
b2.1、设定约束条件：
[0060]
如果是无目标对抗，约束条件为：
[0061]
如果是指定目标对抗，约束条件为：
[0062]
其中，x为标准化图像数据，由图像每个像素的标准化数据组成，像素(j,k)处第i个色彩通道的标准化数据为x(i,j,k)，i＝1,
…
,c，j＝1,2,
…
,w，k＝1,2,
…
,h，c为图像色彩空间的通道数，w为图像像素宽度，h为图像像素高度；
[0063]
f(x)为对抗处理后的对抗图像数据，由对抗图像中每个像素的标准化数据组成；d(x,f(x))为x与f(x)的差异，定义为：
[0064]
y(i,j,k)为对抗图像数据中像素(j,k)处第i个色彩通道的标准化数据；
[0065]
ε为预设的差异阈值；t为指定的目标类别；g为对抗处理f的反向处理，g(f(x))为对f(x)进行反向处理的结果，约束条件中的g(f(x))＝x使得对抗处理的反向处理能够将对抗图像精确还原。
[0066]
b2.2、在约束条件下通过最小化目标函数对图像对抗模型f的参数进行优化，所述目标函数l
b
为：
[0067]
其中为交叉熵损伤函数，为对抗损失函数；的定义为：
[0068][0069]
如果是无目标对抗，为：
[0070][0071]
如果是指定目标对抗，为：
[0072][0073]
其中，x
n
为第n个训练样本标准化处理后的图像数据，n为训练样本的总数；m为常数，设置为(w*h)/50。
[0074]
本实施例中采用gap攻击来生成对抗图像，图像对抗模型f采用i
‑
revnet结构，其每一层都可逆，并利用带有标签的图像数据集imagenet来训练图像对抗模型f。
[0075]
s3、采用图像对抗模型f对标准化图像数据进行对抗处理，得到标准化对抗图像数据f(x)；
[0076]
s4、对标准化对抗图像数据进行逆标准化，得到对抗图像。
[0077]
s5、在对抗图像文件后增加标准化对抗图像数据，具体为：
[0078]
根据标准化对抗图像数据f(x)生成二进制文件，然后采用zip对其进行压缩，再将压缩后的数据增加到对抗图像文件尾部。用图像查看软件打开对抗图像，只能看到其中前面的对抗图像数据，而文件尾部的标准化对抗图像数据f(x)则作为隐写的数据无法被识别。
[0079]
s6、图像还原时，读取对抗图像文件中的标准化对抗图像数据，采用对抗处理f的反向处理g从标准化对抗图像数据中还原标准化图像数据，具体为：
[0080]
读取对抗图像文件中压缩的标准化对抗图像数据，对压缩数据进行解压，得到标准化对抗图像数据f(x)，采用对抗处理f的反向处理g从解压后的标准化对抗图像数据中还原标准化图像数据。这样将数据隐写技术与神经网络技术结合使用，达到可以还原的效果。
[0081]
s7、对还原的标准化图像数据进行逆标准化，得到还原的原始图像。
[0082]
f(x)为高精度的浮点数，通过f(x)而不是通过对抗图像数据来还原原始图像，能够得到更为精确的结果。
[0083]
实施例3：
[0084]
本实施例公开了实现实施例2中方法的图像隐私保护系统，如图4所示，包括：
[0085]
图像标准化模块，用于对原始图像进行标准化；
[0086]
图像对抗模型f，用于对标准化图像数据x进行对抗处理，生成标准化对抗图像数据；所述图像对抗模型f的参数根据选定的图像分类器d训练得到；
[0087]
图像逆标准化模块，用于对标准化图像数据进行逆标准化。
[0088]
所述图像对抗模型f为基于i
‑
revnet的可逆网络；
[0089]
数据压缩模块，用于对标准化对抗图像数据进行压缩；
[0090]
图像拼接模块，用于在对抗图像文件后拼接压缩的标准化对抗图像数据；
[0091]
数据解压模块，用于读取对抗图像文件中压缩的标准化对抗图像数据，对压缩数据进行解压；
[0092]
图像还原模块，用于读取解压后的标准化对抗图像数据，采用对抗处理f的反向处理g从标准化对抗图像数据中还原标准化图像数据；
[0093]
还原的标准化图像数据由图像逆标准化模块进行逆标准化，得到还原的原始图像。
[0094]
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像隐私保护方法。