基于条件标准化流模型的强鲁棒性图像隐写方法及系统

1.本发明涉及图像水印、信息隐写等领域，特别地，涉及基于标准化流模型的强鲁棒性图像隐写方法及系统。


背景技术：

2.隐写术是一个被广泛研究的话题，它旨在以一种未被发现的方式将音频、图像和超链接等消息隐藏到一个容器中。图像隐写术将隐藏图和宿主图像作为输入来生成容器图像。在其反向过程中，只有具有特定揭示网络的接收器才有可能从容器图像中重建隐藏信息，该容器图像在视觉上与宿主图像相同
1.。与隐写术对应的，隐写分析技术通常通过颜色、频率和其他特征来区分容器和宿主图像
2.。因此，隐藏图像应该隐藏在容器图像的不可见域中。在应用程序中将尽可能多的机密数据嵌入到宿主图像中也很有价值，这被评估为有效负载容量。
3.图像隐写术旨在保持隐藏能力，同时考虑对隐写分析的安全性和不可察觉性。现有的隐写方案未能在不可察觉性和高有效载荷容量之间取得平衡
3.。传统方法在空间或自适应域中转换隐藏消息，实现每像素 1bpp以下的容量。隐藏数据通常嵌入到较少的重要位或无法区分的部分中，从而限制了隐藏信息容量的数量。最近基于学习的隐写术方法努力利用隐藏的潜在能力
4.。它们中的大多数将预处理、隐藏和显示作为单独的模块，并设计具有独立参数的特定网络来处理它们。
4.最近的工作尝试将标准化流模型
5.引入去噪、重采样等图像处理问题，显示出流模型相对于自编码器（vae）、生成对抗网络（gan）和其他生成模型的巨大潜力。在图像隐写任务中，隐藏和显示过程可以看作是一对逆问题。因此，基于流的可逆神经网络从数学上是适合这项任务的。
5.现有技术存在的主要问题是：由于先前的图像隐写术强调的是容量和不可见性而不是鲁棒性，并且在实践中忽略了噪声和压缩干扰，因此它们通常对容器媒体传播过程中的干扰很敏感。 由于依赖于固有的可逆双射变换属性，标准化流模型往往更容易受到中间失真的影响。现有的方法一旦在容器上实施轻微的噪音或有损压缩，所揭示的隐藏几乎无法识别，接收端的宿主图像也是如此。解决以上问题及缺陷的难度为：即使网络针对预定义的噪声或 jpeg 压缩级别进行了专门微调，重建质量和泛化仍然有限。
6.解决以上问题及缺陷的意义为：本发明旨在构建一个强鲁棒性的图像隐写模型，能够有效抑制媒体传播过程中的噪声和压缩等失真对容器图的干扰，增强图像隐写术在各类复杂情况下的还原质量和泛用性，提升有限条件下的隐写信息容量，有助于图像隐写的普及和应用。


技术实现要素：

7.本发明提供了基于条件标准化流模型的强鲁棒性图像隐写方法及系统，使用基于条件流模型的可逆神经网络将隐藏图像隐写入容器图像，该方法对噪声和压缩等干扰鲁
棒，以解决当前图像隐写术在鲁棒性和还原质量、隐写容量上的缺陷和不足，解决之前基于学习的隐写术在受到失真干扰时性能大幅下降的问题。
8.本发明的技术方案如下：根据本发明的一个方面，提供了基于条件标准化流模型的强鲁棒性图像隐写方法，包括如下步骤：s1.构建流模型单元：对输入的宿主图像和隐藏图像进行分布变换，转化为高频冗余信息和容器图像；s2.构造分布映射模块：在条件标准化流的启发下，建模高频冗余信息在容器图像条件依赖下的分布，将其映射到标准正态分布以隐式保存有价值的隐藏信息；s3.构造失真模拟单元：在模型训练过程中仿真各类失真干扰的影响；s4.构造图像增强模块：对受干扰的容器图像进行初步增强去噪处理；以及s5.构造条件调制模块：以干扰强度和类型为条件，调制流模型单元的网络参数。
9.优选地，在上述基于条件标准化流模型的强鲁棒性图像隐写方法中，在步骤s1中，将一张或多张隐藏图和宿主图作为正向输入，采用基于流模型构建的神经网络正向映射为特定分布，输出的一部分为载有隐藏图信息的容器图，一部分为高频冗余分布；通过增加流模型的分支通道数，流模型可受外部条件调制，可以轻松地将多个隐藏图像隐藏到一个容器中。
10.优选地，在上述基于条件标准化流模型的强鲁棒性图像隐写方法中，在步骤s2中，基于强大且可逆的条件标准化流模型，在其中的仿射耦合部分融入容器图作为条件信息，构建分布映射模块。
11.优选地，在上述基于条件标准化流模型的强鲁棒性图像隐写方法中，在步骤s3中，采用可微分的操作仿真高斯噪声、泊松噪声和jpeg压缩的各类失真干扰的影响。
12.优选地，在上述基于条件标准化流模型的强鲁棒性图像隐写方法中，在步骤s3中，采用用于jpeg压缩的可微分模拟单元，在训练过程中以可微分模拟单元替换相应质量因数的jpeg压缩操作，在求导过程中将量化替换为傅立叶变换来近似处理。
13.优选地，在上述基于条件标准化流模型的强鲁棒性图像隐写方法中，在步骤s4中，图像增强模块的网络的结构是卷积、规化、relu激活函数级联的结构，图像增强模块内部在网络的输出使用残差学习，对于每个卷积层，采用3
×
3尺寸的卷积核，步长设置为1，感受野逐层扩大，层数设置为17，每个卷积层卷积核的数量设置为64。
14.优选地，在上述基于条件标准化流模型的强鲁棒性图像隐写方法中，在步骤s5中，给定失真水平和类型，条件调制模块中的流模型单元的网络参数将随着失真的不同而变化，条件调制模块部署在流模型单元的仿射耦合层上，噪声水平或jpeg质量因数qf被输入到全连接层中，通过条件引导网络产生权重，权重通过仿射变换调制流模型单元的网络中的耦合参数，从而控制流模型单元的特征变换。
15.根据本发明的另一个方面，提供了基于条件标准化流模型的强鲁棒性图像隐写系统，包括：流模型单元、分布映射模块、失真模拟单元、图像增强模块和条件调制模块，其中，流模型单元，用于对输入的宿主图像和隐藏图像进行分布变换，转化为高频冗余信息和容器图像；分布映射模块，用于在条件标准化流的启发下，建模高频冗余信息在容器图像条件依赖下的分布，将其映射到标准正态分布以隐式保存有价值的隐藏信息；失真模拟单元，用于在模型训练过程中仿真各类失真干扰的影响；图像增强模块，用于对受干扰的容器图像进行初步增强去噪处理；以及条件调制模块，用于以干扰强度和类型为条件，调制流模型单元的网络参数，使之能适应不同的失真情况进行参数调整。
16.根据本发明的技术方案，产生的有益效果是: 本发明是引入了条件标准化流模型构建隐写系统，其强大的生成能力容许在高隐写容量下仍保持较高的还原质量。在无损或失真环境中，本发明具备卓越的鲁棒性，同时保持了隐写术的不可感知性和高容量特性，本发明的高鲁棒性可以将隐写术拓展到换脸检测和灰度着色等更广的应用领域，可以将gif、短视频压缩成对有损压缩为鲁棒性的快照，该快照/缩略图在视觉上是可以接受的可以作为低数据条件下的预览，并且可从中重建恢复出视频帧。
附图说明
17.为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明。
18.图1是本发明的基于条件标准化流模型的强鲁棒性图像隐写方法的流程图；图2是本发明的基于条件标准化流模型的强鲁棒性图像隐写系统的整体框架图；图3是本发明的分布映射模块预测冗余分布的原理图；图4是本发明中以干扰强度为条件进行流模型调制的模块原理图；图5是本发明实施例1典型干扰下隐写的输出结果陈列图；图6是本发明实施例2真实场景下隐写的流程示意图；图7是本发明实施例3篡改检测应用的流程示意图。
具体实施方式
19.为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
20.本发明的主要目标是为各种失真下的图像隐写术设计一个通用且健壮的框架。如图2所示，它将几个隐藏图像与宿主图像嵌入到一个信息容器图像中，在接收端可以从受干扰的容器图中还原出隐藏图和宿主图像，具备抵御图像失真的能力。为了训练稳定性，本发明的框架直接学习隐藏图像、宿主图像和容器图像之间的双射映射，容器图像能够包含多个隐藏图像的信息，同时保持与宿主图像相同的外观。
21.结合图1和图2，本发明的基于条件标准化流模型的强鲁棒性图像隐写方法，包括如下步骤：s1.构建流模型单元：对输入的宿主图像和隐藏图像进行分布变换，转化为高频冗余信息和容器图像。
22.图2中，将一张或多张隐藏图和宿主图像作为流模型单元的正向输入，采用基于流模型构建的神经网络正向映射为特定分布，输出的一部分为载有隐藏图信息的容器图y，一部分为高频冗余分布hr。以容器图中通过特征提取器所得特征为辅助条件，高频冗余分布通过分布映射（canp）模块变换为近似高斯分布。在模型训练时，通过仿真的方
式在容器图上加入媒体传输中常遇到的高斯噪声、泊松噪声和jpeg压缩等。接收端对于受干扰的容器图，首先在图像增强模块中进行去噪去模糊处理得到增强后的容器图，容器图再作为流模型单元（反向）的一部分输入，另一部分输入同样是由高斯分布通过反向的分布映射模块得到重建的高频分布，流模型单元反向过程将输出重建的宿主图和隐藏图。该步骤可以通过增加流模型的分支通道数扩增隐藏图的数量，可以轻松地将多个隐藏图像隐藏到一个容器中。从而，本发明的方案具备较高的隐写信息容量，使之成为先进的图像隐写技术。
23.标准化流模型因其可逆性而自然而直观地适用于图像隐写任务。正向映射是隐藏信息的过程，反向映射是还原信息的过程，这两者在理想情况下是具有共享参数的可逆过程，并且应该被视为标准化流的前向和后向过程，以实现端到端优化。流模型有两个主要特点：推理函数的对数行列式计算简单；对应的反函数易于求解。
24.图3中，在流模型单元的第k块中，被拆分为和。然后，它们将通过仿射耦合，其中和由具有relu激活的密集块构造，在上产生缩放和偏差。在每步流模型运行过程中，两部分信息以如下方式计算: 显然，上述仿射耦合层在数学上是可逆的，并且具有三角雅可比矩阵，其对数行列式易于计算。
25.在系统的整体设计中，通过设计严格而全面的损失函数来满足隐写系统中多方面的约束条件。首先，本发明要求还原的宿主图像和隐藏图像应尽可能接近原始输入的宿主图像和隐藏图像。在这里，本发明使用来最小化每对恢复图像和原始图像之间的平均距离。同时，要求步骤s3中的图像重建模块能够尽可能从失真的容器图中重建出容器图像，为此设定了图像增强损失。由于数据的分布可以在标准化流模型中显式建模出来，步骤s2的分布映射模块希望输出分布接近标准正态分布，通过这个约束使之与高频冗余分布和容器图的分布解耦，该过程由分布损失控制，通过上的交叉熵来描述分布间的距离。对于容器图损失，系统要求容器图像在空间和频域上与宿主图像大致相同，本发明进一步应用快速傅里叶变换(fft)提取中的频率分量，强调容器图与宿主图的高频部分
应尽量接近。嵌入式图像显示、容器不可见性、失真增强和噪声分布距离分别如下：系统总体的损失函数考虑了以上四个组成部分：嵌入式图像显示、容器不可见性、失真增强和噪声分布距离，系统总体的损失函数如下：在具体实现中，设定 s2.构造分布映射模块：在条件标准化流的启发下，建模高频冗余信息在容器图像条件依赖下的分布，将其映射到标准正态分布以隐式保存有价值的隐藏信息。
26.通过条件流模型，建模高频冗余信息在容器图像条件依赖下的分布，将正向映射的高频冗余分布映射为标准正态分布，以隐式保存有价值的隐藏信息。步骤s2中引入条件标准化流模型，通过调节以容器图像为条件的高频分布，使得前置流模型单元不直接输出正态分布而是输出与图像相关的高频冗余分布，以隐式保留用于显示的基本信息。
27.之前的标准化流模型总体上都是将输入的图像转换为目标图像和高斯噪声分布。然而，由于流模型的网络深度和映射能力有限，将高斯分布直接作为目标输出可能会导致结果不理想，对流模型的转换能力提出高要求。
28.如图3所示，为了解决这一问题，本发明发现图像的高频冗余信息对于隐写的重建过程很有用，应该得到更好的解耦处理。在本发明引入的条件化流中，假设高频输出依赖于容器。经过训练后，前向过程将压缩输入宿主和隐藏图像对并将其转换为容器图像和高频冗余，其中容器被限制为接近宿主图像，同时包含来自的信息。理想情况下，本发明希望模型生成与真实宿主图像完全相同的容器。这可以表述为方程中的狄拉克增量函数，并通过高斯分布进一步近似为：这个过程被称为分布映射模块，其中高频冗余以容器图作为条件特征，通过分布映射投影到标准正态分布。在整体的正向过程中，系统将输入图像对
分解为遵循简单分布的容器图像和高频冗余分布，继而变换为容器图和标准高斯分布。在接收端，给定接收到的容器和来自标准高斯分布中抽样得到的随机样本，分布映射可以重建出，进而在后向传播中生成。
29.具体而言，如图3所示，高频冗余分布经过激活规范化的处理，在1*1卷积中进行通道的交换，之后通过仿射嵌入层进行整体的仿射调制，而后分为和两部分进入流模型运算中。输入数据的分支与从容器图像中提取的条件特征合并而后作为卷积神经网络的输入，卷积网络将产生流模型中仿射变换乘法及加法所用到的系数。经过多层流模型的堆叠，输入的高频冗余分布可以变换为以为条件依赖的高斯分布。本发明基于强大且仍然可逆的条件标准化流模型，主要在其中的仿射耦合部分融入容器图作为条件信息，构建了分布映射模块，简称为canp。由于每个流块的开始都有卷积等置换操作，和中的信息都将受到的条件影响，其数学表达为：s3.构造失真模拟单元：在模型训练过程中仿真各类失真干扰的影响。
30.容器图在媒介传输中一般受到噪声、jpeg压缩等干扰，在模型训练过程中采用可微分的操作仿真高斯噪声、泊松噪声和jpeg压缩等各类失真干扰的影响。步骤s3中仿真噪声、jpeg压缩等常见失真类型实现模型的端到端训练，由于失真模拟的加入，系统不存在完全对称性，所以训练中允许流模型正向和反向映射的网络参数不完全相等。
31.对jpeg压缩和噪声的容忍度是高鲁棒性隐写中的一个基本问题。噪声在深度模型训练中是容易模拟和联合训练的，而jpeg则不然。jpeg处理流程由四个主要步骤组成：颜色空间变换、离散余弦变换(dct)、量化和熵编码。实际上，量化是jpeg压缩中的一个有损且不可微分的步骤。因此，jpeg不适合直接的端到端优化。为了能够对jpeg操作进行训练，本发明引入了一个用于jpeg压缩的可微分模拟单元，在训练过程中以可微分模拟单元替换相应质量因数的jpeg压缩操作，在求导过程中将量化替换为傅立叶变换来近似处理。
32.s4.构造图像增强模块：对受干扰的容器图像进行初步增强去噪处理。
33.重建网络收到带干扰的容器图后，经过图像增强模块初步去除噪声和压缩的劣化效果。步骤s4设计了相应的增强模块，对失真干扰后的容器图像进行初步处理。由于流模型的可逆双射性质，增强等非对称的模块在系统中是不完全可逆的，系统对流模型的参数也进行了一定的松弛处理。
34.如图2框架图中所示，本发明中接收端采用图像增强模块作为预处理单元，用在流
模型前以预先消除噪声、jpeg等图像失真的影响。将图像增强集成到系统中，接收端获得受干扰的图像后，网络对失真图像进行预处理，实现去噪和jpeg去块效应。
35.图像增强模块的网络的结构是卷积、规化、relu激活函数级联的结构，图像增强模块内部在网络的输出使用残差学习。对于每个卷积层，采用3
×
3尺寸的卷积核，步长设置为1，感受野逐层扩大，层数设置为17，每个卷积层卷积核的数量设置为64。
36.为了使流模型适应容器图像上的失真，将解耦训练方案引入到训练过程的后半部分。在基于流的模型中，正向和反向传递在理论上是对称的并且参数相等。然而，本发明的工作流程中存在量化、噪声干扰、图像增强网络等不可逆操作。中间容器图像上的这些非可逆过程要求流模型做出相应的调整。本发明在模型训练的后期提出了在一定程度上前向和后向参数不完全相等的方案来扩增流模型的宽容度，参数约束的松弛给网络的前向和后向传播带来了变化空间，使原本严格对称的流模型面对复杂的网络传输条件有了更强的适应能力。
37.s5.构造条件调制模块：以干扰强度和类型为条件，调制流模型单元的网络参数，使之能适应不同的失真情况进行参数调整。
38.步骤s5提出了一种在标准化流上的条件调制模块，针对不同失真类型和级别的参数来调制网络参数，使本发明成为适用于各种类型和级别失真干扰的通用可控模型。
39.在现实应用中，针对每种类型和级别的失真训练特定的网络参数是不切实际的。对于一般的图像隐写术，本发明使隐写系统的网络参数可以随着失真的类型和强度不同而动态调整。在这里，本发明提出了一种受失真引导的条件调制模块来控制仿射耦合层，以处理被高斯噪声或jpeg压缩伪影破坏的容器图像。具体来说，给定失真水平和类型（表示高斯噪声，qf表示jpeg压缩），条件调制模块中的流模型单元的网络参数将随着失真的不同而变化。条件调制模块是部署在流模型单元的仿射耦合层上的。如图4所示，和之前的流模型单元类似，输入数据经过激活规范化和1*1卷积之后，输入数据分为和进行仿射变换耦合，通道仿射变换的参数由另一个通道通过卷积网络和条件调制模块得到，的仿射变换亦然，经过这样一层仿射耦合后k即变为k+1。条件调制模块中，噪声水平或jpeg质量因数qf被输入到全连接层fc中，条件引导网络整体是一个残差块的结构，通过卷积conv1、激活act、conv2后，与全连接层fc的输出相乘产生权重，权重通过仿射变换调制流模型单元的网络中的耦合参数，从而控制流流模型单元的特征变换。通过这种方式，本发明可以在失真条件的配合下，通过单一模型适应各种失真情况。
40.本发明的基于条件标准化流模型的强鲁棒性图像隐写系统，包括：流模型单元、分布映射模块、失真模拟单元、图像增强模块和条件调制模块，其中，流模型单元，用于对输入的宿主图像和隐藏图像进行分布变换，转化为高频冗余信息和容器图像；分布映射模块，用于在条件标准化流的启发下，建模高频冗余信息在容器图像条件依赖下的分布，将其映射到标准正态分布以隐式保存有价值的隐藏信息；失真模拟单元，用于在模型训练过程中仿真各类失真干扰的影响；
图像增强模块，用于对受干扰的容器图像进行初步增强去噪处理；以及条件调制模块，用于以干扰强度和类型为条件，调制流模型单元的网络参数，使之能适应不同的失真情况进行参数调整。
41.实施例1：常见传输失真干扰下的图像隐写如图5所示，本实施例是本发明针对的典型应用情况。在div2k数据集上抽取隐藏图像和宿主图像，通过本发明产生隐藏有信息的容器图像，容器图上添加噪声和jpeg压缩以表示常见的传输失真干扰。在nvidiateslav100图形计算卡上以batchsize=16训练模型，超参数β1设置为0.9，β2设置为0.99，学习率设置为0.0001。图5中展示了本发明(riis)和其他隐写方法的性能优势，输入同样的宿主图（host）和隐藏图像（secret），输出容器图像（container）和隐藏图像（revealedsecret），从重建结果和误差图（residual）中可以看出，本发明在噪声（noiseσ=10）和压缩（jpegqf=90）干扰下依然能够可信地重建出隐藏信息，所重建的结果具有更丰富的纹理和更清晰的边缘，整体的重建误差水平也低得多。
42.实施例2：真实屏幕上的图像信息隐写如图6所示，本发明的方法可以凭借强鲁棒性从照片中还原隐藏图像。给定一张宿主图和隐藏图，本发明将嵌入了隐藏信息的容器图显示在屏幕上或打印在纸上，并由cmos传感设备从显示器上拍摄照片，此过程中它会受到镜头畸变、摩尔纹、传感器噪声、运动模糊等各种失真干扰影响。凭借着本发明强大的鲁棒性，本系统依然可以从照片中恢复出隐藏图像的大部分信息，得到还原宿主图和还原隐藏图。这将隐写术的应用范围从数字媒体拓展到了真实场景，有助于实现将网络空间隐式连接到现实世界的愿景，助力数字资产和艺术品的版权和完整性保护。
43.实施例3：换脸等图像篡改的检测如图7所示，本发明可用于对互联网媒介上的图像进行版权水印保护，检测出换脸等常见的篡改。对于需要保护的一批图像，本发明将其作为宿主图像，将水印范本嵌入到每张宿主图上得到保护处理过的容器图。容器图可能受到换脸等篡改过程，同时也会收到网络传输中的噪声和压缩等退化干扰，那么本发明的方法可将恢复的容器图输入到水印恢复过程中，则反向重建出的受篡改后所得水印与原始水印范本相比较，对应的位置会出现黑斑等不对齐的区域，通过特征对齐算法即可定位不对齐的区域，以检测到受篡改操纵的区域。实验表明该检测方案在噪声、压缩等干扰下也是有效和准确的。
44.由实施例1-3的结果可知，本发明方法对噪声和压缩等干扰鲁棒，以解决当前图像隐写术在鲁棒性和还原质量、隐写容量上的缺陷和不足，解决之前基于学习的隐写术在受到失真干扰时性能大幅下降的问题。
45.以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。
46.参考文献：[1]ijkab,ppa,pjva,etal.comprehensivesurveyofimagesteganography:techniques,evaluations,andtrendsinfutureresearch[j].neurocomputing,2019,335:299-326.[2]barbierj,mayourak.steganalysisofmultibitplaneimage
steganography[c]//internationalworkshopondigitalwatermarking.springer-verlag,2008.[3]tsaip,huyc,yehhl.reversibleimagehidingschemeusingpredictivecodingandhistogramshifting[j].signalprocessing,2009,89(6):1129-1143.[4]balujas.hidingimageswithinimages[j].ieeetransactionsonpatternanalysisandmachineintelligence,2019:1-1.[5]kingmadp,salimanst,jozefowiczr,etal.improvingvariationalinferencewithinverseautoregressiveflow[j].2016.