一种基于改进生成对抗网络的视频模糊图像复原方法

1.本发明涉及模糊图像复原技术领域，具体地，涉及一种基于改进生成对抗网络的视频模糊图像复原方法。


背景技术：

2.视频图像是人们从外界获取和交换信息的重要来源，然而视频图像采集过程中由于受成像设备的物理局限及环境条件的限制，会引入不同程度的噪声、模糊及分辨率的不足，造成采集图像模糊失真，严重影响了图像观赏的舒适度和满意度，给后续图像分析理解带来极大障碍。因此，从失真的图像中恢复出清晰可观图像的去模糊技术研究极为重要。图像复原是根据图像退化的先验知识建立一个退化模型，然后以此模型为基础，采用各种逆退化处理方法逐步进行恢复，从而达到改善图像质量的目的。
3.图像复原技术发展历史已久，成像设备的抖动、元器件的噪声和图像编解码等都会导致图像模糊与退化。图像复原是处理退化的图像，使其与原始图像更加接近。传统的图像复原方案有很多缺点，如计算时间过长，鲁棒性较差等等，虽然很多模糊图像的处理方法在实际应用中取得了很好的效果，但是当前仍然有一些因素制约着模糊图像处理的进一步发展，譬如算法参数复杂、需要人为经验选择算法流程等。
4.近年来，深度学习的兴起，再一次把图像处理任务推向了一个新的高潮。基于深度学习的方法大多通过增加网络复杂度来改善去模糊效果，虽然使效果得到了提升，但却增加了算法的运行时间。有时也不可避免的引入了伪影，且可能无法处理复杂的运动模糊。


技术实现要素：

5.针对现有图像隐私保护技术中存在的上述缺陷，本发明的目的在于提供一种可有效提高图像处理速度、改善图像复原效果的基于改进生成对抗网络的视频模糊图像复原方法。
6.为解决上述问题，本发明的技术方案为：
7.一种基于改进生成对抗网络的视频模糊图像复原方法，所述方法包括以下步骤：
8.建立视频模糊图像数据集；
9.将清晰视频图像进行模糊化处理，模拟实际情况下的视频模糊图像；
10.设计改进的生成对抗网络；
11.训练改进的生成对抗网络模糊图像复原模型；以及
12.使用训练得到的改进生成对抗网络视频模糊图像复原模型，将模糊图像作为网络输入，改进生成对抗网络模型输出复原后的清晰图像。
13.可选地，所述建立视频模糊图像数据集的步骤具体包括：将采集到的视频图像分类建立数据集，并将数据集划分为训练样本和测试样本。
14.可选地，所述将清晰视频图像进行模糊化处理的过程为：视频模糊图像b的处理公
式为：式中，m是视频曝光时间内图像的数量，s[i]代表视频曝光时间内的第i张视频图像，g是非线性相机相应函数。
[0015]
可选地，所述设计改进的生成对抗网络的步骤具体包括：
[0016]
构建生成器；
[0017]
构建判别器；
[0018]
在所述生成器和判别器中加入加权网络；
[0019]
设计改进生成对抗网络的目标损失函数。
[0020]
可选地，所述生成器包括特征提取模块和上采样模块，所述特征提取模块包括卷积层、残差模块和droupout网络，所述上采样模块包括反卷积层、亚像素卷积层和全连接神经网络。
[0021]
可选地，所述判别器包括卷积层、归一化函数、激活函数和损失函数。
[0022]
可选地，所述生成器和判别器中的加权网络用于使生成器和判别器关注重要特征，弱化非重要特征，根据特征的加权来提升有用特征，抑制非有用特征。
[0023]
可选地，所述设计改进生成对抗网络的目标损失函数为：
[0024]
v(d,g)＝e
x～μ
[logd(x)]+e
z～γ
[log(1-d(g(z)))]，式中e是分布期望，x是训练样本，μ是训练样本x的概率分布，z是生成器的随机样本，γ是随机样本z的概率分布，d(x)是判别器的鉴别函数，g(z)是生成器的生成样本。
[0025]
可选地，所述生成对抗网络的提升网络性能的目标是：
[0026][0027]
其中，在优化生成器时，要使得目标函数值最小，在优化判别器时，要使得目标函数值最大。
[0028]
可选地，所述训练改进的生成对抗网络模糊图像复原模型的步骤具体包括：
[0029]
步骤1：初始化生成器和判别器网络参数；
[0030]
步骤2：固定生成器参数，从训练样本中抽取若干个模糊图像样本，输入到生成器中，来训练判别器；
[0031]
步骤3：当循环更新判别器后，开始更新一次生成器，使得判别器无法分别生成器输出的复原图像和清晰图像；
[0032]
步骤4：重复步骤2和步骤3，使得满足目标损失函数的优化目标，完成改进的生成对抗网络模糊图像复原模型训练。
[0033]
与现有的技术相比，本发明的本发明的有益效果在于：
[0034]
1、本发明可充分获取图像的先验知识，有效地提高图像处理速度，充分利用中间层的有用信息；
[0035]
2、本发明将随着时间变化的图像集成到一起，可得到运动模糊图像，与经过模糊核处理的图像对比，本发明处理后的模糊图像更加真实；
[0036]
3、本发明在生成对抗网络中增加了加权网络，可关注视频图像中重要的区域和特征，将重点放在信息丰富的区域，改善图像复原效果；
[0037]
4、本发明的基于改进生成对抗网络的视频模糊图像复原方法可使生成图片和清
晰图片在内容上更能保持一致性。
附图说明
[0038]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0039]
图1为本发明实施例提供的基于改进生成对抗网络的视频模糊图像复原方法流程框图；
[0040]
图2为本发明实施例提供的生成对抗网络结构示意图；
[0041]
图3为本发明实施例提供的设计改进的生成对抗网络的流程框图；
[0042]
图4为本发明实施例提供的生成器结构示意图；
[0043]
图5为本发明实施例提供的判别器结构示意图；
[0044]
图6为本发明实施例提供的加权网络结构示意图。
具体实施方式
[0045]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0046]
本发明提出了基于改进生成对抗网络的视频模糊图像复原方法，旨在提高模糊图像复原效果，同时为提高模型求解视频图像复原准确性，将随着时间变化的图像集成到一起，对视频图像进行模糊化处理，并结合了生成对抗网络和加权网络对模糊图像进行求解。
[0047]
具体地，图1为本发明实施例提供的基于改进生成对抗网络的视频模糊图像复原方法流程框图，如图1所示，所述方法包括以下步骤：
[0048]
s1：建立视频模糊图像数据集；
[0049]
具体地，将采集到的视频图像分类建立数据集，并将数据集划分为训练样本和测试样本。
[0050]
s2：将清晰视频图像进行模糊化处理，模拟实际情况下的视频模糊图像；
[0051]
具体地，将清晰视频图像进行模糊化处理包括：通过平均相邻帧的清晰图像来获得模糊图像，模拟实际情况下的视频模糊图像，所述视频模糊图像b可以通过下式处理来获得：
[0052][0053]
式中，m是视频曝光时间内图像的数量，s[i]代表视频曝光时间内的第i张视频图像，g是非线性相机相应函数。
[0054]
s3：设计改进的生成对抗网络；
[0055]
具体地，生成对抗网络结构图如图2所示，生成对抗网络包含一个生成器g和一个判别器d，生成器和判别器的残差区块中各设计一个加权网络，将视频模糊图像通过生成器生成复原图像，复原图像和清晰图像一起送入判别器中，并通过损失函数计算复原图像和清晰图像的相似度，在所述生成对抗网络中，判别器需要尽可能的区分复原图像和清晰图
像，生成器则尽可能的生成令判别器无法区分的复原图像。
[0056]
如图3所示，所述步骤s3包括以下步骤：
[0057]
s31：构建生成器；
[0058]
所述生成器结构图如图4所示，所述生成器在将模糊图像生成复原图像的过程分为两部分：特征提取模块和上采样模块；其中生成器的特征提取模块由卷积层、残差模块、droupout网络组成，所述上采样模块由反卷积层、亚像素卷积层和全连接神经网络组成；并在所述生成器中加入加权网络，根据加权网络中的权重来调整生成器，以获得能够关注视频图像中重要的区域和特征。
[0059]
s32：构建判别器；
[0060]
所述判别器结构图如图5所示，所述判别器主要由卷积层、归一化函数、激活函数和损失函数等组成；并在判别器中加入加权网络，根据加权网络中的权重来调整判别器，以获得能够关注视频图像区分区域和特征。
[0061]
s33：在所述生成器和判别器中加入加权网络；
[0062]
具体地，在所述生成器和判别器中加入加权网络，所述加权网络的设计可令生成器和判别器关注更加重要的特征，弱化非重要特征的作用；根据网络损耗学习获得每个特征的重要性权重，可对特征重新标定，利用对特征的加权来提升有用特征，抑制非有用特征，加权网络结构示意图如图6所示；
[0063]
加权网络的设计如下：
[0064]
先把网络输入集合c通过卷积层进行降维，再通过tanh激活函数得到w
×
h的特征映射m，w和h分别是表示轴承信号特征的高和宽，再通过卷积层和sigmoid激活函数对m进行归一化操作生成0～1的注意力权重σ，其中的计算公式为：
[0065]
m＝tanh(conv1c)
[0066]
σ＝sigmoid(conv2m)
[0067]
其中，conv1和conv2表示卷积操作，最后特征加权的特征输出为c’：
[0068]
c'＝σ
×c[0069]
同时加权网络通过全连接层归一化将加权后的特征输出重新映射到恢复后的图像中，归一化公式如下所示:
[0070][0071]
式中，γ和β是全连接层产生的参数，ρ是生成器或判别器参数向量，μi是加权网络通道的平均值，σi是加权网络标准差。
[0072]
s34：设计改进生成对抗网络的目标损失函数。
[0073]
具体地，所述改进生成对抗网络的目标损失函数为：
[0074]
v(d,g)＝e
x～μ
[logd(x)]+e
z～γ
[log(1-d(g(z)))]
[0075]
式中，e是分布期望，x是训练样本，μ是训练样本x的概率分布，z是生成器的随机样本，γ是随机样本z的概率分布，d(x)是判别器的鉴别函数，g(z)是生成器的生成样本；生成对抗网络的提升网络性能的目标是：
[0076]
[0077]
其中，在优化生成器时，要使得目标损失函数值最小，在优化判别器时，要使得目标损失函数值最大。
[0078]
s4：训练改进的生成对抗网络模糊图像复原模型；
[0079]
所述生成对抗网络图像复原模型训练的目标是获得准确率最大化的判别器和最大化欺骗判别器的生成器，所述步骤s4具体包括以下步骤：
[0080]
步骤1：初始化生成器和判别器网络参数；
[0081]
步骤2：固定生成器参数，从训练样本中抽取若干个模糊图像样本，输入到生成器中，来训练判别器；
[0082]
步骤3：当循环更新判别器后，开始更新一次生成器，使得判别器无法分别生成器输出的复原图像和清晰图像；
[0083]
步骤4：重复步骤2和步骤3，使得满足目标损失函数的优化目标，完成改进的生成对抗网络模糊图像复原模型训练。
[0084]
s5：使用训练得到的改进生成对抗网络视频模糊图像复原模型，将模糊图像作为网络输入，改进生成对抗网络模型输出复原后的清晰图像。
[0085]
与现有的技术相比，本发明的本发明的有益效果在于：
[0086]
1、本发明可充分获取图像的先验知识，有效地提高图像处理速度，充分利用中间层的有用信息；
[0087]
2、本发明将随着时间变化的图像集成到一起，可得到运动模糊图像，与经过模糊核处理的图像对比，本发明处理后的模糊图像更加真实；
[0088]
3、本发明在生成对抗网络中增加了加权网络，可关注视频图像中重要的区域和特征，将重点放在信息丰富的区域，改善图像复原效果；
[0089]
4、本发明的基于改进生成对抗网络的视频模糊图像复原方法可使生成图片和清晰图片在内容上更能保持一致性。
[0090]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。