一种基于改进UNet网络的图像去模糊方法和系统

本发明涉及图像处理，具体而言，涉及一种基于改进unet网络的图像去模糊方法和系统。

背景技术：

1、图像是人类获取信息的主要来源之一，但是由于噪声、传感器的非线性因素以及景物与成像设备之间的相对运动等多种因素的影响，图像成像过程中会导致图像质量的降低，该过程即为图像退化，具体的表现形式就是图像模糊。无论是对于仅仅影响一幅图像中某些个别点的点退化而言，还是影响图像中的一个空间区域的空间退化，退化都会导致图像模糊，所以要对图像进行分析、处理。造成模糊的原因有很多种，一般分为失焦模糊和运动模糊。而其中较为重要的是在拍摄时，相机与景物之间存在足够大的相对运动造成所拍摄图像的模糊，称之为运动模糊。随着人们生活的日益丰富，相机的应用越来越普遍，运动模糊在成像过程中很容易发生。例如在高速行驶的列车、汽车中拍摄窗外景物，在飞机或宇宙飞行器上进行拍照，用相机拍摄高速运动物体，在突发事件的场合，以及战场上飞行中的导弹等均有可能产生这种现象。

2、在实现本发明的过程中，发明人发现：虽然模糊图像的恢复结果得到不断的改善，但还远远没有达到人们的要求，已有去模糊的方法多多少少有其不足之处，尤其是不能充分利用先验信息，不能充分的捕捉远距离特征和结构细节，造成图像部分信息的缺失，而低质量的模糊图像往往不便于人们观察、易引起视觉疲劳，并给后续诸多领域的图像智能化分析带来极大挑战。因此，如何充分利用先验信息，推断大的缺失区域的缺失内容是非常有必要的。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种基于改进unet网络的图像去模糊方法和系统，能够充分利用先验信息，充分捕捉远距离特征和结构细节，能够推断大的缺失区域的缺失内容，同时降低了计算复杂度，提高了图像修复效率，为后续的图像智能化分析工作提供巨大帮助。

2、本发明的第一方面公开了一种基于改进unet网络的图像去模糊方法，包括：接收若干公开的模糊图像，对模糊图像进行预处理，得到三种尺度的模糊图像以构建训练数据集；将训练数据集输入至改进unet网络中进行训练，得到训练后的改进unet网络，其中，改进unet网络包括编码模块、特征融合模块和解码模块，编码模块具体包括第一编码器、第二编码器和第三编码器，各个编码器中都嵌入有改进的残差模块aotres，在第三编码器中还嵌入有swin transformer模块；特征融合模块采用非对称特征融合算法进行特征融合；解码模块具体包括第一解码器、第二解码器和第三解码器，各个解码器中都嵌入有改进的残差模块aotres，在第一解码器和第二解码器中还设有转置卷积模块；接收待处理模糊图像，将待处理模糊图像输入到训练后的改进unet网络，得到去模糊后的图像。

3、根据本发明公开的基于改进unet网络的图像去模糊方法，优选地，预处理具体包括：将公开的模糊图像作为第一尺度输入图像input_c1；将第一尺度输入图像input_c1输入到数组采样操作f.interpolate中，进行下采样操作得到第二尺度输入图像input_c2；将第二尺度输入图像input_c2输入到数组采样操作f.interpolate中，进行下采样操作得到第三尺度输入图像input_c3。

4、根据本发明公开的基于改进unet网络的图像去模糊方法，优选地，训练具体包括：将第一尺度输入图像input_c1输入到第一编码器中得到特征图feature_em1；将第二尺度输入图像input_c2首先经过浅卷积模块处理，然后与特征图feature_em1一起输入到第二编码器中得到特征图feature_em2；将第三尺度输入图像input_c3首先经过浅卷积模块处理，然后与特征图feature_em2一起输入到第三编码器中得到特征图feature_em3。

5、根据本发明公开的基于改进unet网络的图像去模糊方法，优选地，采用非对称特征融合算法进行特征融合的步骤，具体包括：将特征图feature_em1、特征图feature_em2和特征图feature_em3执行concat操作，得到合并后的特征图，合并后的特征图再依次输入至卷积核为1×1的卷积层、卷积核为3×3的do-conv和通道注意力se block，得到特征融合图feature_fm1和特征融合图feature_fm2，其中，特征融合图feature_fm1和特征融合图feature_fm2的通道数不同。

6、根据本发明公开的基于改进unet网络的图像去模糊方法，优选地，解码模块的具体运算过程包括：将特征图feature_em3输入至解码器1得到特征图feature_dm1；将特征图feature_dm1与特征融合图feature_fm2 进行融合得到特征图feature_fuse2，将特征图feature_fuse2输入至解码器2中得到特征图feature_dm2；将特征图feature_dm2与特征融合图feature_fm1 进行融合得到特征图feature_fuse1，将特征图feature_fuse1输入至解码器3得到特征图feature_dm3；将特征图feature_dm3输入卷积核为3×3的卷积层，然后经过残差计算得到输出图像。

7、根据本发明公开的基于改进unet网络的图像去模糊方法，优选地，改进的残差模块aotres被配置为进行拆分、转换、合并的运算，具体运算过程包括：拆分：将标准卷积的卷积核拆分为四个子核，每个子核具有四分之一的输出通道；转换：四个子核分别使用膨胀率为1、2、3、4的空洞卷积，对输入特征x1进行不同变换,得到x2、 x3、 x4、 x5，然后通过级联得到特征x6；合并：输入特征x1依次经过卷积核为3×3的卷积和sigmoid运算，计算出输入特征x1空间变化的门限值g，然后输入特征x1和特征x6进行加权求和得到特征x7，计算式为：。

8、本发明的第二方面公开了一种基于改进unet网络的图像去模糊的系统，包括：存储器，用于存储程序指令；处理器，用于调用存储器中存储的程序指令以实现如上述任一技术方案的基于改进unet网络的图像去模糊方法。

9、本发明的有益效果至少包括：充分利用了图像先验信息，增强对远距离特征和丰富结构细节的捕捉，增强全局特征提取能力的同时降低了计算复杂度，能够更好的进行运动图像去模糊，该方法可以但不局限于应用在公开的模糊图像数据集任务中。

技术特征：

1.一种基于改进unet网络的图像去模糊方法，其特征在于，包括：

2.根据权利要求1所述的基于改进unet网络的图像去模糊方法，其特征在于，所述预处理具体包括：

3.根据权利要求2所述的基于改进unet网络的图像去模糊方法，其特征在于，所述训练具体包括：

4.根据权利要求3所述的基于改进unet网络的图像去模糊方法，其特征在于，所述采用非对称特征融合算法进行特征融合的步骤，具体包括：

5.根据权利要求4所述的基于改进unet网络的图像去模糊方法，其特征在于，所述解码模块的具体运算过程包括：

6.根据权利要求1至5中任一项所述的基于改进unet网络的图像去模糊方法，其特征在于，所述改进的残差模块aotres被配置为进行拆分、转换、合并的运算，具体运算过程包括：

7.一种基于改进unet网络的图像去模糊的系统，其特征在于，包括：

技术总结
本发明提供了一种基于改进UNet网络的图像去模糊方法和系统，涉及图像处理技术领域，包括：构建包括三种尺度的模糊图像的训练数据集；将训练数据集输入至改进UNet网络中进行训练，其中，改进UNet网络的各个编码器中都嵌入有改进的残差模块AotRes，在第三编码器中还嵌入有Swin Transformer模块；各个解码器中都嵌入有改进的残差模块AotRes，在第一解码器和第二解码器中还设有转置卷积模块；接收待处理模糊图像，将待处理模糊图像输入到训练后的改进UNet网络，得到去模糊后的图像。本发明充分利用了图像先验信息，增强对远距离特征和丰富结构细节的捕捉，增强全局特征提取能力的同时降低了计算复杂度，能够更好的进行运动图像去模糊。

技术研发人员：李现国,石蕊
受保护的技术使用者：天津工业大学
技术研发日：
技术公布日：2024/1/15