一种图像去模糊方法、装置、计算机设备及存储介质与流程

文档序号:23224668发布日期:2020-12-08 15:08阅读:来源:国知局

技术特征:

1.一种基于多尺度卷积神经网络的图像去模糊方法,其特征在于,包括:

将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取,分别得到4个不同尺度的特征图,表示为p1,p2,p3,p4;

对p4进行上采样操作,以及对p3进行卷积操作,然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加,得到特征图p3_1;

对p3_1进行上采样操作,以及对p2进行卷积操作,然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加,得到特征图p2_1;

对p2_1进行上采样操作,以及对p1进行卷积操作,然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加,得到特征图p1_2;

对p1_2进行下采样操作,以及对p2、p2_1进行卷积操作,然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加,得到特征图p2_2;

对p2_2进行下采样操作,以及对p3、p3_1进行卷积操作,然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加,得到特征图p3_2;

对p3_2进行下采样操作,以及对p4进行卷积操作,然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加,得到特征图p4_2;

将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图,再将得到的特征图按位置相加得到融合后的特征图,最后将融合后的特征图进行卷积操作得到复原后的清晰图像;

将模糊图像与清晰图像送入至鉴别网络进行训练,从而构建得到多尺度卷积神经网络,将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络;

将目标模糊图像送入至所述模糊图像复原网络,输出复原后的目标清晰图像。

2.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法,其特征在于,所述第一卷积模块由一个卷积核大小3×3、步长为2、通道数为64的卷积层和一个卷积核大小3×3、步长为2、通道数为64的最大池化层组成;所述第二卷积模块、第三卷积模块和第四卷积模块均由多个卷积结构组成;所述卷积结构包括:卷积核大小1×1的组卷积层、通道随机混合操作层、卷积核大小3×3的深度可分离卷积层、卷积核大小1×1的组卷积层、短路连接层。

3.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法,其特征在于,所述对p4进行上采样操作,以及对p3进行卷积操作,然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加,得到特征图p3_1,包括:对p4进行2倍上采样操作,以及对p3进行卷积核3×3、步长为1、填充值为1的卷积操作,将p4进行上采样得到的特征图与p3进行卷积操作得到的特征图进行按位置相加,得到特征图p3_1;

所述对p3_1进行上采样操作,以及对p2进行卷积操作,然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加,得到特征图p2_1,包括:对p3_1进行2倍上采样操作,以及对p2进行卷积核3×3、步长为1、填充值为1的卷积操作,将p3_1进行上采样得到的特征图与p2进行卷积操作得到的特征图进行按位置相加,得到特征图p2_1。

4.根据权利要求3所述的基于多尺度卷积神经网络的图像去模糊方法,其特征在于,所述对p2_1进行上采样操作,以及对p1进行卷积操作,然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加,得到特征图p1_2,包括:将p2_1进行2倍上采样操作,以及对p1进行卷积核3×3、步长为1、填充值为1的卷积操作,然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加,得到特征图p1_2;

所述对p1_2进行下采样操作,以及对p2、p2_1进行卷积操作,然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加,得到特征图p2_2,包括:对p1_2进行2倍下采样操作,以及对p2进行卷积核3×3、步长为1、填充值为1的卷积操作,以及对p2_1进行卷积核3×3、步长为1、填充值为1的卷积操作,将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加,得到特征图p2_2;

所述对p2_2进行下采样操作,以及对p3、p3_1进行卷积操作,然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加,得到特征图p3_2,包括:对p2_2进行2倍下采样操作,对p3进行卷积核3×3、步长为1、填充值为1的卷积操作,以及对p3_1进行卷积核3×3、步长为1、填充值为1的卷积操作,然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加,得到特征图p3_2;

所述对p3_2进行下采样操作,以及对p4进行卷积操作,然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加,得到特征图p4_2,包括:对p3_2进行2倍下采样,对p4进行卷积核3×3、步长为1、填充值为1的卷积操作,然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加,得到特征图p4_2。

5.根据权利要求4所述的基于多尺度卷积神经网络的图像去模糊方法,其特征在于,所述将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图,再将得到的特征图按位置相加得到融合后的特征图,最后将融合后的特征图进行卷积操作得到复原后的清晰图像,包括:

将p1_2、p2_2、p3_2与p4_2分别通过4倍、8倍、16倍、32倍上采样操作得到与模糊图像尺寸相同的特征图,再将得到的特征图按位置相加得到融合后的特征图,最后将融合后的特征图进行卷积核3×3、步长为1、填充值为1的卷积操作得到最终的特征图。

6.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法,其特征在于,所述将模糊图像与清晰图像送入至鉴别网络进行训练,从而构建得到多尺度卷积神经网络,将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络,包括:

采用如下损失函数进行训练:

其中,x为模糊图像,g(x)为复原后的清晰图像,y为原始清晰图像,n为训练图像数量,c为图像通道数,w为图像宽度,h为图像高度。

7.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法,其特征在于,所述鉴别网络包含8个卷积层和一个全连接层,各卷积层中的填充值相同。

8.一种基于多尺度卷积神经网络的图像去模糊装置,其特征在于,包括:

特征提取单元,用于将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取,分别得到4个不同尺度的特征图,表示为p1,p2,p3,p4;

第一上采样单元,用于对p4进行上采样操作,以及对p3进行卷积操作,然后将p4进行上采样操作得到的特征图与p3进行卷积操作得到的特征图按位置相加,得到特征图p3_1;

第二上采样单元,用于对p3_1进行上采样操作,以及对p2进行卷积操作,然后将p3_1进行上采样操作得到的特征图与p2进行卷积操作得到的特征图按位置相加,得到特征图p2_1;

第三上采样单元,用于对p2_1进行上采样操作,以及对p1进行卷积操作,然后将p2_1进行上采样操作得到的特征图与p1进行卷积操作得到的特征图按位置相加,得到特征图p1_2;

第一下采样单元,用于对p1_2进行下采样操作,以及对p2、p2_1进行卷积操作,然后将p1_2进行下采样操作得到的特征图、p2进行卷积操作得到的特征图与p2_1进行卷积操作得到的特征图按位置相加,得到特征图p2_2;

第二下采样单元,用于对p2_2进行下采样操作,以及对p3、p3_1进行卷积操作,然后将p2_2进行下采样操作得到的特征图、p3进行卷积操作得到的特征图与p3_1进行卷积操作得到的特征图按位置相加,得到特征图p3_2;

第三下采样单元,用于对p3_2进行下采样操作,以及对p4进行卷积操作,然后将p3_2进行下采样操作得到的特征图、p4进行卷积操作得到的特征图按位置相加,得到特征图p4_2;

输出单元,用于将p1_2、p2_2、p3_2与p4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图,再将得到的特征图按位置相加得到融合后的特征图,最后将融合后的特征图进行卷积操作得到复原后的清晰图像;

训练单元,用于将模糊图像与清晰图像送入至鉴别网络进行训练,从而构建得到多尺度卷积神经网络,将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络;

复原单元,用于将目标模糊图像送入至所述模糊图像复原网络,输出复原后的目标清晰图像。

9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于多尺度卷积神经网络的图像去模糊方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于多尺度卷积神经网络的图像去模糊方法。


技术总结
本发明公开了一种图像去模糊方法、装置、计算机设备及存储介质,方法包括:将输入的模糊图像进行特征提取,分别得到4个不同尺度的特征图,进行多尺度细节恢复得到不同尺度下的细节特征图P1_2、P2_2、P3_2、P4_2;然后将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作,再将得到的特征图按位置相加得到融合后的特征图,最后将融合后的特征图进行卷积操作得到复原后的清晰图像;将模糊图像与清晰图像送入至鉴别网络进行训练,将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络;将目标模糊图像送入至所述模糊图像复原网络,输出复原后的目标清晰图像。本发明能够有效解决因卷积网络过深而导致的效率问题与图像的细节恢复问题。

技术研发人员:石强;刘雨桐;熊娇;张健;王国勋
受保护的技术使用者:润联软件系统(深圳)有限公司
技术研发日:2020.10.22
技术公布日:2020.12.08
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1