一种基于多教师知识蒸馏的单幅图像去雾方法

本发明属于图像去雾处理，具体涉及一种基于多教师知识蒸馏的单幅图像去雾方法。

背景技术：

1、目前，图像去雾方法中教师模型主要有基于先验信息的去雾方法和基于深度学习的去雾方法。基于先验信息的图像去雾方法在恢复图像的可见度、对比度、纹理结构方面具有优势，而基于深度学习的图像去雾方法在提高图像的真实性、颜色保真度方面效果较好。但是目前一般是将单个教师模型学到的知识传递给学生模型，从而使其具有与教师模型相类似的性能，但由于采用单个教师模型对学生网络进行单向知识传递，训练后的学生模型往往会受限于教师模型的性能。

2、因此，现如今缺少一种结构简单，设计合理的基于多教师知识蒸馏的单幅图像去雾方法，通过epdn教师网络模型和psd教师网络模型对学生网络模型进行训练，有效提高学生网络的特征提取能力，且学生网络模型通过四个尺度的编码和解码实现了对去雾图像的多尺度信息的提取，有效融合了去雾图像的全局和局部特征，进而提高图像去雾效果。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多教师知识蒸馏的单幅图像去雾方法，其方法步骤简单，设计合理，通过epdn教师网络模型和psd教师网络模型对学生网络模型进行指导训练，有效提高学生网络的特征提取能力，且学生网络模型通过四个尺度的编码和解码实现了对去雾图像的多尺度信息的提取，有效融合了去雾图像的全局和局部特征，进而提高图像去雾效果。

2、为解决上述技术问题，本发明采用的技术方案是：一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于，该方法包括以下步骤：

3、步骤一、训练集图像的获取：

4、从雾天图像数据库reside中选择室内训练集；其中，室内训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像，所述有雾训练图像和所述无雾训练图像的数量均相同；

5、步骤二、学生网络模型的建立：

6、建立学生网络模型，具体过程如下：

7、步骤201、采用计算机建立学生网络的编码器模型；其中，所述学生网络的编码器模型包括第一尺度网络模型、第二尺度网络模型、第三尺度网络模型和第四尺度网络模型，所述第一尺度网络模型包括第一卷积层和两个基于pa的rdb模块，所述第二尺度网络模型包括第二卷积层、两个基于pa的rdb模块和一个特征融合模块；所述第三尺度网络模型包括第三卷积层、两个基于pa的rdb模块和一个特征融合模块；所述第四尺度网络模型包括第四卷积层、两个基于pa的rdb模块和一个特征融合模块；

8、步骤202、采用计算机建立学生网络的解码器模型；其中，所述学生网络的解码器模型包括第一解码网络模型、第二解码网络模型、第三解码网络模型、第四解码网络模型和第五卷积层，所述第一解码网络模型包括两个基于pa的rdb模块，所述第二解码网络模型包括第一转置卷积层、两个基于pa的rdb模块和一个特征融合模块；所述第三解码网络模型包括第二转置卷积层、两个基于pa的rdb模块和一个特征融合模块；所述第四解码网络模型包括第三转置卷积层、两个基于pa的rdb模块和一个特征融合模块；

9、步骤三、有雾训练图像的特征提取：

10、步骤301、采用计算机将有雾训练图像i经过第一尺度网络模型进行特征提取，得到第一尺度特征图fe1；

11、步骤302、采用计算机将第一尺度特征图fe1经过第二尺度网络模型进行特征提取，得到第二尺度特征图fe2；

12、步骤303、采用计算机将第二尺度特征图fe2经过第三尺度网络模型进行特征提取，得到第三尺度特征图fe3；

13、步骤304、采用计算机将第三尺度特征图fe3经过第四尺度网络模型进行特征提取，得到第四尺度特征图fe4；

14、步骤305、采用计算机将第四尺度特征图fe4经过第一解码网络模型进行特征提取，得到第一解码特征图fd1；

15、步骤306、采用计算机将第一解码特征图fd1经过第二解码网络模型进行特征提取，得到第二解码特征图fd2；

16、步骤307、采用计算机将第二解码特征图fd2经过第三解码网络模型进行特征提取，得到第三解码特征图fd3；

17、步骤308、采用计算机将第三解码特征图fd3经过第四解码网络模型进行特征提取，得到第四解码特征图fd4；采用计算机将第四解码特征图fd4经过第五卷积进行特征提取，得到输出去雾图像out；

18、步骤309、采用计算机利用epdn教师网络模型对有雾训练图像i处理，得到epdn教师网络输出去雾图像outep，并将epdn教师网络模型中全局子生成器输出的特征图并记作epdn教师网络中间输出特征图ep1；

19、采用计算机利用教师psd网络模型对有雾训练图像i处理，得到psd教师网络输出去雾图像outps，并将教师psd网络模型中主干网络输出的特征图记作psd教师网络中间输出特征图ps2；

20、步骤四、总损失函数的建立：

21、步骤401、采用计算机根据得到感知损失函数lper；其中，i为正整数，n＝5，且φi(gt)表示与有雾训练图像i对应的无雾训练图像gt经过vgg19网络模型中relu i_1层输出的特征图，φi(out)表示学生网络模型的输出去雾图像out经过vgg19网络模型中relu i_1层输出的特征图，1≤i≤5；ci、hi和wi分别代表relui_1层输出的特征图的通道数、长和宽；(φi(gt),φi(out))l1表示vgg19网络模型中relui_1层输出的两个特征图之间的曼哈顿距离；

22、步骤402、采用计算机根据ldist＝(out,outep)l1+(out,outps)l1+0.25(ep1,fd2)l1+0.5(ps2,fd3)l1，得到蒸馏损失函数ldiss；其中，(out,outep)l1表示学生网络模型的输出去雾图像out和epdn教师网络输出去雾图像outep之间的曼哈顿距离，(out,outps)l1表示学生网络模型的输出去雾图像out和psd教师网络输出去雾图像outps之间的曼哈顿距离，(ep1,fd2)l1代表epdn教师网络中间输出特征图ep1和学生网络模型的第二解码特征图fd2之间的曼哈顿距离，(ps2,fd3)l1代表psd教师网络中间输出特征图ps2和学生网络模型的第三解码特征图fd3之间的曼哈顿距离；

23、步骤403、采用计算机根据lloss＝0.1lper+ldist，得到总损失函数lloss；

24、步骤五、有雾训练图像对学生网络模型的训练：

25、步骤501、计算机采用adam优化算法，利用总损失函数lloss对学生网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；

26、步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的学生网络模型；

27、步骤六、利用训练好的学生网络模型对单幅图像去雾：

28、采用计算机将任一张有雾图像输入训练好的学生网络模型中进行去雾处理，得到无雾图像。

29、上述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤201中第一卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；

30、第二卷积层中卷积卷积核的数量为64，卷积核的大小为3×3，滑动步长为2，padding为1；

31、步骤201中基于pa的rdb模块包括第一conv+relu层、conv1卷积层、rdb模块、conv2卷积层和sigmoid激活函数层；第一conv+relu层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；conv1卷积层中卷积核的数量为32，卷积核的大小为1×1，滑动步长为1，padding为0；conv2卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为1，padding为1；

32、第三卷积层中卷积卷积核的数量为128，卷积核的大小为3×3，滑动步长为2，padding为1；

33、第四卷积层中卷积卷积核的数量为256，卷积核的大小为3×3，滑动步长为2，padding为1；

34、步骤201中特征融合模块包括第一conv+instancenorm归一化+relu激活函数层和第二conv+instancenorm归一化+relu激活函数层；

35、步骤202中第一转置卷积层中卷积核的数量为128，卷积核的大小为3×3，滑动步长为2，padding为1，out_padding为1；

36、第二转置卷积层中卷积核的数量为64，卷积核的大小为3×3，滑动步长为2，padding为1，out_padding为1；

37、第三转置卷积层中卷积核的数量为32，卷积核的大小为3×3，滑动步长为2，padding为1，out_padding为1；

38、第五卷积层中卷积卷积核的数量为3，卷积核的大小为3×3，滑动步长为1，padding为1。

39、上述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤301中采用计算机将有雾训练图像i经过第一尺度网络模型进行特征提取，得到第一尺度特征图fe1，具体过程如下：

40、步骤3011、采用计算机将有雾训练图像i经过第一卷积层进行特征提取，得到输入特征图fin；

41、步骤3012、计算机将输入特征图fin输入一个基于pa的rdb模块进行特征提取，得到中间输出特征图fout；

42、步骤3013、按照步骤3012所述的方法，计算机将中间输出特征图fout输入另一个基于pa的rdb模块进行特征提取，得到第一尺度特征图fe1。

43、上述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤302中采用计算机将第一尺度特征图fe1经过第二尺度网络模型进行特征提取得到第二尺度特征图fe2，具体过程如下：

44、步骤3021、采用计算机将第一尺度特征图fe1经过第二卷积层进行特征提取，得到第二输入特征图；

45、步骤3022、计算机将第二输入特征图输入第二尺度网络模型中一个基于pa的rdb模块进行特征提取，得到第二尺度第一编码特征图；

46、步骤3023、计算机将第二尺度第一编码特征图输入第二尺度网络模型中另一个基于pa的rdb模块进行特征提取，得到第二尺度第二编码特征图；

47、步骤3024、计算机将第一尺度特征图fe1进行0.5倍下采样，得到第一下采样特征图；

48、步骤3025、采用计算机调用拼接cat函数模块将第一下采样特征图和第二尺度第二编码特征图进行拼接，得到第一拼接后特征图；

49、步骤3026、采用计算机将第一拼接后特征图输入第二尺度网络模型中一个特征融合模块，得到第二尺度特征图fe2；

50、步骤303中采用计算机将第二尺度特征图fe2经过第三尺度网络模型进行特征提取得到第三尺度特征图fe3，具体过程如下：

51、步骤3031、采用计算机将第二尺度特征图fe2经过第三卷积层进行特征提取，得到第三输入特征图；

52、步骤3032、计算机将第三输入特征图输入第三尺度网络模型中一个基于pa的rdb模块进行特征提取，得到第三尺度第一编码特征图；

53、步骤3033、计算机将第三尺度第一解码特征图输入第三尺度网络模型中另一个基于pa的rdb模块进行特征提取，得到第三尺度第二编码特征图；

54、步骤3034、计算机将第二尺度特征图fe2进行0.5倍下采样，得到第二下采样特征图；

55、计算机将第一尺度特征图fe1进行0.25倍下采样，得到第三下采样特征图；

56、步骤3035、采用计算机调用拼接cat函数模块将第二下采样特征图、第三下采样特征图和第三尺度第二编码特征图进行拼接，得到第二拼接后特征图；

57、步骤3036、采用计算机将第二拼接后特征图输入第三尺度网络模型中一个特征融合模块，得到第三尺度特征图fe3；

58、步骤304中采用计算机将第三尺度特征图fe3经过第四尺度网络模型进行特征提取得到第四尺度特征图fe4，具体过程如下：

59、步骤3041、采用计算机将第三尺度特征图fe3经过第四卷积层进行特征提取，得到第四输入特征图；

60、步骤3042、计算机将第四输入特征图输入第四尺度网络模型中一个基于pa的rdb模块进行特征提取，得到第四尺度第一编码特征图；

61、步骤3043、计算机将第四尺度第一编码特征图输入第四尺度网络模型中另一个基于pa的rdb模块进行特征提取，得到第四尺度第二编码特征图；

62、步骤3044、计算机将第三尺度特征图fe3进行0.5倍下采样，得到第四下采样特征图；

63、计算机将第二尺度特征图fe2进行0.25倍下采样，得到第五下采样特征图；

64、计算机将第一尺度特征图fe1进行0.125倍下采样，得到第六下采样特征图；

65、步骤3045、采用计算机调用拼接cat函数模块将第四下采样特征图、第五下采样特征图、第六下采样特征图和第四尺度第二编码特征图进行拼接，得到第三拼接后特征图；

66、步骤3046、采用计算机将第三拼接后特征图输入第四尺度网络模型中一个特征融合模块，得到第四尺度特征图fe4。

67、上述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤3012中计算机将输入特征图fin输入一个基于pa的rdb模块进行特征提取得到中间特征图fout，具体过程如下：

68、步骤a、计算机将输入特征图fin经过第一conv+relu层进行特征提取得到特征图fpre；

69、步骤b、计算机将特征图fpre输入conv1卷积层和rdb模块进行特征提取，得到特征图frdb，同时，特征图fpre输入conv2卷积层进行卷积处理并经过sigmoid激活函数进行归一化得到空间权重图fs；

70、步骤c、计算机根据得到特征图fmid；其中，表示特征图矩阵之间的哈达玛积运算，表示特征图矩阵之间的加法运算；

71、步骤d、计算机根据得到中间特征图fout；

72、上述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤3026中、步骤3036中和步骤3046中将第一拼接后特征图、第二拼接后特征图和第三拼接后特征图记作拼接后特征图，将第二尺度特征图fe2、第三尺度特征图fe3和第四尺度特征图fe4均记作融合后尺度特征图，则采用计算机将拼接后特征图输入一个特征融合模块得到尺度特征图，具体过程如下：

73、步骤a1、采用计算机将拼接后特征图经过第一conv+instancenorm归一化+relu激活函数层进行特征处理，得到融合编码特征图；

74、步骤a2、采用计算机将融合编码特征图经过第二conv+instancenorm归一化+relu激活函数层进行特征处理，得到融合后尺度特征图。

75、上述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤305中采用计算机将第四尺度特征图fe4经过第一解码网络模型进行特征提取得到第一解码特征图fd1，具体过程如下：

76、步骤3051、采用计算机将第四尺度特征图fe4经过第一解码网络模型中一个基于pa的rdb模块进行特征提取，得到第一前解码特征图；

77、步骤3052、计算机将第一前解码特征图输入第一解码网络模型中另一个基于pa的rdb模块进行特征提取，得到第一解码特征图fd1；

78、步骤306，具体过程如下：

79、步骤3061、采用计算机将第一解码特征图fd1经过第一转置卷积层进行特征提取得到第一解码第一上采样特征图；

80、步骤3062、采用计算机将第一解码第一上采样特征图经过第二解码网络模型中两个基于pa的rdb模块进行特征提取，得到第一中间特征图；

81、步骤3063、采用计算机将第一解码特征图fd1经过2倍上采样处理，得到第一解码第二上采样特征图；

82、步骤3064、采用计算机调用拼接cat函数模块将第一中间特征图和第一解码第二上采样特征图拼接，得到第一解码拼接特征图；

83、步骤3065、采用计算机将第一解码拼接特征图输入第二解码网络模型中一个特征融合模块，得到第二解码特征图fd2；

84、步骤307，具体过程如下：

85、步骤3071、采用计算机将第二解码特征图fd2经过第二转置卷积层进行特征提取得到第二解码第一上采样特征图；

86、步骤3072、采用计算机将第二解码第一上采样特征图经过第三解码网络模型中两个基于pa的rdb模块进行特征提取，得到第二中间特征图；

87、步骤3073、采用计算机将第一解码特征图fd1经过4倍上采样得到第二解码第二上采样特征图；

88、将第二解码特征图fd2经过2倍上采样得到第二解码第三上采样特征图；

89、步骤3074、采用计算机调用拼接cat函数模块将第二中间特征图、第二解码第二上采样特征图和第二解码第三上采样特征图拼接，得到第二解码拼接特征图；

90、步骤3075、采用计算机将第二解码拼接特征图输入第三解码网络模型中一个特征融合模块，得到第三解码特征图fd3；

91、步骤308，具体过程如下：

92、步骤3081、采用计算机将第三解码特征图fd3经过第三转置卷积层进行特征提取得到第三解码第一上采样特征图；

93、步骤3072、采用计算机将第三解码第一上采样特征图经过第四解码网络模型中两个基于pa的rdb模块进行特征提取，得到第三中间特征图；

94、步骤3073、采用计算机将第一解码特征图fd1经过8倍上采样得到第三解码第二上采样特征图；

95、将第二解码特征图fd2经过4倍上采样得到第三解码第三上采样特征图；

96、将第三解码特征图fd3经过2倍上采样得到第三解码第四上采样特征图；

97、步骤3074、采用计算机调用拼接cat函数模块将第三中间特征图、第三解码第二上采样特征图、第三解码第三上采样特征图和第三解码第四上采样特征图拼接，得到第三解码拼接特征图；

98、步骤3075、采用计算机将第三解码拼接特征图输入第三解码网络模型中一个特征融合模块，得到第四解码特征图fd4。

99、本发明与现有技术相比具有以下优点：

100、1、本发明方法步骤简单，设计合理，首先是训练集图像的获取；其次是学生网络模型的建立，接着是有雾训练图像的特征提取，之后是总损失函数的建立，然后是有雾训练图像对学生网络模型的训练，最后利用训练好的学生网络模型对单幅图像去雾，提高图像去雾效果。

101、2、本发明学生网络模型中采用特征注意残差密集块进行多尺度特征提取，生成端到端的特征图像，利用了神经网络的优点，又具有较强的泛化能力。

102、3、本发明学生网络模型中编码器模型包括第一尺度网络模型、第二尺度网络模型、第三尺度网络模型和第四尺度网络模型，解码器模型包括第一解码网络模型、第二解码网络模型、第三解码网络模型和第四解码网络模型，通过编码器模型实现四个尺度的下采样特征提取，通过解码器模型实现四个尺度的上采样特征提取，实现了对去雾图像的多尺度信息的提取，有效融合了去雾图像的全局和局部特征，进而提高图像去雾效果。

103、4、本发明采用epdn教师网络模型和psd教师网络模型以多教师知识蒸馏的方式实现了教师网络到学生网络的知识迁移，使学生网络能够结合基于先验信息的图像去雾方法和基于深度学习的图像去雾方法的互补优势。

104、综上所述，本发明方法步骤简单，设计合理，通过epdn教师网络模型和psd教师网络模型对学生网络模型进行指导训练，有效提高学生网络的特征提取能力，且学生网络模型通过四个尺度的编码和解码实现了对去雾图像的多尺度信息的提取，有效融合了去雾图像的全局和局部特征，进而提高图像去雾效果。

105、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。