一种基于可逆网络的图像去雨方法、系统和可读存储介质

本发明涉及图像处理领域，更具体的，涉及一种基于可逆网络的图像去雨方法、系统和可读存储介质。

背景技术：

1、雨是一种常见的天气现象，不仅对于人类视觉系统具有严重的干扰，同时对于一些高层次的图像处理任务，比如图像分类、目标检测识别等，也会明显降低其效果。这一缺点倘若反映到自动驾驶领域，基于摄像头的自动驾驶系统将由于雨的出现，无法拍摄清楚的路况信息，从而无法在雨天做出准备的判断，可能引发重大交通事故。

2、为了解决这一问题，相关领域的学者利用现代计算科学，进行了许多对图像去雨方法的研究与探索。

3、现有的基于深度学习技术进行图像去雨的研究中，有研究人员提出单纯利用卷积神经网络和有监督学习对输入的有雨图图像进行去雨重建的方法[ren,dongwei,et al."progressive image deraining networks:a better and simpler baseline."proceedings of the ieee/cvf conference on computer vision and patternrecognition.2019.]，还有研究人员在卷积神经网络的模型设计上做出改进，引入visiontransformer，提出一种级联transformer网络进行图像的去雨[zamir,syed waqas,etal."restormer:efficient transformer for high-resolution image restoration."proceedings of the ieee/cvf conference on computer vision and patternrecognition.2022.]。然而现有的基于深度学习的图像去雨方法普遍仅在有配对数据集训练的条件下能获得良好效果，但现实中这一类数据很难配对获得，这限制了图像去雨模型的应用，传统架构的模型无法利用不配对的有雨/无雨图获得质量优秀的去雨图像。这促使研究人员提出了一种基于无监督学习的去雨模型[wei,yanyan,et al."deraincyclegan:rain attentive cyclegan for single image deraining and rainmaking.″ieeetransactions on image processing 30(2021)：4788-4801.]，但无监督的去雨模型普遍存在复杂、参数众多训练困难等缺点。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种基于可逆网络的图像去雨方法、系统和可读存储介质，为克服上述现有技术所述的无法利用不配对数据集进行图像去雨模型训练，模型复杂、训练困难等缺陷，本发明第一方面提供了一种基于可逆网络的图像去雨方法，包括：

2、获取不配对输入图像；

3、对所述不配对输入图像进行预处理，得到数据集；

4、获取总损失函数ltotal；

5、根据所述总损失函数ltotal对所述数据集进行融合训练，得到去雨模型；

6、获取有雨图像；

7、将所述有雨图像发送至所述去雨模型，得到去雨图像。

8、本方案中，所述获取总损失函数ltotal，具体为：

9、获取循环一致性损失函数lcyc、感知损失函数lperceptual、对抗损失函数ladv；

10、对所述循环一致性损失函数lcyc、感知损失函数lperceptual、对抗损失函数ladv按预设规则处理，得到去雨模型的总损失函数ltotal。

11、本方案中，所述获取循环一致性损失函数lcyc、感知损失函数lperceptual、对抗损失函数ladv，具体为：

12、根据深度可逆网络建立gan生成器；

13、将所述数据集发送至gan生成器，得到输出图像；

14、将所述输出图像发送至预训练的vgg19网络进行转换，得到图像损失；

15、根据所述图像损失构建感知损失函数lperceptual；

16、根据所述深度可逆网络构建循环一致性损失函数lperceptual和对抗损失函数ladv。

17、本方案中，还包括：

18、所述循环一致性损失函数lcyc计算公式为：

19、lcyc＝e[||f(g(rain))-rain||2]+e[||g(f(clean))-clean||2]。

20、本方案中，还包括：

21、所述对抗损失函数ladv计算公式为：

22、

23、本方案中，还包括：

24、所述感知损失函数lperceptual计算公式为：

25、lperceptual＝||φl(f(g(rain))-φl(rain)||2+||φl(f(g(clean))-φl(clean)||2。

26、本发明第二方面提供了一种基于可逆网络的图像去雨系统，包括存储器和处理器，所述存储器中包括基于可逆网络的图像去雨方法程序，所述基于可逆网络的图像去雨方法程序被所述处理器执行时实现如下步骤：

27、获取不配对输入图像；

28、对所述不配对输入图像进行预处理，得到数据集；

29、获取总损失函数ltotal；

30、根据所述总损失函数ltotal对所述数据集进行融合训练，得到去雨模型；

31、获取有雨图像；

32、将所述有雨图像发送至所述去雨模型，得到去雨图像。

33、本方案中，所述获取总损失函数ltotal，具体为：

34、获取循环一致性损失函数lcyc、感知损失函数lperceptual、对抗损失函数ladv；

35、对所述循环一致性损失函数lcyc、感知损失函数lperceptual、对抗损失函数ladv按预设规则处理，得到去雨模型的总损失函数ltotal。

36、本方案中，所述获取循环一致性损失函数lcyc、感知损失函数lperceptual、对抗损失函数ladv，具体为：

37、根据深度可逆网络建立gan生成器；

38、将所述数据集发送至gan生成器，得到输出图像；

39、将所述输出图像发送至预训练的vgg19网络进行转换，得到图像损失；

40、根据所述图像损失构建感知损失函数lperceptual；

41、根据所述深度可逆网络构建循环一致性损失函数lperceptual和对抗损失函数ladv。

42、本方案中，还包括：

43、所述循环一致性损失函数lcyc计算公式为：

44、lcyc＝e[||f(g(rain))-rain||2]+e[||g(f(clean))-clean||2]。

45、本方案中，还包括：

46、所述对抗损失函数ladv计算公式为：

47、

48、本方案中，还包括：

49、所述感知损失函数lperceptual计算公式为：

50、lperceptual＝||φl(f(g(rain))-φl(rain)||2+||φl(f(g(clean))-φl(clean)||2。

51、本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于可逆网络的图像去雨方法程序，所述一种基于可逆网络的图像去雨方法程序被处理器执行时，实现如上述任一项所述的一种基于可逆网络的图像去雨方法的步骤。

52、本发明公开的一种基于可逆网络的图像去雨方法、系统和可读存储介质通过利用深度可逆网络双向可逆计算的特点，将其迁移到gan生成器中，深度可逆网络可以从前向和逆向两个过程进行计算，也就是可以实现双向的图像转换；根据这一特点，上述技术方案提出了一种深度可逆网络与gan相结合的无监督方法，利用拟合能力强大的深度学习技术，实现高效率、高质量的图像去雨，其psnr和ssim值均达到目前较优水平。