一种低光条件去反射方法、系统、电子设备和存储介质与流程

本发明涉及数字图像复原，特别涉及了一种低光条件去反射方法、系统、电子设备和存储介质。

背景技术：

1、计算机视觉技术近年来迅猛发展，广泛应用于自动驾驶、无人机等领域，为科技创新和人类生活改善做出了突出贡献。通过摄像头拍摄的照片，计算机可以“看见”世界，并通过大量的训练学习照片中的信息，从而做出判断和输出，模仿人类对外界的视觉感知能力。然而，这种视觉感知能力的模拟对输入图像数据的质量有很高的要求。如果图像中存在反射、雨滴等遮挡物，或者图像拍摄时光线不足、曝光不良等因素，都会导致图像质量下降，给计算机的运算和训练带来巨大挑战。更严重的是，在实际应用场景中使用这些低质量的图像作为输入，可能会引发安全风险，给用户造成极大危害。例如，在夜间自动驾驶时，如果输入给计算机的路况图像是低光并且有反射现象的，就会影响相关目标检测模型的运行效果，进而影响系统对路况的判断。因此，有效处理低光、反射等问题影响下的图像是推动视觉应用发展和进步的重要课题。

2、近几年图像去反射领域的研究发展迅速，许多基于深度学习的图像去反射方法被提了出来。fan等人(q.fan,j.yang,g.hua,b.chen,and d.p.wipf,“a generic deeparchitecture for single image reflection removal and image smoothing.”in ieeeinternational conference on computervision,2017.)首次利用深度神经网络设计了去反射模型，它首先回归生成背景层的边缘图，然后重新构建背景层。wei等人(k.wei,j.yang,y.fu,“single image reflection removal exploiting misaligned trainingdata and network enhancements.”in ieee conference on computer vision andpattern recognition,2019)在fan等人的研究基础上改进了网络结构，在网络中加入了上下文信息，且模型在对齐和非对齐数据中均可训练。yang等人(j.yang,d.gong,l.liu,q.shi,“seeingdeeply and bidirectionally:a deep learning approach for singleimage reflection removal.”in european conference on computervision,2018.)提出了一种顺序估计两层的多级网络，其中前一阶段预测的反射层作为辅助信息，以指导下一阶段的传输层重构。li等人(c.li,y.yang,k.he,“single image reflection removalthrough cascaded refinement.”in ieee conference on computer vision andpattern recognition,2020.)提出的层级优化网络结构，是一种基于长短期记忆的循环网络，实现了图像信息的跨级传递。lei等人(c.lei,q.chen,“robust reflectionremovalwith reflection-free flash-only cues.”in ieee conference oncomputervision and pattern recognition,2021.)提出利用闪光图像来完成去反射工作，通过减法原理和物理光学原理可以得到去除环境光后只有闪光的图像，为图像去反射工作提供了新的思路。dong等人(z.dong,k.xu,y.yang,“location-aware single imagereflection removal.”in ieee international conference on computervision,2021.)最近提出基于位置感知的图像去反射模型，利用拉普拉斯核参数强调反射边界，运用反射检测模块来回归预测概率反射置信度图，提升了去反射结果的质量。这些方法更多地关注如何消除正常光照下的强反射，而对低光条件下的一些弱反射研究较少。

3、针对低光照图像增强问题，现有的深度学习方法主要依赖于配对训练，其中大多数低光图像是用正常光图像合成的。lore等人(k.g.lore,a.akintayo,s.sarkar,“llnet:adeep autoencoder approach to natural low-lightimage enhancement.”in patternrecognition,2017.)提出了一种堆叠式自动编码器来学习补丁级别的联合去噪和低光增强，它是第一个真正意义上将深度学习应用在图像增强上的网络。wei等人(c.wei,w.wang,w.yang,“deep retinex decomposition for low-light enhancement.”arxivpreprintarxiv:1808.04560,2018.)中的retinex-net提供了一个端到端的框架来结合retinex理论和深度网络，包括了用于分解的网络和用于照明增强的增强网络。gharbi等人(m.gharbi,j.chen,j.t.barron,“deep bilateral learning for real-time image enhancement.”in acm transactions on graphics(tog),2017.)将深度网络与双边网格处理和局部仿射颜色变换与成对监督相结合，训练卷积神经网络来预测双边空间中局部仿射模型的系数。chen等人(c.chen,q.chen,j.xu,“learningto see in the dark.”arxiv preprintarxiv:1805.01934,2018.)提出了一种直接使用原始传感器数据的模型，并替代了大量的传统图像处理流程，更侧重于通过学习颜色转换、去马赛克和去噪的管道来避免低光增强期间的伪影放大，由该模型训练得到的视觉效果让人印象深刻。

技术实现思路

1、针对现有技术中的对低光条件去反射研究的空缺和不足，本发明提供一种低光条件去反射方法、系统、电子设备和存储介质，利用了反射图像和反射层估计图像的信息，实现了低光条件去反射的目的。

2、为实现上述目的，本发明提供以下技术方案：

3、第一方面，本发明提供低光条件去反射方法，其包括以下步骤：

4、生成第一反射图像数据集，所述第一反射图像数据集包含第一反射图像，所述第一反射图像生成自第一光照条件下的反射层图像和背景层图像，和/或，第二光照条件下的反射层图像和背景层图像，所述第一光照条件弱于所述第二光照条件；利用所述第一反射图像数据集生成对应的第一光照注意力图；

5、生成低光条件去反射模型，将所述第一反射图像数据集和所述第一光照注意力图输入到所述低光条件去反射模型，所述低光条件去反射模型包括光照增强模块和去反射模块，经过所述光照增强模块和所述去反射模块处理后得到反射层图像估计和正常光背景层图像，通过反向传播算法训练所述低光条件去反射模型，得到训练好的所述低光条件去反射模型；

6、获取第二反射图像数据集，利用所述第二反射图像数据集生成对应的第二光照注意力图，将所述第二反射图像数据集和所述第二光照注意力图输入到所述低光条件去反射模型，得到正常光反射层图像和正常光背景层图像。

7、第二方面，本发明提供一种低光条件去反射系统，其包括：

8、第一处理单元，其用于生成第一反射图像数据集，所述第一反射图像数据集包含第一反射图像，所述第一反射图像生成自第一光照条件下的反射层图像和背景层图像，和/或，第二光照条件下的反射层图像和背景层图像，所述第一光照条件弱于所述第二光照条件；利用所述第一反射图像数据集生成对应的第一光照注意力图；

9、第二处理单元，其用于生成低光条件去反射模型，将所述第一反射图像数据集和所述第一光照注意力图输入到所述低光条件去反射模型，所述低光条件去反射模型包括光照增强模块和去反射模块，经过所述光照增强模块和所述去反射模块处理后得到反射层图像估计和正常光背景层图像，通过反向传播算法训练所述低光条件去反射模型，得到训练好的所述低光条件去反射模型；

10、处理单元，其用于获取第二反射图像数据集，利用所述第二反射图像数据集生成对应的第二光照注意力图，将所述第二反射图像数据集和所述第二光照注意力图输入到所述低光条件去反射模型，得到正常光反射层图像和正常光背景层图像。

11、第三方面，本发明提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如上所述的低光条件去反射方法。

12、第四方面，本发明提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的低光条件去反射方法。

13、本发明与现有技术相比，其有益效果在于：本发明填补了对低光条件去反射研究的空缺和不足，探索了低光反射图像的合成方法，为该领域提供了新的思路和方法；本发明充分利用了低光反射图像的特点，增强了图像的亮度并区分了背景层和反射层，提高了图像的质量和清晰度，有利于后续高级视觉任务的进行。本发明使用深度学习方法，结合了u-net模型和具有反射感知引导的基于多尺度编解码结构的去反射模块，有效地利用了反射图像和反射层估计图像的信息，实现了低光条件去反射的目的。本发明能够对真实低光反射图像产生较好的复原效果。