一种基于雨滴概率图的雨滴消除方法、系统和存储介质与流程

本发明涉及图像处理技术领域，尤其涉及一种基于雨滴概率图的雨滴消除方法、系统和存储介质。

背景技术：

计算机视觉系统的重要目标是采集现实世界的图像或视频数据，通过处理和分析，实现对视觉数据的认知和理解，如视频监控已成为当前计算机视觉领域一个非常典型和重要的应用。视觉系统所采集的原始数据的准确性给后续处理和分析带来了很大的影响，采集到的数据越准确，则其信息越完备，视觉系统的性能也就越高。然而当前户外视觉系统常常会受到恶劣天气的影响，尤其是雨的影响，因此消除雨滴图像中雨的存在，对提高户外视觉系统的鲁棒性和视频监控系统的有效性具有重要的意义。

随着深度学习的发展，从一张规则雨线图像得到一张干净无雨的图像已变得相对容易。然而当前学界对图像中雨滴的处理还是少之又少。事实上，在雨天视频图像数据的采集过程中，摄像头的镜头上常常会有残余的雨滴，从而导致拍摄的图像中会有雨滴的存在。雨滴图像比普通的雨线图像处理起来难度会更大，后者雨的方向一般比较规律，可以较好地构建模型，而雨滴图像存在着两大障碍，其一，不同于普通的雨线图像，普通雨线图像中雨的分布是规则的、全局的，而雨滴图像中的雨可能存在于图像的任意位置，且形状大小远没有雨线那么规律，检测上存在难度；其二，不同于普通的雨线图像中获取的雨线图像是背景图像和雨的叠加，在雨滴图像中，被雨滴覆盖的图像背景的信息是可能是完全缺失的，这为雨滴图像的复原工作进一步增加了难度。

现有雨滴图像的雨滴消除方法多数是先对雨滴进行检测，再对检测出的雨滴进行修补，从而修复雨滴图像中被雨滴损坏的像素区域。然而通过现有方式修复后的图像中仍有可能存在雨滴残留，不能对雨滴图像中的雨滴进行有效去除，修复质量并不高。

技术实现要素：

为了解决上述至少一个技术问题，本发明提出了一种基于雨滴概率图的雨滴消除方法、系统和存储介质。

为了实现上述目的，本发明第一方面提出了一种基于雨滴概率图的雨滴消除方法，所述方法包括：

接收一张雨滴图像；

根据雨滴的先验信息构建雨滴概率图；

通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；

基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；

输出无雨滴的图像。

本方案中，根据雨滴的先验信息构建雨滴概率图，具体包括：

利用所述雨滴图像的形状光滑度指标s来计算雨滴概率图，计算公式为：α＝e^s-2π。

本方案中，所述最优化模型的算法为：

其中，第一项为保真项，用于确保算法求解出来的背景层与雨滴层的组合满足雨滴图像生成模型，第二项λ1φ(i)和第三项λ2ψ(r)分别为约束图像的正则化项，i表示背景层，r表示雨滴层，λ1和λ2为正则化参数。

本方案中，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体包括：

采用小波紧框架算子约束所述雨滴图像的背景层在转换域的稀疏性，约束公式为：φ(i)＝||wi||1，其中w为小波算子。

本方案中，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体还包括：

约束所述雨滴图像的雨滴层在梯度域的能量，约束公式为：其中为梯度算子。

本方案中，基于所述雨滴概率图求解所述最优化模型，具体包括：

初始化设置，预设所述雨滴概率图为α0，背景层i0＝j，雨滴层r0＝j，其中j为所述雨滴图像；

基于所述雨滴概率图迭代求解所述最优化模型；

待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。

进一步的，基于所述雨滴概率图迭代求解所述最优化模型，具体包括：

根据迭代过程中上一步已知的{αk，ik}，更新rk+1，更新公式为：

根据更新后的{αk，rk+1}，更新ik+1，更新公式为：

根据更新后的rk+1，重新计算所述雨滴图像形状的光滑度s，并更新雨滴概率图αk+1。

本发明第二方面还提出一种基于雨滴概率图的雨滴消除系统，所述基于雨滴概率图的雨滴消除系统包括：存储器及处理器，所述存储器中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被所述处理器执行时实现如下步骤：

接收一张雨滴图像；

根据雨滴的先验信息构建雨滴概率图；

通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；

基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；

输出无雨滴的图像。

本方案中，基于所述雨滴概率图求解所述最优化模型，具体包括：

初始化设置，预设所述雨滴概率图为α0，背景层i0＝j，雨滴层r0＝j，其中j为所述雨滴图像；

基于所述雨滴概率图迭代求解所述最优化模型；

待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。

本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被处理器执行时，实现如上述的一种基于雨滴概率图的雨滴消除方法的步骤。

本发明提出的基于雨滴概率图的雨滴消除方法、系统和存储介质，先采用雨滴的形状特性估计出雨滴概率图，再通过对背景层和雨滴层的先验约束构建最优化模型，以最终得到的背景层图像，即为雨滴消除后的图像。现有针对雨滴图像中的雨滴去除方法中多采用对雨滴进行检测，再对检测出的雨滴进行修补的方式，从而修复图像中被雨滴损坏的像素区域。与现有技术相比，本发明能够更为准确地消除图像中的雨滴，构建高质量的无雨滴图像，并可实现对雨滴图像的有效增强。

本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1示出了本发明一种基于雨滴概率图的雨滴消除方法的流程图；

图2示出了本发明一种基于雨滴概率图的雨滴消除框架图；

图3示出了本发明一种基于雨滴概率图的雨滴消除系统的框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了本发明一种基于雨滴概率图的雨滴消除方法的流程图。

如图1所示，本发明第一方面提出一种基于雨滴概率图的雨滴消除方法，所述方法包括：

s102，接收一张雨滴图像；

s104，根据雨滴的先验信息构建雨滴概率图；

s106，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；

s108，基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；

s110，输出无雨滴的图像。

需要说明的是，本发明的技术方案可以在pc、手机、pad等终端设备中得以实现。

需要说明的是，所述先验信息可以为物理、光学等特性，本发明利用雨滴的先验信息对所述雨滴图像进行分析，得到雨滴概率图，在此基础上，结合雨滴图像背景层和雨滴层的稀疏结构约束，通过构建最优化模型的方式对背景层图像进行求解，从而实现对雨滴图像中的雨滴进行消除。

如图2所示，在具体实施例中，首先输入一张雨滴图像，根据雨滴的先验构建雨滴概率图，通过自然图像的先验假设对背景层和雨滴层进行约束，然后将这两者一同输入到最优化模型中，在最优化模型的迭代求解过程中同时更新雨滴概率图，最终输出无雨滴的图像，实现对图像的增强效果，且通过增强后的图像可用于户外视觉系统的图像分析。

根据雨滴图像生成模型的生成原理可知，雨滴图像j可以由背景层i和雨滴层r的线性叠加而成，关系式为：

j＝(1-α)i+αr；

其中，α表示了所述雨滴图像中雨滴存在的可能性，即为雨滴概率，在整幅雨滴图像中不同像素点对应的α不同，当α＝1，代表该点完全被覆盖，当α＝0，则代表该点不存在雨滴。

进一步的，根据雨滴的先验信息构建雨滴概率图，具体包括：

利用所述雨滴图像的形状光滑度指标s来计算雨滴概率图，计算公式为：α＝e^s-2π。

需要说明的是，本发明通过形状光滑度s这个指标进行计算雨滴概率图。所述光滑度s是通过对雨滴图像中边界上的每一点的正切角度进行积分，当该区域的形状是凸的，则光滑度s为2π，如果是非凸或者锯齿状的，则光滑度s会大于2π，但由于雨滴的形状一般是凸的，所以，当雨滴图像中的某区域形状对应的光滑度s为2π时，则说明该点为雨滴的概率α接近1。

根据本发明的实施例，在对雨滴图像进行雨滴消除时，首先需要初步估计图像中的雨滴概率图α。具体的，可以采用形状的光滑度和圆满度对雨滴的概率进行计算。在此基础上，再对背景层i和雨滴层r根据其先验假设进行约束，从而可构建如下最优化模型的算法：

其中，第一项为保真项，用于确保算法求解出来的背景层与雨滴层的组合满足雨滴图像生成模型，第二项λ1φ(i)和第三项λ2ψ(r)分别为约束图像的正则化项，i表示背景层，r表示雨滴层，λ1和λ2为正则化参数。

需要说明的是，关于最优化模型中的φ可采用图像在小波转换域的稀疏性约束，ψ可采用图像在梯度域能量约束，最优化模型的求解可采用交替迭代的方式进行。

根据本发明的实施例，基于所述雨滴概率图求解所述最优化模型，具体包括：

初始化设置，预设所述雨滴概率图为α0，背景层i0＝j，雨滴层r0＝j，其中j为所述雨滴图像；

基于所述雨滴概率图迭代求解所述最优化模型；

待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。

进一步的，基于所述雨滴概率图迭代求解所述最优化模型，具体包括：

根据迭代过程中上一步已知的{αk，ik}，更新rk+1，更新公式为：

根据更新后的{αk，rk+1}，更新ik+1，更新公式为：

根据更新后的rk+1，重新计算所述雨滴图像形状的光滑度s，并更新雨滴概率图αk+1。

需要说明的是，在得到更新的雨滴概率图αk+1，再结合更新的ik+1来更新rk+2，然后根据更新后的{αk+1，rk+2}来更新更新ik+2，然后根据更新后的rk+2，重新计算所述雨滴图像形状的光滑度s，并更新雨滴概率图αk+2，以此方式进行循环更新出最新的雨滴概率图α，背景层图像i，雨滴层图像r。

根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体包括：

采用小波紧框架算子约束所述雨滴图像的背景层在转换域的稀疏性，约束公式为：ф(i)＝||wi||1，其中w为小波算子。

根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体还包括：

约束所述雨滴图像的雨滴层在梯度域的能量，约束公式为：其中为梯度算子。

需要说明的是，所述梯度算子可以为sobel算子、roberts算子、kirsch算子、laplace算子、piewitt算子、robinson算子，但不限于此。

图3示出了本发明一种基于雨滴概率图的雨滴消除系统的框图。

如图3所示，本发明第二方面还提出一种基于雨滴概率图的雨滴消除系统3，所述基于雨滴概率图的雨滴消除系统3包括：存储器31及处理器32，所述存储器31中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被所述处理器32执行时实现如下步骤：

接收一张雨滴图像；

根据雨滴的先验信息构建雨滴概率图；

通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；

基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；

输出无雨滴的图像。

需要说明的是，本发明的系统可以在pc、手机、pad等终端设备中进行操作。

需要说明的是，所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

需要说明的是，所述系统还可以包括显示器，所述显示器可以称为显示屏或显示单元。在一些实施例中显示器可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organiclight-emittingdiode，oled)触摸器等。显示器用于显示在系统中处理的信息、输出的无雨滴图像以及用于显示可视化的工作界面。

需要说明的是，所述先验信息可以为物理、光学等特性，本发明利用雨滴的先验信息对所述雨滴图像进行分析，得到雨滴概率图，在此基础上，结合雨滴图像背景层和雨滴层的稀疏结构约束，通过构建最优化模型的方式对背景层图像进行求解，从而实现对雨滴图像中的雨滴进行消除。

在具体实施例中，首先输入一张雨滴图像，根据雨滴的先验构建雨滴概率图，通过自然图像的先验假设对背景层和雨滴层进行约束，然后将这两者一同输入到最优化模型中，在最优化模型的迭代求解过程中同时更新雨滴概率图，最终输出无雨滴的图像，实现对图像的增强效果，且通过增强后的图像可用于户外视觉系统的图像分析。

根据雨滴图像生成模型的生成原理可知，雨滴图像j可以由背景层i和雨滴层r的线性叠加而成，关系式为：

j＝(1-α)i+αr；

其中，α表示了所述雨滴图像中雨滴存在的可能性，即为雨滴概率，在整幅雨滴图像中不同像素点对应的α不同，当α＝1，代表该点完全被覆盖，当α＝0，则代表该点不存在雨滴。

进一步的，根据雨滴的先验信息构建雨滴概率图，具体包括：

利用所述雨滴图像的形状光滑度指标s来计算雨滴概率图，计算公式为：α＝e^s-2π。

需要说明的是，本发明通过形状光滑度s这个指标进行计算雨滴概率图。所述光滑度s是通过对雨滴图像中边界上的每一点的正切角度进行积分，当该区域的形状是凸的，则光滑度s为2π，如果是非凸或者锯齿状的，则光滑度s会大于2π，但由于雨滴的形状一般是凸的，所以，当雨滴图像中的某区域形状对应的光滑度s为2π时，则说明该点为雨滴的概率α接近1。

根据本发明的实施例，在对雨滴图像进行雨滴消除时，首先需要初步估计图像中的雨滴概率图α。具体的，可以采用形状的光滑度和圆满度对雨滴的概率进行计算。在此基础上，再对背景层i和雨滴层r根据其先验假设进行约束，从而可构建如下最优化模型的算法：

其中，第一项为保真项，用于确保算法求解出来的背景层与雨滴层的组合满足雨滴图像生成模型，第二项λ1ф(i)和第三项λ2ψ(r)分别为约束图像的正则化项，i表示背景层，r表示雨滴层，λ1和λ2为正则化参数。

需要说明的是，关于最优化模型中的φ可采用图像在小波转换域的稀疏性约束，ψ可采用图像在梯度域能量约束，最优化模型的求解可采用交替迭代的方式进行。

根据本发明的实施例，基于所述雨滴概率图求解所述最优化模型，具体包括：

初始化设置，预设所述雨滴概率图为α0，背景层i0＝j，雨滴层r0＝j，其中j为所述雨滴图像；

基于所述雨滴概率图迭代求解所述最优化模型；

待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。

进一步的，基于所述雨滴概率图迭代求解所述最优化模型，具体包括：

根据迭代过程中上一步已知的{αk，ik}，更新rk+1，更新公式为：

根据更新后的{αk，rk+1}，更新ik+1，更新公式为：

根据更新后的rk+1，重新计算所述雨滴图像形状的光滑度s，并更新雨滴概率图αk+1。

需要说明的是，在得到更新的雨滴概率图αk+1，再结合更新的ik+1来更新rk+2，然后根据更新后的{αk+1，rk+2}来更新更新ik+2，然后根据更新后的rk+2，重新计算所述雨滴图像形状的光滑度s，并更新雨滴概率图αk+2，以此方式进行循环更新出最新的雨滴概率图α，背景层图像i，雨滴层图像r。

根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体包括：

采用小波紧框架算子约束所述雨滴图像的背景层在转换域的稀疏性，约束公式为：φ(i)＝||wi||1，其中w为小波算子。

根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体还包括：

约束所述雨滴图像的雨滴层在梯度域的能量，约束公式为：其中为梯度算子。

需要说明的是，所述梯度算子可以为sobel算子、roberts算子、kirsch算子、laplace算子、piewitt算子、robinson算子，但不限于此。

本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被处理器执行时，实现如上述的一种基于雨滴概率图的雨滴消除方法的步骤。

本发明提出一种基于雨滴概率图的雨滴消除方法、系统和存储介质，先采用雨滴的形状特性估计出雨滴概率图，再通过对背景层和雨滴层的先验约束构建最优化模型，以最终得到的背景层图像，即为雨滴消除后的图像。现有针对雨滴图像中的雨滴去除方法中多采用对雨滴进行检测，再对检测出的雨滴进行修补的方式，从而修复图像中被雨滴损坏的像素区域。与现有技术相比，本发明能够更为准确地消除图像中的雨滴，构建高质量的无雨滴图像，并可实现对雨滴图像的有效增强。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。