图像去雾处理方法及装置、存储介质与流程

本申请涉及计算机视觉技术领域，具体涉及一种图像去雾处理方法及装置、存储介质。

背景技术：

图像去雾在许多领域有着重要的应用价值，例如，图像画质复原与增强、交通检测、环境监控等等。图像去雾算法涉及求解一个大气散射模型，只有有雾图像已知，而环境大气光，透射率和清晰图像均未知，这是一个高度病态不适定问题。目前的图像去雾算法的处理效果不尽如人意。

技术实现要素：

本申请提供一种图像去雾处理的技术方案。

第一方面，本申请实施例提供了一种图像去雾处理所述方法，包括：获取有雾图像；根据所述有雾图像预测得到初始的环境大气光、透射率及清晰图像的预测值；基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值；根据每次迭代后的环境大气光、透射率及清晰图像的预测值对所述有雾图像进行去雾处理，直至处理次数达到预设次数后，输出最终的去雾图像。

上述方案中，可选地，所述基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值，包括：按照变分模型的迭代格式，对所述有雾图像进行去雾处理，得到环境大气光、透射率及清晰图像的预测值；其中，所述变分模型的迭代格式表示为：

其中，

其中，aⁿ⁺¹表示第n+1次迭代时环境大气光a的值，αa表示第n+1次迭代时环境大气光a的步长，tⁿ⁺¹表示第n+1次迭代时透射率t的值，αt表示第n+1次迭代时透射率t的步长，表示根据第n+1次迭代时环境大气光a的值aⁿ⁺¹与透射率t的值tⁿ⁺¹得到的关于清晰图像j的中间解；αj表示第n+1次迭代时清晰图像j的步长，jⁿ⁺¹表示第n+1次迭代时清晰图像j的值。

上述方案中，可选地，所述方法还包括：基于大气散射模型确定变分模型，所述变分模型包括第一数据项、第二数据项、环境大气光约束项、透射率约束项和清晰图像约束项；结合梯度下降法和迭代法求解所述变分模型，得到所述变分模型的迭代格式。

上述方案中，可选地，所述大气散射模型表示为：其中，i表示有雾图像，a表示环境大气光、t表示介质的透射率，j表示清晰图像。

上述方案中，可选地，所述变分模型表示为：

其中，表示约束条件；φ(a)表示环境大气光a的先验项，λ表示φ(a)的权重，ψ(t)表示透射率t的先验项，γ表示ψ(t)的权重，ω(j)表示清晰图像j的先验项，η表示ω(j)的权重，表示第一数据项和第二数据项之和；

其中，表示第一数据项，表示第二数据项。

上述方案中，可选地，所述图像去雾处理方法通过图像去雾网络实现，所述方法还包括：利用所述图像去雾网络对训练样本中的有雾图像进行迭代去雾处理，得到与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值；根据与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值，以及训练样本中与所述有雾图像对应的清晰图像真值、环境大气光真值和透射率真值，确定环境大气光的损失、透射率的损失和清晰图像的损失；根据所述环境大气光的损失、所述透射率的损失和所述清晰图像的损失，结合损失函数确定总损失值；根据所述总损失值调整所述图像去雾网络的权重参数。

上述方案中，可选地，所述图像去雾网络包括所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络；所述根据所述总损失值调整所述图像去雾网络的权重参数，包括：基于所述总损失值调整所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络的权重参数。

上述方案中，可选地，所述根据所述总损失值调整所述图像去雾网络的权重参数，包括：确定每次迭代时的总损失值；每次迭代结束时，基于每次迭代时的总损失值，调整所述图像去雾网络的权重参数。

上述方案中，可选地，所述损失函数表示为：

其中，

θⁿ表示迭代n时和的网络参数，表示训练样本为m的训练集，其中分别表示环境大气光、透射率和清晰图像的真值，分别表示环境大气光、透射率和清晰图像的预测值。

第二方面，本申请实施例提供一种图像去雾处理装置，所述装置包括：获取模块，用于获取有雾图像；第一处理模块，用于获取有雾图像；根据所述有雾图像预测得到初始的环境大气光、透射率及清晰图像的预测值；基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值；根据每次迭代后的环境大气光、透射率及清晰图像的预测值对所述有雾图像进行去雾处理，直至处理次数达到预设次数后，输出最终的去雾图像。

上述方案中，可选地，所述第一处理模块，用于：按照变分模型的迭代格式，对所述有雾图像进行去雾处理，得到环境大气光、透射率及清晰图像的预测值；其中，所述变分模型的迭代格式表示为：

其中，

其中，aⁿ⁺¹表示第n+1次迭代时环境大气光a的值，αa表示第n+1次迭代时环境大气光a的步长，tⁿ⁺¹表示第n+1次迭代时透射率t的值，αt表示第n+1次迭代时透射率t的步长，表示根据第n+1次迭代时环境大气光a的值aⁿ⁺¹与透射率t的值tⁿ⁺¹得到的关于清晰图像j的中间解；αj表示第n+1次迭代时清晰图像j的步长，jⁿ⁺¹表示第n+1次迭代时清晰图像j的值。

上述方案中，可选地，所述装置还包括：第二处理模块，用于：基于大气散射模型确定变分模型，所述变分模型包括第一数据项、第二数据项、环境大气光约束项、透射率约束项和清晰图像约束项；结合梯度下降法和迭代法求解所述变分模型，得到所述变分模型的迭代格式。

上述方案中，可选地，所述大气散射模型表示为：其中，i表示有雾图像，a表示环境大气光、t表示介质的透射率，j表示清晰图像。

上述方案中，可选地，所述变分模型表示为：

其中，表示约束条件；φ(a)表示环境大气光a的先验项，λ表示φ(a)的权重，ψ(t)表示透射率t的先验项，γ表示ψ(t)的权重，ω(j)表示清晰图像j的先验项，η表示ω(j)的权重，表示第一数据项和第二数据项之和；

其中，表示第一数据项，表示第二数据项。

上述方案中，可选地，所述图像去雾处理方法通过图像去雾网络实现，所述装置还包括：第三处理模块，用于：利用所述图像去雾网络对训练样本中的有雾图像进行迭代去雾处理，得到与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值；根据与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值，以及训练样本中与所述有雾图像对应的清晰图像真值、环境大气光真值和透射率真值，确定环境大气光的损失、透射率的损失和清晰图像的损失；根据所述环境大气光的损失、所述透射率的损失和所述清晰图像的损失，结合损失函数确定总损失值；根据所述总损失值调整所述图像去雾网络的权重参数。

上述方案中，可选地，所述图像去雾网络包括所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络；所述第三处理模块，用于：基于所述总损失值调整所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络的权重参数。

上述方案中，可选地，所述第三处理模块，用于：确定每次迭代时的总损失值；每次迭代结束时，基于每次迭代时的总损失值，调整所述图像去雾网络的权重参数。

上述方案中，可选地，所述损失函数表示为：

其中，

θⁿ表示迭代n时和的网络参数，表示训练样本为m的训练集，其中分别表示环境大气光、透射率和清晰图像的真值，分别表示环境大气光、透射率和清晰图像的预测值。

第三方面，本申请实施例提供了一种图像去雾处理装置，所述装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的图像去雾处理方法的步骤。

第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请实施例所述的图像去雾处理方法的步骤。

本申请提供的技术方案，获取有雾图像；根据所述有雾图像预测得到初始的环境大气光、透射率及清晰图像的预测值；基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值；根据每次迭代后的环境大气光、透射率及清晰图像的预测值对所述有雾图像进行去雾处理，直至处理次数达到预设次数后，输出最终的去雾图像；不同于端到端的信息前馈传播的深度学习方法，结合信息前馈传播和迭代回传的过程，能有效地提高去雾效果。

附图说明

图1为本申请实施例提供的一种图像去雾网络的训练方法的实现流程示意图；

图2为本申请实施例提供的图像去雾算法概述框架示意图；

图3为本申请实施例提供的一种图像去雾处理方法的实现流程示意图；

图4为本申请实施例提供的一种图像去雾网络的训练装置的组成结构示意图；

图5为本申请实施例提供的一种图像去雾处理装置的组成结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。

在本公开实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开实施例。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“一个”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”及“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图和具体实施例对本申请的图像去雾处理的方案中用到的图像去雾网络的训练方法进行详细阐述。

本申请实施例提供一种图像去雾网络的训练方法，如图1所示，所述方法主要包括：

步骤s101、基于大气散射模型确定变分模型，所述变分模型包括第一数据项、第二数据项、环境大气光约束项、透射率约束项和清晰图像约束项。

其中，所述大气散射模型表示为：

式中，i表示有雾图像，a表示环境大气光、t表示介质的透射率，j表示清晰图像。

根据大气散射模型(1)，图像去雾问题可以通过求解以下最小化问题：

其中，s.t.是suchthat的缩写，表示约束条件；其中，φ(·)和ψ(·)分别是关于环境大气光a和透射率t的先验；λ和γ是正的权重参数；表示数据项，通常定义为：

其中在本文中取为l2范数。

如果和φ(·)，ψ(·)是可微的，则可用梯度下降法求解问题最小化问题(2)。在每次迭代中，我们需要求解

式中αa和αt分别表示a和t的步长；表示梯度算子；n＝1，2，3…k-1表示迭代次数，k是最大迭代次数。

采用一种一步端到端的方式直接从i获得a和t，然后通过(1)计算j。由于这种双cnn结构能够产生合理的结果，我们将这种方法作为迭代法(4)的初始化方法，其公式如下：

其中，a¹、t¹和j¹是(4)的初始值，n¹在该初始化过程里是一个cnn。

如上所述，用基于梯度下降的优化方法(4)和初始化方法(5)迭代求解变分模型(2)，可以解决图像去雾问题。

式(2)考虑了a和t上的先验项，可以直接得到j的闭形式解。然而，即使a和t可以较好地被估计，清晰图像j仍然缺乏适当的约束，由于图像去雾问题的高度不适定性，我们进一步引入j上的先验项来约束预测的清晰图像j，并将式(2)重新表述为变分模型，所述变分模型表示为：

其中，表示约束条件；φ(a)表示环境大气光a的先验项，λ表示φ(a)的权重，ψ(t)表示透射率t的先验项，γ表示ψ(t)的权重，ω(j)表示清晰图像j的先验项，η表示ω(j)的权重，表示数据项。

步骤s102、结合梯度下降法和迭代法求解所述变分模型，得到所述变分模型的迭代格式。

示例性地，所述迭代法为高斯-塞德尔(gauss-seidel)迭代法，或雅克比(jacobi)迭代法，等等。

基于式(1)，如果j的真值是已知的，则应尽可能相似于j的真值是已知的。尽管j的真值是未知的，预测的jn是一个很好的近似值，因此它可以在下一个迭代中被用来更好地预测aⁿ⁺¹和tⁿ⁺¹。通过这种方式，我们提出了a和t上的数据项：

其中，为简单起见，上述n和n+1被省略。采用类似的l2范数。在(3)中定义的数据项变成：

基于重新表述的目标函数(6)和数据项(8)，用梯度下降法迭代求解j，并将(4)重新表述为：

其中，将式(8)中的记为第一数据项，将式(8)中的记为第二数据项。

我们用梯度下降法迭代求解j，并将(4)进行重新表述，可得所述变分模型的迭代格式表示为：

其中，aⁿ⁺¹表示第n+1次迭代时环境大气光a的值，αa表示第n+1次迭代时环境大气光a的步长，tⁿ⁺¹表示第n+1次迭代时透射率t的值，αt表示第n+1次迭代时透射率t的步长，表示根据第n+1次迭代时环境大气光a的值aⁿ⁺¹与透射率t的值tⁿ⁺¹得到的关于清晰图像j的中间解；αj表示第n+1次迭代时清晰图像j的步长，jⁿ⁺¹表示第n+1次迭代时清晰图像j的值。

(9)中的可微分先验项和可通过以下公式学习：

其中，和分别是以aⁿ、tⁿ和jⁿ为输入的cnn。正权重参数λ、γ和η可以很自然地被一起学习。

步骤s103、将各种约束项的子网络嵌入到所述变分模型的迭代格式中，得到包含各种所述子网络的所述图像去雾网络。

步骤s104、利用训练样本训练所述图像去雾网络。

在一些可选实现方式中，所述利用训练样本训练所述图像去雾网络，包括：利用所述图像去雾网络对所述训练样本中的有雾图像进行去雾处理，得到与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值；根据与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值，以及所述训练样本中与所述有雾图像对应的清晰图像真值、环境大气光真值和透射率真值，确定环境大气光的损失、透射率的损失和清晰图像的损失；根据所述环境大气光的损失、所述透射率的损失和所述清晰图像的损失，结合所述损失函数确定总损失值；基于所述总损失值调整所述环境大气光约束项的子网络、所述透射率约束项的子网络、以及所述清晰图像的约束项的子网络的权重参数。

上述方案中，可选地，所述损失函数表示为：

其中，θⁿ表示迭代n时和的网络参数，表示训练样本为m的训练集，其中分别表示环境大气光、透射率和清晰图像的真值，分别表示环境大气光、透射率和清晰图像的预测值。其中，

在一些可选实现方式中，所述利用训练样本训练所述图像去雾网络，包括：确定环境大气光、透射率和清晰图像的初始迭代值；从所述初始迭代值开始，在损失函数的监督下，通过所述变分模型的迭代格式，迭代优化环境大气光、透射率及清晰图像的解，直至达到最大迭代次数；根据损失函数确定最后一次迭代的总损失值；根据所述总损失值调整各种所述子网络的网络参数。

在一些可选实现方式中，所述从所述初始迭代值开始，在损失函数的监督下，通过所述变分模型的迭代格式，迭代优化环境大气光、透射率及清晰图像的解，包括：确定每一次迭代时环境大气光、透射率和清晰图像各项对应的预测值和真值；基于每一次迭代时环境大气光、透射率和清晰图像各项对应的预测值和真值，确定每一次迭代时环境大气光、透射率和清晰图像各项对应的损失；结合损失函数，确定每一次迭代时的总损失值；每次迭代结束时，基于每一次迭代时的总损失值，调整各项对应的约束项的子网络的权重参数。

本申请所述技术方案可用于各种图像去雾处理任务中，对场景不做限定，比如场景包括图像处理软件，交通检测，环境监控等。

本申请所述技术方案，用一般性的变分模型来刻画图像去雾问题，引入有效的数据项和先验约束项来约束模型，能改善不适定性；和以往的手工设计的图像统计先验的方法或者端到端的用卷积神经网络直接预测清晰图像的方法不同，本申请基于梯度下降法和迭代法来求解变分模型，用卷积神经网络嵌入到迭代算法有效地学习环境大气光、透射率和清晰图像的先验；不同于端到端的信息前馈传播的深度学习方法，结合信息前馈传播和迭代回传的过程，能有效地提高去雾效果。

在一些实施方式中，确定有雾图像i、每一次迭代时环境大气光、透射率和清晰图像各项对应的步长αa、αt、αj，最大迭代次数k；第一次迭代时，基于和得到所述有雾图像i的a1和t1，根据损失函数(13)和(14)，以及a，t的真值，计算出a，t的总损失值，基于该总损失值调整a对应的初始化网络和t对应的初始化网络第二次迭代时，根据公式(9)得到a、t、j的预测值，根据损失函数(13)和(14)以及a、t、j的真值，计算出a、t、j的总损失值；根据总损失值，调整a对应的初始化网络和t对应的初始化网络以及a对应的约束项网络t对应的约束项网络j对应的约束项网络的权重参数。以此类推，直至迭代到最大次数k。

本申请所述技术方案可用于各种图像去雾处理任务中，对场景不做限定，比如场景包括图像处理软件，交通检测，环境监控等。

本申请所述技术方案，将图像去雾问题表述为一个变分模型的最小化问题，该模型具有良好的数据项和先验项，以使模型正则化；基于经典梯度下降法来求解这个最小化问题，深度cnns被嵌入迭代过程中，这种方法可以很好地估计大气光、透射率和清晰图像的图像先验；结合图像去雾的物理模型和深度学习方法的特性，能够生成清晰的图像以及准确的大气光和透射率，有效地提高去雾效果。

在一种应用场景下，本申请实施例提供的图像去雾算法，该方法的概述框架如图2所示，该框架由两个关键组成部分组成：(a)、从(5)的初始化值开始，在阶段性损失函数(13)和(14)的监督下迭代优化中间解an、tn和jn，直至收敛到良好状态；(b)、迭代算法的基本结构(9)，下一步的解an+1、tn+1和jn+1的学习过程被基于物理的数据项((3)和(7))和学到的an、tn和jn的先验项((10)、(11)和(12))约束。

实际应用中，将(5)在第一次迭代时表示为初始化方法，而将第n次(n＝2，3···k)迭代时的迭代算法(9)表示为迭代单元。从初始化值开始，提出的深度图像去雾算法在若干次迭代中收敛。该方法采用迭代优化策略和有效的基于神经网络的学习方式，通过迭代优化一个变分模型并用深度cnns来学习雾相关的图像先验，数据项和学到的深度图像先验有助于更好地估计大气光、透射率和清晰图像，采用基于梯度下降法的迭代方法数个迭代收敛。在基准数据集上进行的大量定性和定量实验表明，所提出的去雾处理算法表现良好。

对应地，本公开实施例提出了一种图像去雾处理方法，所述方法包括：

步骤s201：获取有雾图像。

步骤s202：根据所述有雾图像预测得到初始的环境大气光、透射率及清晰图像的预测值。

步骤s203：基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值。

步骤s204：根据每次迭代后的环境大气光、透射率及清晰图像的预测值对所述有雾图像进行去雾处理，直至处理次数达到预设次数后，输出最终的去雾图像。

这里，所述预设次数大于或等于2。

在一些实施方式中，所述基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值，包括：按照变分模型的迭代格式，对所述有雾图像进行去雾处理，得到环境大气光、透射率及清晰图像的预测值。

其中，变分模型的迭代格式如上文式(9)，在此不再赘述。

其中，变分模型如上文式(6)，在此不再赘述。

上述图像去雾处理方法可通过图像去雾网络实现，所述方法还包括：利用所述图像去雾网络对训练样本中的有雾图像进行迭代去雾处理，得到与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值；根据与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值，以及训练样本中与所述有雾图像对应的清晰图像真值、环境大气光真值和透射率真值，确定环境大气光的损失、透射率的损失和清晰图像的损失；根据所述环境大气光的损失、所述透射率的损失和所述清晰图像的损失，结合损失函数确定总损失值；根据所述总损失值调整所述图像去雾网络的权重参数。

在一些可选实施方式中，所述图像去雾网络包括所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络；所述根据所述总损失值调整所述图像去雾网络的权重参数，包括：基于所述总损失值调整所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络的权重参数。

在一些可选实施方式中，所述根据所述总损失值调整所述图像去雾网络的权重参数，包括：确定每次迭代时的总损失值；每次迭代结束时，基于每次迭代时的总损失值，调整所述图像去雾网络的权重参数。

本实施例所述图像去雾处理方法，不同于端到端的信息前馈传播的深度学习方法，结合信息前馈传播和迭代回传的过程，能有效地提高去雾效果。

在一些实施例中，图像去雾网络获取有雾图像；确定最大迭代次数k；确定每次迭代时环境大气光、透射率和清晰图像各自对应的梯度下降法的步长α；基于所述迭代次数k和在每次迭代过程中环境大气光、透射率和清晰图像各自对应的所述步长α，利用图像去雾网络对所述有雾图像进行去雾处理，得到经过k次处理后的去雾图像；其中，所述图像去雾网络采用上文所述的方法训练。

对应上述图像去雾网络的训练方法，本申请实施例提供了一种图像去雾网络的训练装置，如图3所示，所述装置包括：第一确定模块10，用于基于大气散射模型确定变分模型，所述变分模型包括第一数据项、第二数据项、环境大气光约束项、透射率约束项和清晰图像约束项；第二确定模块20，用于结合梯度下降法和迭代法求解所述变分模型，得到所述变分模型的迭代格式；第三确定模块30，用于将各种约束项的子网络嵌入到所述变分模型的迭代格式中，得到包含各种所述子网络的所述图像去雾网络；网络训练模块40，用于利用训练样本训练所述图像去雾网络。

作为一种实施方式，所述网络训练模块40，用于：利用所述图像去雾网络对所述训练样本中的有雾图像进行去雾处理，得到与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值；根据与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值，以及所述训练样本中与所述有雾图像对应的清晰图像真值、环境大气光真值和透射率真值，确定环境大气光的损失、透射率的损失和清晰图像的损失；根据所述环境大气光的损失、所述透射率的损失和所述清晰图像的损失，结合所述损失函数确定总损失值；基于所述总损失值调整所述环境大气光约束项的子网络、所述透射率约束项的子网络、以及所述清晰图像的约束项的子网络的权重参数。

作为一种实施方式，所述网络训练模块40，用于：确定环境大气光、透射率和清晰图像的初始迭代值；从所述初始迭代值开始，在损失函数的监督下，通过所述变分模型的迭代格式，迭代优化环境大气光、透射率及清晰图像的解，直至达到最大迭代次数；根据损失函数确定最后一次迭代的总损失值；根据所述总损失值调整各种所述子网络的网络参数。

作为一种实施方式，所述网络训练模块40，用于：确定每一次迭代时环境大气光、透射率和清晰图像各项对应的预测值和真值；基于每一次迭代时环境大气光、透射率和清晰图像各项对应的预测值和真值，确定每一次迭代时环境大气光、透射率和清晰图像各项对应的损失；结合损失函数，确定每一次迭代时的总损失值；每次迭代结束时，基于每一次迭代时的总损失值，调整各项对应的约束项的子网络的权重参数。

上述方案中，所述大气散射模型表示为：其中，i表示有雾图像，a表示环境大气光、t表示透射率，j表示清晰图像。

上述方案中，所述变分模型表示为：

其中，表示约束条件；φ(a)表示环境大气光a的先验项，λ表示φ(a)的权重，ψ(t)表示透射率t的先验项，γ表示ψ(t)的权重，ω(j)表示清晰图像j的先验项，η表示ω(j)的权重，表示第一数据项和第二数据项之和；

其中，表示第一数据项，表示第二数据项。

上述方案中，可选地，所述变分模型的迭代格式表示为：

其中，

其中，aⁿ⁺¹表示第n+1次迭代时环境大气光a的值，αa表示第n+1次迭代时环境大气光a的步长，tⁿ⁺¹表示第n+1次迭代时透射率t的值，αt表示第n+1次迭代时透射率t的步长，表示根据第n+1次迭代时环境大气光a的值aⁿ⁺¹与透射率t的值tⁿ⁺¹得到的关于清晰图像j的中间解；αj表示第n+1次迭代时清晰图像j的步长，jⁿ⁺¹表示第n+1次迭代时清晰图像j的值。

上述方案中，所述损失函数表示为：

其中，

θⁿ表示迭代n时和的网络参数，表示训练样本为m的训练集，其中分别表示环境大气光、透射率和清晰图像的。

本领域技术人员应当理解，图3中所示的图像去雾网络的训练装置中的各处理模块的实现功能可参照前述图像去雾网络的训练方法的相关描述而理解。本领域技术人员应当理解，图3所示的图像去雾网络的训练装置中各处理单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

实际应用中，上述第一确定模块10、第二确定模块20、第三确定模块30、和网络训练模块40的具体结构均可对应于处理器。所述处理器具体的结构可以为中央处理器(cpu，centralprocessingunit)、微处理器(mcu，microcontrollerunit)、数字信号处理器(dsp，digitalsignalprocessing)或可编程逻辑器件(plc，programmablelogiccontroller)等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可执行代码存储在存储介质中，所述处理器可以通过总线等通信接口与所述存储介质中相连，在执行具体的各单元的对应功能时，从所述存储介质中读取并运行所述可执行代码。所述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。

本申请实施例提供的图像去雾网络的训练装置，能得到更好的去雾效果。

本申请实施例还记载了一种图像去雾网络的训练装置，所述装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述任意一个技术方案提供的图像去雾网络的训练方法。

作为一种实施方式，所述处理器执行所述程序时实现：基于大气散射模型确定变分模型，所述变分模型包括第一数据项、第二数据项、环境大气光约束项、透射率约束项和清晰图像约束项；结合梯度下降法和迭代法求解所述变分模型，得到所述变分模型的迭代格式；将各种约束项的子网络嵌入到所述变分模型的迭代格式中，得到包含各种所述子网络的所述图像去雾网络；利用训练样本训练所述图像去雾网络。

本申请实施例提供的图像去雾网络的训练装置，能得到更好的去雾效果。

本申请实施例提供了一种图像去雾处理装置，如图4所示，所述装置包括：获取模块50，用于获取有雾图像；第一处理模块60，用于根据所述有雾图像预测得到初始的环境大气光、透射率及清晰图像的预测值；基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值；根据每次迭代后的环境大气光、透射率及清晰图像的预测值对所述有雾图像进行去雾处理，直至处理次数达到预设次数后，输出最终的去雾图像。

在一些实施方式中，所述第一处理模块60，用于：按照变分模型的迭代格式，对所述有雾图像进行去雾处理；其中，所述变分模型的迭代格式表示为：

其中，

其中，aⁿ⁺¹表示第n+1次迭代时环境大气光a的值，αa表示第n+1次迭代时环境大气光a的步长，tⁿ⁺¹表示第n+1次迭代时透射率t的值，αt表示第n+1次迭代时透射率t的步长，表示根据第n+1次迭代时环境大气光a的值aⁿ⁺¹与透射率t的值tⁿ⁺¹得到的关于清晰图像j的中间解；αj表示第n+1次迭代时清晰图像j的步长，jⁿ⁺¹表示第n+1次迭代时清晰图像j的值。

在一些实施方式中，所述装置还包括：第二处理模块70，用于：基于大气散射模型确定变分模型，所述变分模型包括第一数据项、第二数据项、环境大气光约束项、透射率约束项和清晰图像约束项；结合梯度下降法和迭代法求解所述变分模型，得到所述变分模型的迭代格式。

在一些实施方式中，所述大气散射模型表示为：其中，i表示有雾图像，a表示环境大气光、t表示介质的透射率，j表示清晰图像。

在一些实施方式中，所述变分模型表示为：

其中，表示约束条件；φ(a)表示环境大气光a的先验项，λ表示φ(a)的权重，ψ(t)表示透射率t的先验项，γ表示ψ(t)的权重，ω(j)表示清晰图像j的先验项，η表示ω(j)的权重，表示第一数据项和第二数据项之和；

其中，表示第一数据项，表示第二数据项。

在一些实施方式中，所述图像去雾处理方法通过图像去雾网络实现，所述装置还包括：第三处理模块80，用于：利用所述图像去雾网络对训练样本中的有雾图像进行迭代去雾处理，得到与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值；根据与所述有雾图像对应的清晰图像预测值、环境大气光预测值和透射率预测值，以及训练样本中与所述有雾图像对应的清晰图像真值、环境大气光真值和透射率真值，确定环境大气光的损失、透射率的损失和清晰图像的损失；根据所述环境大气光的损失、所述透射率的损失和所述清晰图像的损失，结合损失函数确定总损失值；根据所述总损失值调整所述图像去雾网络的权重参数。

在一些实施方式中，所述图像去雾网络包括所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络；所述第三处理模块80，用于：基于所述总损失值调整所述环境大气光的约束项的子网络、所述透射率的约束项的子网络、以及所述清晰图像的约束项的子网络的权重参数。

在一些实施方式中，所述第三处理模块80，用于：确定每次迭代时的总损失值；每次迭代结束时，基于每次迭代时的总损失值，调整所述图像去雾网络的权重参数。

在一些实施方式中，所述损失函数表示为：

其中，

θⁿ表示迭代n时和的网络参数，表示训练样本为m的训练集，其中分别表示环境大气光、透射率和清晰图像的真值，分别表示环境大气光、透射率和清晰图像的预测值。

实际应用中，上述获取模块50、第一处理模块60、第二处理模块70和第三处理模块80的具体结构均可对应于处理器。所述处理器具体的结构可以为cpu、mcu、dsp或plc等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可执行代码存储在存储介质中，所述处理器可以通过总线等通信接口与所述存储介质中相连，在执行具体的各单元的对应功能时，从所述存储介质中读取并运行所述可执行代码。所述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。

本申请实施例提供的图像去雾处理装置，去雾效果更强，适应领域更广泛。

本申请实施例还记载了一种图像去雾处理装置，所述装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述任意一个技术方案提供的图像去雾处理方法。

作为一种实施方式，所述处理器执行所述程序时实现：获取有雾图像；根据所述有雾图像预测得到初始的环境大气光、透射率及清晰图像的预测值；基于上一次所得的环境大气光、透射率及清晰图像的预测值进行迭代，得到迭代后的环境大气光、透射率及清晰图像的预测值；根据每次迭代后的环境大气光、透射率及清晰图像的预测值对所述有雾图像进行去雾处理，直至处理次数达到预设次数后，输出最终的去雾图像。

本申请实施例还记载了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行前述各个实施例所述的图像去雾网络的训练方法。也就是说，所述计算机可执行指令被处理器执行之后，能够实现前述任意一个技术方案提供的图像去雾网络的训练方法。

本申请实施例还记载了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行前述各个实施例所述的图像去雾处理方法。也就是说，所述计算机可执行指令被处理器执行之后，能够实现前述任意一个技术方案提供的图像去雾处理方法。

本领域技术人员应当理解，本实施例的计算机存储介质中各程序的功能，可参照前述各实施例所述的图像去雾网络的训练方法的相关描述而理解。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。