一种基于散射模型和深度估计的雾气合成方法与流程

本发明涉及图像信息处理领域，更确切地说，它涉及一种基于散射模型和深度估计的雾气合成方法。

背景技术：

1、图像去雾是计算机视觉领域中的一个重要问题，其目的是从受雾影响的图像中恢复出清晰的图像。在真实场景中，雾气是一个广泛存在的现象，它会导致图像失真，影响视觉效果和图像分析应用的准确性。因此，图像去雾研究对于提高图像质量、改善视觉效果和增强图像分析应用的精度具有重要意义。

2、随着深度学习技术的发展，各类神经网络以其优异的特征提取与表示能力，成为了各类复杂视觉问题的可靠解决方案。如今，基于深度学习的方法在图像去雾研究领域有着重要的地位，但深度学习方法面临的一个重要问题是用于图像去雾研究的数据较少，受制于自然条件，同一场景、同一光照条件下的成对有雾图像和清晰图像是难以获得的，因此人工合成有雾数据是基于深度学习的图像去雾算法发展的基础。

3、目前已有的工作，主要是使用雾天的成像模型来从有雾图像中求解清晰图像。koschmieder提出雾图像的低能见度是大气中悬浮粒子对光的吸收和散射造成的。e.j.mccartney等人提出粒子的散射导致光在目标与相机之间传输过程中发生衰减，增加了一层大气散射光。针对雾天能见度低的问题，narasimhan等人通过建立数学模型解释了雾图像的成像过程和各种影响因素，模型论证了强散射介质下探测系统成像效果退化的主要原因，有大量的依据雾天成像模型来进行图像去雾的研究，但因为图像深度信息难以获取，目前的合成雾气方法大多依赖于特定的深度相机或者基于视差原理的双目相机，使用单张图像进行雾气合成的研究仍然较少。

4、cn109410135a提出一种基于生成对抗网络的图像去雾、加雾方法，能够实现在清晰图像上模拟雾气，但由于其不依赖深度信息，获得的有雾图像可能存在着不够精确的问题。cn115100408a提出了一种针对海域场景的有雾数据集构建方法，能够使用两张不同视角的图像以视差原理完成对深度的估计，以进行雾气的合成，该方法具有获取深度信息较为精确的优点，但不足之处是需要同一场景下的左右视角两张图象，对图像采集设备的要求较高，不够便捷高效。

技术实现思路

1、本发明的目的是针对现有技术的不足，提出了一种基于散射模型和深度估计的雾气合成方法。

2、第一方面，提供了一种基于散射模型和深度估计的雾气合成方法，包括：

3、s1、获取原始rgb图，构建连续随机场对其场景深度信息相关的一元势和成对势进行建模；

4、s2、构建卷积神经网络，对连续随机场的一元势和成对势进行求解，获得场景深度图；

5、s3、使用所述场景深度图作为输入，经过大气散射模型的换算，生成场景雾气分布；

6、s4、使用所述场景雾气分布与原始rgb图二者进行叠加编码，获取最终的有雾图像。

7、作为优选，s1包括：

8、s101、对于任意一张rgb图像i，将其分割为n个像素块，这n个像素块的深度d可由来表示；

9、s102、令w代表能量函数，则对数据的条件概率分布使用以下的密度函数来进行建模：

10、

11、其中，s代表分割函数，表示如下：

12、s(i)＝∫dexp{-w(d,i)}dd

13、将整张图的深度估计问题转化成一个最大后验概率推理问题：

14、d*＝argmaxd(pr(d∣i))

15、其中，d*表示最终计算出的像素块深度，argmaxd表示令d取最大值，pr表示概率；

16、s103、能量函数w表示如下：

17、

18、其中，u表示一元势，用于对单个像素块的深度值进行回归；v表示成对势，用于给相似的相邻像素块赋予同样的深度；n表示像素块集合，a、b表示两个相邻的像素块；表示所有成对像素块构成的集合。

19、作为优选，s103中，一元势u表示如下：

20、

21、其中，za表示回归后的像素块a的深度，θ表示可学习的回归参数；

22、成对势v表示如下：

23、

24、其中，rab是卷积神经网络中成对部分对于两个相邻的像素块a和b的输出，使用全连接层来计算，β表示可训练的全连接层参数：

25、

26、其中mk是第k个相似性矩阵，表示第k对图像块之间的相似性；相似性计算函数表示如下：

27、

28、其中，和表示的是像素块a和b在颜色直方图分布差异、像素级颜色差异以及由局部二进制模式来计算的纹理差异这三种考察维度下的具体数值，由两像素块之间的差异的二范数来表示。

29、作为优选，s2包括：

30、s201、构建卷积神经网络，所述卷积神经网络由5个卷积层和3个全连接层组成，使用整流线性单元作为五个卷积层的激活函数，并使用指数逻辑函数作为全连接层的激活函数；最后一个全连接层用于模型集成，所述卷积神经网络的输出是每个像素块的深度值；

31、s202、进行卷积神经网络的参数学习，对整体的能量函数和概率分布函数进行重写，在神经网络的训练过程中，最小化训练数据的负条件对数似然，获取最终的优化函数；

32、s203、使用训练优化的方式，从单张rgb图像中解出每个像素的深度。

33、作为优选，s3中，所述大气散射模型表示为：

34、h(p)＝c(p)r(p)+a(1-r(p))

35、其中p＝(x,y)是图像中某个像素位置的坐标向量，h(p)是检测系统得到的雾霾图像，c(p)是需要恢复的无雾图像，a表示大气光，r(p)是场景深度对应的传播图。

36、作为优选，s3中，场景深度对应的传播图表示为：

37、r(p)＝e-βd(p)

38、其中，e为自然对数的底数，β表示散射系数，d(p)表示某像素p处的场景深度；

39、令c表示颜色通道，c∈{r,g,b}，则分颜色通道的大气散射模型表示如下：

40、ic(p)＝cc(p)r(p)+ac(1-r(p))

41、经此模型，在已知清晰图像和场景深度的条件下，仅使用散射参数和大气光来计算衰减后的目标物体反射辐照度和场景大气散射光值。

42、作为优选，s4中，在srgb颜色空间中对图像进行编码，并且将呈现模型中线性的强度值以非线性的方式编码到数数字图像的值中，srgb对于分通道颜色编码的规则如下：

43、

44、其中，clinear是线性的通道强度值，cencoded是编码后的srgb值；首先获取[0-1]之间的编码值，随后将其映射到8位数字编码中，获取到最终的有雾图像。

45、第二方面，提供了一种基于散射模型和深度估计的雾气合成系统，其特征在于，用于执行第一方面任一所述的基于散射模型和深度估计的雾气合成方法，包括：

46、获取模块，用于获取原始rgb图，构建连续随机场对其场景深度信息相关的一元势和成对势进行建模；

47、构建模块，用于构建卷积神经网络，对连续随机场的一元势和成对势进行求解，获得场景深度图；

48、生成模块，用于使用所述场景深度图作为输入，经过大气散射模型的换算，生成场景雾气分布；

49、编码模块，用于使用所述场景雾气分布与原始rgb图二者进行叠加编码，获取最终的有雾图像。

50、第三方面，提供了一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第一方面任一所述的基于散射模型和深度估计的雾气合成方法。

51、本发明的有益效果是：本发明具有雾气合成效果逼真，自动化程度高，不依赖于深度相机、对硬件要求较低的特点。使用该方法即可从任意自然场景图像中推断深度并获取有雾图像，因此可广泛应用于图像去雾研究以及其他相关应用。