一种基于扩散模型和选通成像的图像去雾方法、系统和设备

本发明涉及计算机视觉领域，尤其涉及一种基于扩散模型和选通成像的图像去雾方法、系统和设备。

背景技术：

1、在雾霾天气下，大气中的悬浮颗粒会对可见光产生散射和吸收作用，在该气候条件下采集拍摄的图像往往遭受严重的色彩失真、细节退化以及景深退化，导致图像质量下降。严重影响后续高级计算机视觉任务的执行，如图像分割、雾天气下的物体检测，车辆重新识别，场景理解等。因此，如何对这种情况下获取的图像进行去雾，提升图像质量，引起了各个领域的广泛关注。

2、图像去雾是指通过对雾霾图像进行处理，消除或减弱雾霾对图像的影响，从而提高图像的可见性和质量。现有的去雾方法主要包括基于图像增强、物理模型和深度学习的方法。

3、基于图像增强的去雾方法通过直接修改图像对比度或饱和度增强图像中的有用信息，达到提升图像视觉质量、去除雾的目的。但该类方法未考虑图像降质的原因，仅依靠增强图像来改善雾图视觉效果，往往会造成去雾后图像失真、去雾效果欠佳等问题。

4、基于物理模型的去雾方法主要是通过对雾化过程进行建模，利用物理先验估计传输图，然后通过物理散射模型恢复图像。此类方法有代表性的算法有暗通道先验，retinex，颜色衰减先验等，但这类算法需要对图像传输模型和场景中的光照、颜色等假设和建模，因此在一定程度上受到这些假设和模型的限制。

5、近年来，随着计算资源存储资源的迅速发展，基于深度学习的方法引起了广泛关注。基于深度学习的去雾方法，摒弃了构建先验模型的方式，通过直接学习相关信息或者无雾图像来实现图像去雾。具体来讲，该方法通常依赖对模型进行大量训练和对参数进行优化，从而提升模型的表达能力。在基于深度学习的去雾方法中，基于扩散模型理论的图像恢复方法应用较为广泛，但该方法由于较多的采样步数和复杂的去噪网络，造成了推理和训练时间长，计算量大等弊端。

技术实现思路

1、本发明提供一种基于扩散模型和选通成像的图像去雾方法、系统和设备，解决现有的基于扩散模型理论的图像恢复方法由于采样步数多、去噪网络复杂，在对图像进行去雾时，造成了推理时间长，训练时间长，计算量大的问题。

2、为解决上述技术问题，本发明采用的技术方案是提供一种基于扩散模型和选通成像的图像去雾方法，包括步骤：将带雾图像输入至去雾应用网络，所述去雾应用网络通过预先训练得到；对所述带雾图像进行增强处理，得到增强特征；随机采样噪声向量，在所述带雾图像的指导下，对所述噪声向量进行迭代去噪处理，得到目标特征；将所述目标特征和所述增强特征进行融合，得到去雾图像。

3、在一些实施例中，还包括前置步骤：获取图像数据集，所述图像数据集包括多个不同雾浓度下的带雾图像，以及与所述带雾图像相对应的无雾图像；构建去雾初始网络，利用所述图像数据集对所述去雾初始网络进行训练，训练后得到所述去雾应用网络。

4、在一些实施例中，所述获取图像数据集的方法包括步骤：发射激光照射到目标物，在无雾的场景下对所述目标物进行拍摄，获取所述无雾图像；改变所述场景的雾浓度，在不同雾浓度的所述场景下对所述目标物进行拍摄，获取多个所述带雾图像；对多个所述带雾图像和无雾图像进行预处理，形成所述图像数据集。

5、在一些实施例中，所述利用所述图像数据集对所述去雾初始网络进行训练，训练过程包括：将所述带雾图像输入至所述去雾初始网络，对所述带雾图像进行增强处理，得到增强训练特征；计算所述增强训练特征与带雾图像之间的残差，生成残差训练特征；对所述残差训练特征进行扩散，得到噪声训练向量；在所述带雾图像的指导下，对所述噪声训练向量进行迭代去噪处理，得到目标训练特征；将所述目标训练特征和所述增强训练特征进行融合，得到去雾训练图像；利用所述去雾训练图像与无雾图像计算目标损失函数的值，并根据所述目标损失函数的值，通过梯度下降更新所述去雾初始网络的权重参数；重复上述过程，直至所述去雾初始网络收敛到稳定的损失值，同时满足检测指标，则此时的去雾初始网络，即为训练好的所述去雾应用网络。

6、在一些实施例中，所述对所述带雾图像进行增强处理，包括：获取所述带雾图像的核级信息，提取所述带雾图像的低频特征，形成所述增强特征。

7、在一些实施例中，所述获取所述带雾图像的核级信息的方法，包括步骤：对所述带雾图像进行傅里叶变换，将所述带雾图像从空间域转换到频率域，得到第一频谱图；对所述第一频谱图进行第一卷积运算，调制所述第一频谱图的第一频率阈值；在所述第一频率阈值内，利用relu激活函数对所述第一频谱图进行非线性激活后，进行第二卷积运算，调制所述第一频谱图的第二频率阈值，得到第二频谱图；对所述第二频谱图进行傅里叶逆变换，将所述第二频谱图从频率域转换到空间域，得到所述核级信息。

8、在一些实施例中，在所述对所述噪声向量进行迭代去噪处理步骤中，所述迭代去噪处理包括：根据所述噪声向量和输入的时间步，生成预测噪声，在所述带雾图像的指导下，对所述噪声向量进行迭代去噪，得到所述目标特征。

9、在一些实施例中，在所述得到去雾图像步骤后，还包括步骤：根据所述去雾图像和无雾图像，计算结构相似性指数和峰值信噪比，评价所述去雾图像的保真性。

10、本发明还提供一种图像去雾系统，包括：去雾应用网络，所述去雾应用网络包括：数据增强模块，用于对带雾图像进行增强处理，得到增强特征；随机采样模块，用于随机采样噪声向量，在所述带雾图像的指导下，对所述噪声向量进行迭代去噪处理，得到目标特征；图像融合模块，用于将所述目标特征和所述增强特征进行融合，得到去雾图像。

11、本发明还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的图像去雾方法。

12、本发明的有益效果是：本发明公开了一种基于扩散模型和选通成像的图像去雾方法、系统和设备。该方法包括步骤：将带雾图像输入至去雾应用网络，去雾应用网络通过预先训练得到；对带雾图像进行增强处理，得到增强特征；随机采样噪声向量，在带雾图像的指导下，对噪声向量进行迭代去噪处理，得到目标特征；将目标特征和增强特征进行融合，得到去雾图像。该系统包括：去雾应用网络，去雾应用网络包括：数据增强模块，用于对带雾图像进行增强处理，得到增强特征；随机采样模块，用于随机采样噪声向量，在带雾图像的指导下，对噪声向量进行迭代去噪处理，得到目标特征；图像融合模块，用于将目标特征和增强特征进行融合，得到去雾图像。该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的图像去雾方法。本发明将激光距离选通相机卓越的探测能力与改进的去雾应用网络相结合，实现了对复杂雾霾场景下的图像的高效去雾；在去雾应用网络中，通过对带雾图像增强处理，提取其核级信息，为后续采样处理缩小候选范围；同时简化了采样过程中的去噪网络，针对带雾图像边缘不清晰和深度信息退化引入残差机制，转变扩散模型的学习目标，实现更高效的采样；突破了基于扩散模型理论的图像恢复方法在训练和推理过程中所面临的时间长的瓶颈，不仅在训练时具有高效性，同时在推理阶段也实现了显著的加速，从而显著提升了整体的计算效率，在图像去雾效果和计算效率方面实现了平衡。