一种面向高速公路视频监控的实时自适应清晰化方法

本发明涉及一种面向高速公路视频监控的实时自适应清晰化方法。

背景技术：

1、随着高速公路视频监控的广泛应用，每天产生了大量的视频数据。为了实现智能化的高速公路视频监控系统，像目标检测等高级计算机视觉任务已成为重要的辅助手段。然而，这些智能化算法通常对输入图像要求质量较高。可惜的是，高速公路视频监控系统的成像质量容易受到多种降质因素的影响。在夜间，由于环境光照度较低，导致场景反射光信号变弱，成像对比度降低。而在浓雾天气中，大气粒子的散射会衰减场景信号，并混入大气光，同样导致成像对比度下降。这些降质因素的存在限制了智能化算法在高速公路视频监控系统中的有效应用场景。为了解决这一问题，人们需要着重发展能够处理降质图像的图像清晰化技术。以增强或还原降质图像，使其质量满足智能化算法的要求。通过对降质因素进行建模，并采用基于物理模型或数据驱动的方法，可以有效地改善降质图像的质量，从而提高智能化算法在高速公路视频监控中的应用效果。

2、当前，人们在努力通过图像清晰化方法对降质图像进行增强或还原，以为监控系统提供更多有效信息。主要的图像清晰化方法分为两类：基于物理模型和基于数据驱动的方法。

3、基于物理模型的方法需要对特定降质因素进行物理建模，然后通过求解物理模型中的特征分量来消除特定降质因素。例如，在夜间场景中，可以根据视网膜皮层理论对光照分量进行求解，然后重映射亮度；在浓雾情况下，可以对光照分量和透射率分量进行求解，并根据大气散射模型进行反推。这些方法因为对降质过程有深刻的认识，通常能产生较好的视觉效果。但是，仍然存在一些无法建模的降质因素，导致其应用受限。

4、而基于数据驱动的方法主要依赖于生成式模型，并以有监督或半监督的方式进行数据驱动。这些方法利用损失函数的设计隐式地对降质过程进行建模，从而实现对降质图像的去除。这种方法的优势在于可以处理一些复杂的降质情况，并且不需要深入了解降质过程的物理原理。

5、然而，图像的成像过程可能会受到多种影响，例如传感器带来的色偏噪声和环境光照的变化。这些影响很难被准确地量化，而在退化模型中忽略这些效应将导致还原的图像与真实清晰图像之间存在明显的视觉差异。此外，在特征域上，还原的图像与清晰图像之间也将展现更多的差别。目前现有的退化还原方法主要关注于图像表观特征的增强，但在实际应用中，监控系统的目标分析任务更关注于目标特征。由于像素域与目标特征域之间的差异，限制了目标分析算法的性能。现有的目标特征增强方法对于场景特征的对齐缺乏对场景目标特征的关注，可能会影响特征增强模型的泛化能力。另外，现有的目标特征增强方法没有对场景目标的差异进行感知，无法判断该场景下的目标是否需要进行特征增强，缺乏环境的自适应能力。

技术实现思路

1、在此背景下，本发明人针对目标检测任务，考虑目标特征增强对机器分析任务性能的提升作用，在降质图像表观特征增强的基础上，从场景目标差异自适应感知、目标语义特征对齐方面，对降质图像进一步增强，进而提出了一种面向高速公路视频监控的实时自适应清晰化方法与装置，实现浓雾、低照度等不同恶劣环境下的图像清晰化，提高这些场景下目标检测任务的性能，对于智能化监控系统来说具有重要意义。

2、本发明所要解决的技术问题是图像清晰化处理对目标检测任务的性能提升。提出了一种面向高速公路视频监控的实时自适应清晰化方法与装置，首先感知浓雾、低照度等影响下的降质图像目标特征与清晰图像目标特征的差异，对是否需要增强做出决策，之后通过引入无监督的目标特征对齐损失，同时引入场景整体特征保持约束，是增强模型更加关注于场景中的目标，实现降质场景中目标特征的增强，以提高后续目标检测任务在清晰化处理结果上的性能。

3、根据本发明的一个方面，提供了一种面向高速公路视频监控的实时自适应清晰化方法，其特征在于包括：

4、a)训练特征增强网络，获取降质场景a的特征增强模型g。该步骤包括：

5、a1)从降质场景a和清晰场景b中分别选择样本图像a和b；

6、a2)将样本图像a输入到特征增强模型g，获取增强图像a1，将增强图像a1和样本图像a输入到场景保持模块，该模块将对a1和a在场景像素灰度、场景结构感知和颜色进行一致性约束。

7、a3)将带有标注信息的样本图像b输入到预训练好的检测器中，根据标签信息获取检测器响应的目标特征向量。将没有标注信息的样本图像a1输入到检测器中，根据检测器检测出的高置信度目标框，修正检测器响应的候选框，根据修正后的候选框，获取检测器响应的目标特征向量。之后，根据样本图像b和样本图像a1中目标响应的特征向量对目标进行对齐。

8、b)场景目标差异度量。根据降质场景目标和清晰场景目标的检测置信度和响应特征信息熵作为统计量，对场景目标差异进行感知。

9、c)测试阶段对测试场景的图像数据进行抽样，经过目标差异度量，判断是否需要增强，如果需要增强，则将场景数据作为特征增强模型g的输入，获得本发明的清晰化处理结果j。

技术特征：

1.一种面向高速公路视频监控的实时自适应清晰化方法，其特征在于包括：

2.根据权利要求1所述的图像清晰化处理方法，其特征在于：

技术总结
本发明公开了一种面向高速公路视频监控的实时自适应清晰化方法，包括：训练特征增强模型，一方面构建重建损失，约束输入原始图像和输出的增强图像在场景结构上保持一致，另一个方面以清晰图像中目标的响应特征作为约束，通过无监督训练方式对齐目标在检测器高层响应的特征，提供模型的泛化性能。同时，为了确定某一场景的目标是否需要增强，利用检测器输出的置信度分数和响应的特征信息熵作为指标，度量场景目标差异，实现自适应的增强。实施该方法的面向高速公路视频监控的实时自适应清晰化装置，包括：场景目标差异感知模块和场景目标特征增强模块，该装置可作为视频监控系统的预处理插件，为目标检测算法提供清晰图像输入。

技术研发人员：胡海苗,何正山,徐彬鑫
受保护的技术使用者：北京航空航天大学杭州创新研究院
技术研发日：
技术公布日：2024/1/15