一种面向监控场景车窗图像的图像增强方法与系统与流程

本发明属于人工智能应用领域，具体涉及一种面向监控场景车窗图像的图像增强方法与系统。

背景技术：

车窗，作为车辆信息中最具有视觉辨识力部分，对车辆的重识别来说占据着非常重要的地位。特别是在一些案件中，肇事车辆会选择遮挡牌照来掩盖身份信息，更需要车窗来判断车辆内部装饰细节与人物状态。然而在固定监控摄像的客观拍摄条件影响下，车窗的清晰度往往不尽人意。具体而言，车窗图像中存在的退化现象因摄像头分辨率低、夜间光照昏暗、车辆运动过快产生模糊等情况呈现复杂糅合。这极大影响了图像的视觉可认知程度，因此，需要对监控场景中车窗图像进行增强以供进一步识别分析。

目前尚无专门针对这一具体而复杂问题的方法。而由于缺乏对齐的可用于强监督学习的清晰数据，现有可处理该问题的办法一部分为面向某一特定退化现象的传统基于先验假设优化的方法，另一部分为单纯基于生成对抗机制的深度学习方法。传统方法不能解决监控车窗图像中多种退化现象杂糅的复杂问题，而单纯基于简单生成对抗网络的方法由于结果生成过程中自由度过高，常出现生成图像内容的失真及各种瑕疵(artifacts)因而影响了后续对增强结果的识别。因此需要提出一种面向监控场景车窗图像的内容可保持的图像增强方法与系统。

技术实现要素：

本发明的目的是通过以下技术方案实现的。利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声，低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。

本发明针对监控摄像采集条件下车辆挡风玻璃图像存在的噪声、模糊、低光照及强反射等多种失真退化现象，本发明提出一种挡风玻璃图像的图像增强方法与系统，提升车内目标的可见度与分辨率，利用车辆检索模型中的深度特征对图像进行语义描述约束，提高增强后图像在视觉识别任务中的性能表现。

根据本发明实施例的一个方面，提供了一种面向监控场景车窗图像的图像增强方法，包括：

通过弱监督学习框架对非配对的高清晰度与低清晰度车窗数据进行学习，利用同一模型实现对包括模糊、噪声、低光照在内的多种退化现象的图像增强；

其中，所述弱监督学习框架的生成器与对抗判别器基于生成对抗机制，学习源数据域与目标数据域的双向迁移映射，实现从低视觉质量的车窗图像输入产生出高视觉质量的图像增强结果；

所述弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化。

根据本发明实施例的一个方面，提供了一种面向监控场景车窗图像的图像增强系统，包括：

数据生成模块，基于区域候选框网络自动从车辆图像中提取车窗图像，构成无成对监督信息的数据集，将车窗图像与相应车辆id链接存储使用；

图像增强网络，基于数据域迁移模块与内容感知判别器对低视觉质量的车窗图像对应的高清结果进行预测；

车辆检索模块，将预测得到的所述高清结果传递入车辆检索任务网络中，通过车辆检索性能的提升对车窗图像增强效果进行评价，并通过网络损失进行反馈。

本发明的优势在于：本发明从数据域之间的相互映射和内容一致性的角度重新定义了车窗图像增强问题，从为高层机器视觉任务服务的角度出发，提出了通过引入内容判别器来学习内容感知空间的内容保持机制，结合基于生成对抗网络的弱监督结构，整合成了一个更完整的车窗图像增强框架。本发明可以在学习低质量的车窗图像到高质量的车窗图像的映射关系的同时，保持复原前后的内容一致，从而为后续的分析识别任务提供更可靠的复原图像。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明的概念示意图；

图2示出了本发明的方法构成与流程图；

图3示出了本发明的弱监督学习框架流程图；

图4示出了本发明提出的内容表征空间示意图；

图5示出了本发明的提出的基于车窗图像增强网络的完整系统示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈，并用同一模型恢复多种退化现象；设计了基于车辆再检索任务的内容保持机制，在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外，同时在机器视觉上可提高车辆检索模型的性能。

图1展示了本发明方法的概念示意图。本发明针对监控场景下包含多种复杂退化现象的低视觉质量图像提出了一种面向挡风玻璃车窗图像的图像增强方法。从监控视频图像中提取车窗图像，通过深度学习的生成模型，可以得到高视觉质量的清晰增强结果。增强结果将促进后续车内目标识别与车辆的检索跟踪。

图2展示了本发明的方法结构组成与流程图。如图2所示，方法由两部分组成：双向循环的生成-对抗数据域迁移通路与内容判别模块。数据迁移模块包括两个生成器，两个对抗判别器，两个生成器的目的是生成各自目标域的图像，两个对抗判别器的目标是学习两个域的判别关系。

两个生成器分别进行从低视觉质量图像到高视觉质量图像的映射和反向从高到低的映射，根据输入的不同，两个生成器将以不同次序串联成两个不同的自映射监督回路。

如图2所示，训练学习过程中，低视觉质量的车窗图像先输入生成器g，得到预测的增强结果，然后增强结果再通过生成器f，产生基于增强得到的高视觉质量图像的退化结果。g、f对训练数据中包含多种复合的退化现象进行统一的拟合学习与处理。

判别器dh对生成的增强结果进行是否属于真实高质量图像数据域的二分类判别。其学习目标在于将真实数据尽可能多判别为真，而将增强得到的生成结果分辨判别为假。

自映射监督通过比对原始输入与通过两个生成器后得到的预测恢复结果，计算循环一致损失，不需要引入额外的标注作为网络学习的监督信息。

如图3所示，弱监督学习框架包括两个生成器g、f与两个对抗判别器dh、dl；学习的流程如下：

s1、生成器g接收低视觉质量的车窗图像作为输入，基于历史训练结果与本次输入生成所需求的高视觉质量车窗图像，进行低清图像到高清图像的映射；

s2、生成器f基于高视觉质量的车窗图像输入产生相对应的含退化现象的低清车窗图像，进行反向映射；

s3、对抗判别器dh、dl分别对生成器g、f生成的高质量和低质量图像的真伪性进行判别，通过对真实图像与生成图像判断的类别概率形成对抗损失；

s4、将低视觉质量图片输入生成器g，产生的高视觉质量结果再输入生成器f，生成的对应的低清结果与原低视觉质量输入图片进行比对，形成循环自映射监督；

s5、将高视觉质量图片先输入生成器f，产生的结果再输入g，反向自映射监督。

s6、弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化。

如图4所示，内容感知空间的目标是将所有同id的车窗图像(在各种条件下，可能包含不同的噪声、模糊、黑暗等退化因素)聚合到一起，再把所有不同id的车窗图像(可能看上去很相似)拉离开。

内容感知空间基于车窗图像归属id的异同，通过三元组约束学习推断车窗图像区分性特征的表征；内容判别器基于数据迁移模块的生成结果，比对生成结果与原输入在内容感知空间中内容特征的距离；训练中通过距离阈值限制数据迁移模块生成结果的内容变化，联合自监督与对抗机制协同学习。

测试时，只基于生成器g，输入低视觉质量图像产生增强后的结果。

内容感知损失通过对锚点与正样例和负样例在感知空间中的距离分别加以阈值约束，在忽略退化因素的前提下，关注其具有身份辨识力的部分，将其紧紧地聚合在一起。

内容判别模块通过内容感知损失训练出良好的内容感知空间，通过在内容感知空间中加入约束可以帮助框架中的生成器更好地学习保持内容不变的能力。具体来说，本发明希望约束生成器生成的样本在内容感知空间的位置和原始样本在内容感知空间的位置尽可能的接近，但是不需要限制到完全一样的位置。

内容判别器的具体实现使用在车窗图像上关于车辆检索任务进行预训练过的vgg网络，训练时与数据域迁移模块一起通过自循环损失、数据域对抗损失与内容感知损失的联合损失进行微调(fine-tune)训练。

模型学习完毕后，使用时只需要提取预训练好的生成器g，将低视觉质量车窗图像输入即可通过映射得到高视觉质量的车窗图像增强结果。

如图5所示，完整的基于本发明方法的系统包括前期的车窗图像提取部分、前述的图像增强网络方法部分、与后续可对接的车辆目标识别与检索任务部分。

车窗数据的提取为图像增强网络的训练服务，经由区域候选网络(regionproposalnetwork)提取车窗的候选区域，再经由非最大化抑制操作获取车窗的四个关键角点。通过角点定位的区域进行仿射操作得到可供图像增强网络处理的车窗图像。

车窗图像经由前述的增强方法得到的高视觉质量结果可输送入车辆检索与车内目标识别任务模型，因其视觉质量的提高而改善其识别性能。

通过上述的方法和系统，本发明利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声，低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈，并用同一模型恢复多种退化现象；设计了基于车辆再检索任务的内容保持机制，在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外，同时在机器视觉上可提高车辆检索模型的性能。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。