一种车牌超分辨率重建方法及系统

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、车牌超分辨率(license plate super-resolution，lpsr)，是超分辨率的一个特殊领域，是一种从输入的低分辨率(low resolution，lr)车牌图像中推理出高分辨率(highresolution，hr)图像的技术，可以显著增强低分辨率车牌图像的细节信息。在现实世界的监视场景中，成像传感器和车牌之间的距离往往过大，从而会导致低分辨率车牌图像。利用车牌超分辨率恢复高分辨率车牌图像，有助于目标车牌识别。该方法在车牌检测、车牌识别和分析等许多应用中发挥着重要作用。

2、一般来说，基于传统的车牌超分辨率重建方法和一般的图像复原方法一样，根据先验信息的来源可分为三类：插值法、重建法和基于学习的方法。基于插值的方法在不生成像素的情况下缩放图像的像素大小，并在周围像素的基础上通过数学公式计算缺失像素的值。基于重建的车牌超分辨率依赖于多幅lr输入图像融合亚像素配准信息。当放大倍数过大时，基于插值和重建方法的效率和性能会大幅度降低。近十年来，基于学习的方法在车牌超分辨率中得到了广泛的应用，因为基于学习的方法能够充分利用训练样本中的先验信息，将lr图像映射到hr图像中，获得了令人满意的视觉效果。

3、基于深度卷积神经网络(convolutional neural networks，cnn)的方法比传统的sr方法有了显著的改进。其中，一种用于图像超分辨率的深度卷积网络(learning a deepconvolutional network for image super-resolution)，通过引入三层cnn来实现图像超分辨率。此后，在深度学习的发展过程中，sr的重建性能不断提高，并且车牌sr的性能也得到了提高。在lpsr任务中，研究者引入了残差学习策略来学习缺失的边缘信息，大大降低了优化的复杂度。为了增强整体锐化效果，一些研究引入了边缘保持滤波器，如那些特别考虑图像边缘的滤波器。引入了一个边缘引导的递归sr框架来建模边缘先验和预测hr图像的边缘。另外有研究者提出了一种具有边缘保留策略的生成式对抗网络(gan)来保留边缘结构和重建视觉上令人愉悦的纹理。

4、虽然上述使用滤波器提取边缘信息的车牌sr方法取得了较为满意的效果，但是与自然图像相比，实际的车辆图像捕捉场景更为复杂，比如在夜间或使用快速移动的汽车。此外，中文车牌主要由汉字、字母和代表省份的数字组成，与仅由英文字母和数字组成的车牌相比，识别难度更大。因为汉字是由多个笔画组成的，每个笔画都有不同的形状和长度。因此，如何更加充分利用边缘算子提取中文车牌的边缘信息对于提升车牌sr的重建性能是非常重要的。

5、利用传统的车牌超分辨率重建方法对低分辨率的车牌图像进行超分辨率重建时，对于只有英文和数字的车牌图像，由于英文图案和数字图案较简单，该车牌图像在重建过程中图像不易失真，重建后的高分辨率车牌信息与原始车牌信息的差异也较小，导致重建后的高分辨率车牌图像的准确性较高。但是对于主要由汉字、字母和代表省份的数字组成的中文车牌，由于汉字的笔画多，每个笔画形状和长度均不同，即中文车牌中的图案较复杂，使得该中文车牌图像进行高分辨率重建过程中图像容易失真，重建后的高分辨率车牌信息与原始车牌信息的差异较大，导致重建后的高分辨率车牌图像的准确性较低。

技术实现思路

1、为了克服利用传统方法对低分辨率车牌图像进行超分辨率重建时，相较于只有英文和数字的车牌，中文车牌在重建时图像容易失真，使得重建后的高分辨率中文车牌信息与原始车牌信息的差异较大，导致重建后的高分辨率中文车牌的准确性较低的问题，本发明提供了一种车牌超分辨率重建方法及系统。

2、第一方面，为了解决上述技术问题，本发明提供了一种车牌超分辨率重建方法，包括：

3、获取样本车牌图像对应的低分辨率车牌图；

4、提取低分辨率车牌图的浅层特征，获得浅层车牌特征图；

5、提取浅层车牌特征图的精细特征，获得精细车牌特征图；其中，精细车牌特征图的分辨率和浅层车牌特征图的分辨率相同；

6、提取浅层车牌特征图的边缘轮廓信息，获得边缘信息特征图；

7、将精细车牌特征图和边缘信息特征图进行特征融合，获得融合车牌特征图；

8、将融合车牌特征图进行卷积操作，获得高分辨率车牌图。

9、第二方面，本发明还提供了一种车牌超分辨率重建系统，包括：

10、第一获取模块，用于获取样本车牌图像对应的低分辨率车牌图；

11、粗糙特征提取模块，用于提取低分辨率车牌图的浅层特征，获得浅层车牌特征图；

12、精细特征提取模块，用于提取浅层车牌特征图的精细特征，获得精细车牌特征图；其中，精细车牌特征图的分辨率和浅层车牌特征图的分辨率相同；

13、边缘信息关联模块，用于提取浅层车牌特征图的边缘轮廓信息，获得边缘信息特征图；

14、融合模块，用于将精细车牌特征图和边缘信息特征图进行特征融合，获得融合车牌特征图；

15、重建模块，用于将融合车牌特征图进行卷积操作，获得高分辨率车牌图像。

16、本发明的有益效果是：在将样本车牌图像对应的低分辨率车牌图重建为高分辨率车牌的过程中，不仅提取了低分辨率车牌图的浅层特征和精细特征，还提取了低分辨率车牌图的边缘轮廓信息。因此该低分辨率车牌图进行超分辨率重建时能够考虑到低分辨率车牌图的边缘轮廓信息，减小了重建过程中图像失真的概率，使得重建后的高分辨率车牌图能够保留原低分辨率车牌图的边缘轮廓信息，从而能够减小该高分辨率车牌图的车牌信息和样本车牌图像的车牌信息之间的差异，使得重建后的高分辨率车牌图的准确性较高。