一种车牌图像的超分辨率重建方法和装置与流程

本公开涉及图像处理领域，尤其涉及一种车牌图像的超分辨率重建方法和装置。

背景技术：

车牌图像的超分辨率重建是指从降质的低分辨率车牌图像通过软件的方法得到相应的最有可能的高分辨率车牌图像。超分辨率重建技术应用广泛，主要应用于公共安全，医学影像，遥感图像，高清电视等领域，所以图像的超分辨率重建显得尤为重要。

目前，车牌图像的超分辨率重建方法是基于插值的方法，该方法利用低分辨率图像的邻域采样点通过一定的函数关系得到估算点的值，并将该值插入邻域采样点之间。然而，基于插值的方法重建得到的车牌图像的细节信息较少，车牌图像中的字符之间产生粘连，导致车牌图像中的字符难以识别，也即是该车牌图像的辨识度较低。

技术实现要素：

为了解决现有技术的问题，本公开实施例提供了一种车牌图像的超分辨率重建方法和装置。所述技术方案如下：

一方面，提供了一种车牌图像的超分辨率重建方法，应用于终端，所述终端上部署有图像处理网络，所述图像处理网络包括特征提取模块和重建模块，所述特征提取模块包括连接的初始化特征提取模块和深度特征提取模块，所述初始化特征提取模块包括第一卷积层，所述深度特征提取模块包括依次串联的n个相同的残差采样块和一个第二卷积层，所述n为大于等于1的整数，每个残差采样块包括第一分支，第二分支和第三分支，所述第一分支包括依次连接的上采样层、第三卷积层和下采样层，所述第二分支包括第四卷积层，所述第三分支为恒等映射分支，所述恒等映射分支的输出特征图与输入特征图相同，所述方法包括：

通过所述第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图；

通过所述依次串联的n个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图；

通过所述第二卷积层对所述第n个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将所述多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图；

通过所述重建模块对所述特征提取模块得到的所述多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据所述多个高分辨率特征图得到目标高分辨率车牌图像，所述目标高分辨率车牌图像为通过所述图像处理网络对所述低分辨率车牌图像进行超分辨率重建得到的车牌图像；

其中，所述通过所述依次串联的n个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图，包括：

通过所述依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过所述第i个残差采样块中的第三分支对所述多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取所述第n个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，所述多个目标特征图为所述多个浅层特征图，当i不等于1时，所述多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。

可选地，所述通过所述依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，包括：

通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图；

通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图；

通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，将所述多个下采样特征图确定为所述多个局部第一深层特征图，其中，所述上采样采用转置卷积，所述下采样采用卷积。

可选地，所述通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图，包括：

通过所述第一分支中的上采样层，根据如下第一公式，对所述多个目标特征图进行上采样，得到多个上采样特征图：

第一公式：

其中，为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，ri-1为所述多个目标特征图，wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；

所述通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图，包括：

通过所述第一分支中的第三卷积层，根据如下第二公式，对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图：

第二公式：

其中，为第i个残差采样块的多个第三卷积特征图；

所述通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，包括：

通过所述第一分支中的下采样层，根据如下第三公式，对所述多个第三卷积特征图进行下采样，得到多个下采样特征图：

第三公式：

其中，为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。

所述通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行深度特征提取，得到多个局部第二深层特征图，包括：

通过所述第i个残差采样块中的第二分支，根据如下第四公式，对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图：

第四公式：

其中，表示多个局部第二深层特征图。

可选地，所述通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图，包括：

通过所述第i个残差采样块，根据如下第五公式，将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：

第五公式：

其中，ri为第i个残差采样块输出的多个局部第四深层特征图，第i个残差采样块中第一分支得到的多个局部第一深层特征图，为第i个残差采样块中第二分支得到的多个局部第二深层特征图，ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。

另一方面，提供了一种车牌图像的超分辨率重建装置，应用于终端，所述终端上部署有图像处理网络，所述图像处理网络包括特征提取模块和重建模块，所述特征提取模块包括连接的初始化特征提取模块和深度特征提取模块，所述初始化特征提取模块包括第一卷积层，所述深度特征提取模块包括依次串联的n个相同的残差采样块和一个第二卷积层，所述n为大于等于1的整数，每个残差采样块包括第一分支，第二分支和第三分支，所述第一分支包括依次连接的上采样层、第三卷积层和下采样层，所述第二分支包括第四卷积层，所述第三分支为恒等映射分支，所述恒等映射分支的输出特征图与输入特征图相同，所述装置包括：

初始化特征提取模块，用于通过所述第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图；

深度特征提取模块，用于通过所述依次串联的n个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图；

特征融合模块，用于通过所述第二卷积层对所述第n个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将所述多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图；

超分辨率重建模块，用于通过所述重建模块对所述特征提取模块得到的所述多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据所述多个高分辨率特征图得到目标高分辨率车牌图像，所述目标高分辨率车牌图像为通过所述图像处理网络对所述低分辨率车牌图像进行超分辨率重建得到的车牌图像；

其中，所述深度特征提取模块，还用于通过所述依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过所述第i个残差采样块中的第三分支对所述多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取所述第n个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，所述多个目标特征图为所述多个浅层特征图，当i不等于1时，所述多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。

可选地，所述深度特征提取模块，包括：

第一采样子模块，用于通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图；

特征提取子模块，用于通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图；

第二采样子模块，用于通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，将所述多个下采样特征图确定为所述多个局部第一深层特征图，其中，所述上采样采用转置卷积，所述下采样采用卷积。

可选地，所述第一采样子模块，用于通过所述第一分支中的上采样层，根据如下第一公式，对所述多个目标特征图进行上采样，得到多个上采样特征图：

第一公式：

其中，为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，ri-1为所述目标特征图，wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；

所述特征提取子模块，用于通过所述第一分支中的多个第三卷积层，根据如下第二公式，对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图：

第二公式：

其中，为第i个残差采样块的多个第三卷积特征图；

所述第二采样子模块，用于通过所述第一分支中的下采样层，根据如下第三公式，对所述多个第三卷积特征图进行下采样，得到多个下采样特征图：

第三公式：

其中，为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。

可选地，所述深度特征提取模块，还用于通过所述第i个残差采样块中的第二分支，根据如下第四公式，对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图：

第四公式：

其中，表示多个局部第二深层特征图。

可选地，所述深度特征提取模块，用于通过所述第i个残差采样块，根据如下第五公式，将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：

第五公式：

其中，ri为第i个残差采样块输出的多个局部第四深层特征图，第i个残差采样块中第一分支得到的多个局部第一深层特征图，为第i个残差采样块中第二分支得到的多个局部第二深层特征图，ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。

本公开的实施例提供的技术方案至少可以包括以下有益效果：

在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的n个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第n个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种图像处理网络示意图。

图2是本公开实施例提供的一种车牌图像的超分辨率重建方法流程图

图3是本公开实施例提供的一种车牌图像的超分辨率重建方法流程图。

图4是本公开实施例提供的一种车牌图像的超分辨率重建装置示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

图1是本公开实施例提供的一种图像处理网络示意图，参见图1，该图像处理网络可以部署在终端上。该图像处理网络包括特征提取模块1和重建模块2，特征提取模块1包括连接的浅层特征提取模块11和深度特征提取模块12，初始化特征提取模块11包括第一卷积层111，深度特征提取模块12包括依次串联的n个相同的残差采样块121和一个第二卷积层122，每个残差采样块121包括第一分支a，第二分支b和第三分支c，第一分支a包括依次连接的上采样层a1、第三卷积层a2和下采样层a3，第二分支b包括第四卷积层b1，第三分支c为恒等映射分支。另外，在该图像处理网络中，还可以通过实线a表示将第二卷积层122输出的多个第五深层特征图与一一对应的多个浅层特征图进行特征融合。

本公开实施例提供了一种车牌图像的超分辨率重建方法，参见图2，该方法包括：

步骤201：通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图。

步骤202：通过依次串联的n个相同的残差采样块对多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图。

其中，通过依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过第i个残差采样块中的第三分支对多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取第n个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，多个目标特征图为多个浅层特征图，当i不等于1时，多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。

步骤203：通过第二卷积层对第n个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图。

步骤204：通过重建模块对特征提取模块得到的多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据多个高分辨率特征图得到目标高分辨率车牌图像，目标高分辨率车牌图像为通过图像处理网络对低分辨率车牌图像进行超分辨率重建得到的车牌图像。

可选地，通过所述依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，包括：

通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图；

通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图；

通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，将多个下采样特征图确定为多个局部第一深层特征图，其中，上采样采用转置卷积，下采样采用卷积。

可选地，通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图，包括：

通过第一分支中的上采样层，根据如下第一公式，对多个目标特征图进行上采样，得到多个上采样特征图：

第一公式：

其中，为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，ri-1为多个目标特征图，wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；

通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图，包括：

通过第一分支中的第三卷积层，根据如下第二公式，对多个上采样特征图进行特征提取，得到多个第三卷积特征图：

第二公式：

其中，为第i个残差采样块的多个第三卷积特征图；

通过第一分支中的下采样层对第三卷积特征图进行下采样，得到多个下采样特征图，包括：

通过第一分支中的下采样层，根据如下第三公式，对多个第三卷积特征图进行下采样，得到多个下采样特征图：

第三公式：

其中，为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。

可选地，通过第i个残差采样块中的第二分支对多个目标特征图进行深度特征提取，得到多个局部第二深层特征图，包括：

通过第i个残差采样块中的第二分支，根据如下第四公式，对多个目标特征图进行特征提取，得到多个局部第二深层特征图：

第四公式：

其中，表示多个局部第二深层特征图。

可选地，通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图，包括：

通过第i个残差采样块，根据如下第五公式，将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：

第五公式：

其中，ri为第i个残差采样块输出的多个局部第四深层特征图，第i个残差采样块中第一分支得到的多个局部第一深层特征图，为第i个残差采样块中第二分支得到的多个局部第二深层特征图，ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。

综上所述，在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的n个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第n个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。

本公开实施例提供了一种车牌图像的超分辨率重建方法，参见图3，该实施环境包括tensorflow，tensorlayer等深度学习框架，即本公开实施例的运行环境，应用于终端，该方法包括：

步骤301：通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图。

可选地，在低分辨率图像输入图像处理网络前需要进行一定的处理并构建车牌图像训练库。车牌图像通过监控视频或手机相机拍摄的照片采集获得，并裁剪出车牌区域，经过裁剪的含有车牌区域的图像构成原始高分辨率车牌图像，待处理的低分辨率车牌图像可通过插值法对原始高分辨率车牌图像降采样得到。

需要说明的是，第一卷积层的参数设置包括：步长为1，卷积核大小为3×3，卷积操作采用补零的方式保持图像分辨率的一致性。输入通道数为rgb三通道图像，输出的浅层特征图为个数为64，特征提取的目的在于将低分辨率车牌图像从图像空间映射到特征空间，该特征空间是由多个向量形成的高维向量，向量的个数与特征图的个数相等，主要提取车牌图像的形状边缘等特征。

步骤302：通过依次串联的n个相同的残差采样块对多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图。

其中，通过依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过第i个残差采样块中的第三分支对多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取第n个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，多个目标特征图为多个浅层特征图，当i不等于1时，多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。

可选地，通过依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，包括：

通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图；

通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图；

通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，将多个下采样特征图确定为多个局部第一深层特征图，其中，上采样采用转置卷积，下采样采用卷积。

通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图，包括：

通过第一分支中的上采样层，根据如下第一公式，对多个目标特征图进行上采样，得到多个上采样特征图：

第一公式：

其中，为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，ri-1为多个目标特征图，wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；

通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图，包括：

通过第一分支中的第三卷积层，根据如下第二公式，对多个上采样特征图进行特征提取，得到多个第三卷积特征图：

第二公式：

其中，为第i个残差采样块的多个第三卷积特征图；

通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，包括：

通过第一分支中的下采样层，根据如下第三公式，对多个第三卷积特征图进行下采样，得到多个下采样特征图：

第三公式：

其中，为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。

通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，包括：

通过第i个残差采样块中的第二分支，根据如下第四公式，对多个目标特征图进行深度特征提取，得到多个局部第二深层特征图：

第四公式：

其中，表示多个局部第二深层特征图。

通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图，包括：

通过第i个残差采样块，根据如下第五公式，将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：

第五公式：

其中，ri为第i个残差采样块输出的多个局部第四深层特征图，第i个残差采样块中第一分支得到的多个局部第一深层特征图，为第i个残差采样块中第二分支得到的多个局部第二深层特征图，ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。

需要说明的是，1.第一分支不包含批归一化层，批归一化层应用于超分辨率领域导致图像像素值尺度信息丢失，影响网络参数在自由范围的变化，本公开去除批归一化层，将计算资源应用于特征提取，如第一分支中的第三卷积层和第二分支中的第四卷积层；2.第一分支主要包括依次连接的上采样层，第三卷积层和下采样层，进行这样的尺度变换有助于增强图像处理网络的表达能力，使网络提取的信息更完善；上采样层采用转置卷积，转置卷积的参数设置：步长为4，输入和输出特征图相同，均为64，卷积核大小为6×6，第三卷积层参数设置:步长为1，输入输出特征图相同，均为64，卷积核大小为3×3，下采样层采用卷积，卷积的参数设置：步长为4，输入和输出特征图相同，均为64，卷积核大小为6×6，上述操作均采用补零的操作；3.通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，进行这样的融合，可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，同时在局部内增加信息流动，避免梯度消失带来的训练误差越来越大。

步骤303：通过第二卷积层对第n个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图。

可选地，图像处理网络逐渐加深会减弱网络的反向传播能力，因为反向传播中每一层的梯度都是在上一层的基础上计算的，层数越多会导致梯度在传播时越来越小直到梯度消失，训练误差越来越大，所以将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，可以增加信息流动，进一步的改善网络的表达能力，避免梯度消失导致的训练误差越来越大。

步骤304：通过重建模块对特征提取模块得到的多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据多个高分辨率特征图得到目标高分辨率车牌图像，目标高分辨率车牌图像为通过图像处理网络对低分辨率车牌图像进行超分辨率重建得到的车牌图像。

可选地，重建模块的作用在于将特征提取模块得到的多个第六深层特征图的分辨率按照一定倍数进行放大，逐级倍数放大即对于放大因子较高时可采用分步进行，如放大因子为4，可分成两步，每步对特征图分辨率放大2倍。放大操作可以通过亚像素层进行，基本原理为:像素总数不变，将低分辨率特征图空间的像素按照一定倍数进行重新组合并排列到高分辨率特征图空间，由于高分辨率特征图长和宽放大，对应的高分辨率特征图个数相比于排列前的低分辨率特征图个数按照一定倍数减少，例如对于放大因子为2，亚像素层的具体操作为将256个分辨率大小为h×w的特征图进行空间位置转换，得到64个分辨率大小为2h×2w的特征图；最终，将经过逐级倍数放大的多个高分辨率特征图输入3×3的卷积层得到三通道的目标高分辨率车牌图像。一般地，由于每次经过亚像素层后，特征图个数减少，对于分步进行放大时，在亚像素前通过一个卷积层将特征图个数进行增加来保证有足够的特征图个数，所以对于逐级倍数放大的每一级包含两个模块：1.特征图个数按照一定倍数增加；2.亚像素层。

步骤305：通过损失函数最小化原始高分辨率车牌图像与目标高分辨率车牌图像之间的差距，以生成第一高分辨率车牌图像。

原始高分辨率车牌图像为未经网络处理的车牌图像，第一高分辨率车牌图像为通过损失函数不断更新网络参数，当网络参数趋近于收敛时，最终得到的超分辨率重建质量最优的车牌图像。

可选地，损失函数度量的是预测值与真实值之间的差异，本公开采用最小均方误差准则：

第六公式：

其中，l^sr表示损失值，r表示放大倍数，w和h分别表示低分辨率车牌图像的宽和高，表示原始高分辨率车牌图像对应像素点，表示第一高分辨车牌图像对应像素点。

综上所述，在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的n个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第n个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。

本公开实施例提供了一种车牌图像的超分辨率重建装置，参见图4，该装置包括：

初始化特征提取模块401，用于通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图。

深度特征提取模块402，用于通过依次串联的n个相同的残差采样块对多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图。

其中，深度特征提取模块，还用于通过依次串联的n个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过第i个残差采样块中的第三分支对多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取第n个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，多个目标特征图为多个浅层特征图，当i不等于1时，多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。

特征融合模块403，用于通过第二卷积层对第n个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图。

超分辨率重建模块404，用于通过重建模块对特征提取模块得到的多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据多个高分辨率特征图得到目标高分辨率车牌图像，目标高分辨率车牌图像为通过图像处理网络对低分辨率车牌图像进行超分辨率重建得到的车牌图像。

可选地，深度特征提取模块402包括：

第一采样子模块，用于通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图；

特征提取子模块，用于通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图；

第二采样子模块，用于通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，将多个下采样特征图确定为多个局部第一深层特征图，其中，上采样采用转置卷积，下采样采用卷积。

可选地，第一采样子模块，通过第一分支中的上采样层，根据如下第一公式，对多个目标特征图进行上采样，得到多个上采样特征图：

第一公式：

其中，为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，ri-1为多个目标特征图，wi和bi分别为第i个残差采样块的权重和偏置,↑s表示上采样s倍；

特征提取子模块，用于通过第一分支中的第三卷积层，根据如下第二公式，对多个上采样特征图进行特征提取，得到多个第三卷积特征图：

第二公式：

其中，为第i个残差采样块的多个第三卷积特征图；

第二采样子模块，用于通过第一分支中的下采样层，根据如下第三公式，对多个第三卷积特征图进行下采样，得到多个下采样特征图：

第三公式：

其中，为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。

可选地，深度特征提取模块，还用于通过第i个残差采样块中的第二分支，根据如下第四公式，对多个目标特征图进行特征提取，得到多个局部第二深层特征图：

第四公式：

其中，表示多个局部第二深层特征图。

可选地，深度特征提取模块，用于通过第i个残差采样块，根据如下第五公式，将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：

第五公式：

其中，ri为第i个残差采样块输出的多个局部第四深层特征图，第i个残差采样块中第一分支得到的多个局部第一深层特征图，为第i个残差采样块中第二分支得到的多个局部第二深层特征图，ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。

综上所述，在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的n个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第n个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第n个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。

本公开实施例提供了一种车牌图像的超分辨率重建方法和装置，该方法和装置应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的车牌图像超分辨率重建方法中终端所执行的操作。

本领域技术人员在考虑说明书及实践公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。