图像处理方法、装置、终端及存储介质与流程

本发明涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种终端及一种计算机存储介质。

背景技术：

面对车辆数量的急剧增长，相关的车辆任务也日渐繁重，例如通过目标车辆的车牌信息跨摄像头追踪目标车辆，通过目标车辆的车牌信息确定目标车辆的车主，等等。由此可见，在执行相关的车辆任务的过程中，如何获取准确的车牌信息尤其重要。现有的车牌信息的获取方法主要是：获取目标车辆的一帧车牌图像，然后对该帧车牌图像进行识别，得到目标车辆的车牌信息。实践发现：由于车辆的快速行驶、光照条件的变换以及摄像头抖动等原因，容易导致获取到的目标车辆的车牌图像出现图像模糊和信息丢失等问题，从而使得识别出的车牌信息的准确性较低。

技术实现要素：

本发明实施例提供了一种图像处理方法、装置、终端及计算机存储介质，可以解决图像模糊和信息丢失等问题，提高车牌信息的准确性。

一方面，本发明实施例提供了一种图像处理方法，所述图像处理方法包括：

获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；

调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；

根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。

另一方面，本发明实施例提供了一种图像处理装置，所述图像处理装置包括：

获取单元，用于获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；

处理单元，用于调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；

确定单元，用于根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。

再一方面，本发明实施例提供了一种终端，所述终端包括输入设备和输出设备，所述终端还包括：

处理器，适于实现一条或一条以上指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如下步骤：

获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；

调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；

根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。

再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如下步骤：

获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；

调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；

根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。

本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理方法的应用场景图；

图2是本发明实施例提供的一种图像处理方法的流程示意图；

图3是本发明实施例提供的一种配准处理的示意图；

图4是本发明实施例提供的一种对齐处理的示意图；

图5是本发明另一实施例提供的一种图像处理方法的流程示意图；

图6是本发明实施例提供的一种图像叠加的示意图；

图7是本发明实施例提供的一种图像处理装置的结构示意图；

图8是本发明实施例提供的一种终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

分辨率又可称为解析度、解像度，是一个用于度量位图图像内的像素数量的参数，即图像的分辨率是指图像中单位英寸中所包含的像素点数。图像的分辨率越大，表明该图像中单位英寸中所包含的像素点数越多，即该图像的清晰度越高。采用摄像头拍摄目标车辆的车牌图像时，车牌图像的分辨率通常与摄像头和目标车辆之间的距离相关，摄像头与目标车辆之间的距离越小，摄像头对该目标车辆进行拍摄所得到的车牌图像的分辨率越高。本发明实施例的相关技术提及：由于目标车辆的快速行驶、光照条件的变换以及摄像头抖动等原因，容易导致摄像头所拍摄到的目标车辆的车牌图像较模糊，图像信息不完整。此时若直接对获取到目标车辆的一帧车牌图像进行识别，容易导致识别出的车牌信息的准确性较低。

基于此，本发明实施例提出了一种图像处理方案，该图像处理方案可以应用在交通监控场景下，如图1所示。首先，可以获取目标车辆的初始车牌图像序列，该初始车牌图像序列可以包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；此处的目标车辆可以是进入交通监控系统的监控范围内的任意车辆，也可以是交通监控系统监控到的存在违章行驶的车辆，还可以是用户指定的车辆，等等；初始车牌图像是摄像组件对目标车辆进行拍摄得到的图像，预设阈值可以根据实际业务需求设置。其次，可以调用优化的车牌重建模型对该初始车牌图像序列进行车牌重建，得到目标车牌图像；其中，该目标车牌图像的分辨率高于预设阈值，优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到，所谓的超分辨率方式是指：通过硬件或者软件的方法提高图像的分辨率的方式。然后，可以根据目标车牌图像确定目标车辆的车牌信息，此处的车牌信息可以包括车牌号码和车牌归属地，该车牌号码是指表示目标车辆的车辆身份的号码，车牌归属地是指车牌的注册地，例如车牌归属地为“渝”，那么表示该车牌的注册地是重庆，即该车牌是在重庆注册登记的。

由此可见，本发明实施例所提出的图像处理方案具有如下优点：①不局限于一帧车牌图像，而是获取的初始车牌图像序列，该初始车牌图像序列中包括至少两帧初始车牌图像，使得优化的车牌重建模型可以利用更多的车牌图像信息进行车牌重建，从而使得重建得到的目标车牌图像较清晰，图像信息较完整。②本发明实施例是根据重建后的目标车牌图像确定目标车辆的车牌信息，由于目标车牌图像的分辨率较高，图像信息完整，因此得到的车牌信息的准确性较高。③本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的车牌图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。

基于上述的描述，本发明实施例提出一种图像处理方法，该图像处理方法可以由终端执行，此处的终端可以包括但不限于：台式计算机、膝上计算机、平板电脑、智能手机，以及配置有处理器的摄像装备。请参见图2，该图像处理方法可包括以下步骤s201-s203：

s201，获取目标车辆的初始车牌图像序列。

目标车辆可以包括但不限于：进入摄像头监控范围内的任意车辆、摄像头监控到存在违章行驶的车辆、或者用户指定的车辆，等等。在获取目标车辆的初始车牌图像序列时，可以通过摄像头对目标车辆进行拍摄以得到目标车辆的初始车牌图像序列，该初始车牌图像序列包括至少两帧初始车牌图像，该初始车牌图像的分辨率低于预设阈值。其中，该预设阈值可以根据实际业务需求或者经验值设置。

由前述可知，车牌图像的分辨率通常与摄像头和目标车辆之间的距离相关，摄像头与目标车辆之间的距离越小，摄像头对该目标车辆进行拍摄所得到的车牌图像的分辨率越高；摄像头与目标车辆之间的距离越大，摄像头对该目标车辆进行拍摄所得到的车牌图像的分辨率越低。因此，在获取目标车辆的初始车牌图像序列时，可以检测摄像头与目标车辆之间的距离是否大于预设距离，该预设距离可以根据经验值设置。若大于，则对目标车辆进行拍摄以得到目标车辆的初始车牌图像序列。

s202，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到目标车牌图像。

在获取到初始车牌图像序列之后，可以调用优化的车牌重建模型对初始车牌图像序列进行车牌重建以得到高分辨率的目标车牌图像，即该目标车牌图像的分辨率高于预设阈值，其中，优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到。

在一种实施方式中，由于初始车牌图像序列是通过摄像组件对目标车辆进行拍摄得到的，而由于拍摄角度、拍摄距离以及光照条件等因素的影响，可能导致初始车牌图像序列中的各帧初始车牌图像中的特征关键点没有一一匹配、存在初始车牌图像的特征关键点缺失，各帧初始车牌图像未对齐等情况，所谓的对齐是指各帧初始车牌图像排列形成一条直线。因此，为了使得优化的车牌重建模型可以更好地对初始车牌图像序列进行车牌重建，提高目标车牌图像的图像质量，本发明实施例在调用优化的车牌重建模型对初始车牌图像序列进行车牌重建之前，可以采用特征关键点匹配算法对初始车牌图像序列进行配准处理，其配准处理的示意图可以参见图3所示。

其中，此处的特征关键点匹配算法可以包括但不限于：sift(scale-invariantfeaturetransform，尺度不变特征变换)算法、surf(speededuprobustfeature，加速稳健特征)算法、fast(featuresfromacceleratedsegmenttest)算法，等等。通过对初始车牌图像序列进行配准处理，可以使得各帧初始车牌图像中的特征关键点可以一一匹配以及各帧初始车牌图像的特征关键点完整。采用图像对齐算法对初始车牌图像序列进行对齐处理，其对齐处理的示意图可以参见图4所示。其中，此处的图像对齐算法可以包括但不限于：ecc(enhancedcorrelationcoefficient)算法、nmi(normalizationmutualinformation)算法、mi(mutualinformation)算法，等等。

s203，根据目标车牌图像确定目标车辆的车牌信息，该车牌信息包括车牌号码和车牌归属地。

由于目标车牌图像的分辨率高于预设阈值，即目标车牌图像较清晰，因此可以在得到目标车牌图像之后，对目标车牌图像进行识别以得到目标车辆的车牌信息，该车牌信息可以包括车牌号码和车牌归属地。

本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。

请参见图5，是本发明实施例提供的另一种图像处理方法的流程示意图。该图像处理方法可以由终端执行，此处的终端可以包括但不限于：台式计算机、膝上计算机、平板电脑、智能手机，以及配置有处理器的摄像装备。请参见图5，该图像处理方法可包括以下步骤s501-s506：

s501，获取用于模型训练的样本集。

此处的样本集包括样本车辆的第一图像序列及第二图像，该样本车辆为进入摄像组件拍摄范围内的任一车辆；第一图像序列可以包括至少两帧第一图像，第一图像的分辨率低于预设阈值，第二图像的分辨率高于预设阈值。第一图像序列中的第一图像的数量可以根据实际业务需求设置，例如可以选取5帧第一图像构建第一图像序列，也可以选取10帧第一图像构建第一图像序列，等等。

具体的，可以从摄像组件拍摄范围内的车辆中任意选取一车辆作为样本车辆，然后使用车辆跟踪算法对该样本车辆进行跟踪，在跟踪过程中摄像头可以检测摄像头与样本车辆之间的距离。当摄像头与样本车辆之间的距离小于预设距离时，摄像头可以对样本车辆进行拍摄得到分辨率大于预设阈值的高分辨率车辆图像；当摄像头与样本车辆之间的距离大于或等于预设距离时，摄像头可以对样本车辆进行拍摄得到多帧分辨率小于预设阈值的低分辨率车辆图像。然后使用车牌定位算法对该高分辨率车辆图像进行车牌定位，以从该高分辨率车辆图像中截取出车牌图像，并将从高分辨率车辆图像中截取到的车牌图像作为第二图像；并使用车牌定位算法对多帧低分辨率车辆图像进行车牌定位，以分别从多帧低分辨率车辆图像中截取出多帧车牌图像，并将从多帧低分辨率车辆图像中截取到的多帧车牌图像均作为第一图像，所述多帧第一图像按照拍摄时间的先后顺序构成第一图像序列。

其中，此处的车牌定位算法可以包括但不限于：refinedet[1]目标检测算法、snip算法、r-fcn算法，等等。优选的，本发明实施例采用refinedet[1]目标检测算法作为车牌定位算法，可以较精确地定位出各车辆图像(包括高分辨率车辆图像和各帧低分辨率车辆图像)中的车牌位置，使得第一图像序列和第二图像的准确性更高，为后续的对齐处理和配准处理提供有力的支持。并且该refinedet[1]目标检测算法无需引入池化过程，可以较大程度地提高车牌定位的处理效率。

由此可见，本发明实施例所采用的样本集中的车牌图像(包括第一图像和第二图像)均是通过摄像头对样本车辆进行拍摄得到的真实车牌图像，采用真实车牌图像进行模型训练，可以提高车牌重建模型的泛化能力，所谓的泛化能力是指车牌重建模型准确地进行车牌重建的重建能力

s502，构建车牌重建模型。

s503，采用多帧图像超分辨率方式以及样本集对车牌重建模型进行训练优化得到优化的车牌重建模型。

在步骤s502-s503中，可以基于机器学习算法构建一个车牌重建模型，该车牌重建模型是一个基于卷积神经网络的模型。然后采用多帧图像超分辨率方式以及样本集对该车牌重建模型进行训练优化得到优化的车牌重建模型，所谓的多帧图像超分辨率方式是指对多帧分辨率小于预设阈值的车牌图像进行车牌重建以提高分辨率的方式。其中，步骤s503可具体包括如下步骤s11-s13：

s11，对第一图像序列和第二图像进行预处理。

此处的预处理可以包括对齐处理和空间转换处理，相应的，对第一图像序列和所述第二图像进行预处理的具体实施方式可以是：首先，可以从第一图像序列中选取参考图像，该参考图像是第一图像序列中分辨率最高的一帧图像，或者参考图像是第一图像序列中的任一帧图像。

其次，可以采用参考图像对第一图像序列中除参考图像之外的其他第一图像进行配准及对齐处理得到对齐后的第一图像序列；以及采用参考图像对第二图像进行对齐处理得到对齐后的第二图像。具体的，可以采用sift算法等关键特征点匹配算法以参考图像为基准，对第一图像序列中除参考图像之外的其他第一图像进行配准处理；采用ecc算法等图像对齐算法以参考图像为基准，分别对第一图像序列中除参考图像之外的其他第一图像以及第二图像进行对齐处理，从而得到对齐后的第一图像序列和对齐后的第二图像序列。需要说明的是，配准处理和对齐处理并无先后顺序，可以先进行配准处理再进行对齐处理，也可先进行对齐处理再进行配准处理，或者配准处理和对齐处理同时进行，本发明实施例对此不作限定。

然后，可以将对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列；以及将对齐后的第二图像进行空间转换处理得到预处理后的第二图像。其中，将对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列的具体实施方式可以是：将对齐后的第一图像序列从第一颜色空间转换至第二颜色空间，此处的第一颜色空间可以为rgb颜色空间，第二颜色空间可以为ycrcb颜色空间，其中ycrcb颜色空间中的y表示纹理分量，crcb表示颜色分量；在第二颜色空间中提取对齐后的第一图像序列中的各帧图像的纹理分量以构成预处理后的第一图像序列。将对齐后的第二图像进行空间转换处理得到预处理后的第二图像的具体实施方式可以是：将对齐后的第二图像从第一颜色空间转换至第二颜色空间；在第二颜色空间中提取对齐后的第二图像的纹理分量作为预处理后的第二图像。

s12，调用车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像。

首先，可以调用车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到中间图像。具体的，可以将预处理后的第二图像输入至车牌重建模型中，以及将预处理后的第一图像序列组成n个通道输入至车牌重建模型中，n的取值与预处理后的第一图像序列中的纹理分量的数量相同，例如预处理后的第一图像序列中的纹理分量有5个，那么n就等于5。车牌重建模型可以将预处理后的第二图像作为模型的拟合目标，然后对预处理后的第一图像序列进行车牌重建，得到中间图像。

在得到中间图像之后，可以将中间图像与参考图像进行叠加，如图6所示。具体的，由于中间图像是车牌重建模型对对齐后的第一图像序列中的纹理分量(即预处理后的第一图像序列)进行车牌重建得到的，因此中间图像中只包含了纹理分量，无颜色分量。所以，在将中间图像与参考图像进行叠加时，可以将中间图像的纹理分量和参考图像的颜色分量进行叠加。然后，可以将叠加得到的图像从第二颜色空间转换至第一颜色空间得到重建图像，该重建图像的分辨率大于第一图像序列中的各第一图像的分辨率。

本发明实施例只将纹理分量输入至车牌重建模型，可以使得车牌重建模型在进行车牌重建的过程中，关注于对图像细节进行增强和丰富，尽量保持颜色不变。车牌重建模型拟合的是预处理后的第一图像序列和预处理后的第二图像之间的残差，所谓的残差是指图像的高频和细节部分，减轻了车牌重建模型的拟合压力。

s13，根据重建图像和第二图像优化车牌重建模型得到优化的车牌重建模型。

可以先获取车牌重建模型的损失函数，该损失函数包括字符损失和结构损失；再根据重建图像和第二图像计算损失函数的值；最后按照减少损失函数的值的原则，调整车牌重建模型的模型参数以得到优化的车牌重建模型。在对车牌重建模型进行优化的过程中，可以重复执行步骤s11-s13，直至车牌重建模型的损失函数的值满足预设条件，此处的预设条件包括但不限于：损失函数的值最小，或者损失函数的值满足预设取值范围；可以将此时的车牌重建模型作为优化的车牌重建模型。

其中，根据重建图像和第二图像计算损失函数的值的具体实施方式可以是：①获取第二图像的二进制掩码。具体的，可以使用图像二值化对第二图像进行二值化处理，得到字符的二进制掩码，该二进制掩码用于表示第二图像中的字符部分。②采用二进制掩码确定第二图像与重建图像的字符像素和背景像素。③获取第二图像与重建图像之间的字符损失值和结构损失值。其中，字符损失值为第二图像的字符像素与重建图像的字符像素之间的字符相似性，结构损失值为第二图像的背景像素与重建图像的背景像素之间的背景相似性。④根据字符损失值和结构损失值确定损失函数的值。

具体的，在计算第二图像和重建图像之间的字符损失值时，可以采用相似性算法计算第二图像的字符像素与重建图像的字符像素之间的字符相似性以得到字符损失值，此处的相似性算法可以包括但不限于：欧式距离算法、汉明距离算法、余弦角相似性算法，等等。在计算第二图像和重建图像之间的结构损失值时，在一种实施方式中，可以采用ssim(structuralsimilarityindex，结构相似性算法)算法计算第二图像的背景像素与重建图像的背景像素之间的背景相似性以得到结构损失值。再一种实施方式中，可以对第二图像和重建图像分别进行归一化处理，然后分别计算归一化后的第二图像和归一化后的重建图像之间的图像块照明度(图像块的均值)的相似性、对比度(图像块的方差)的相似性和像素向量的相似性，然后将图像块照明度的相似性、对比度的相似性和像素向量的相似性的乘积作为结构损失值。

由于车牌重建模型的损失函数不仅包括字符损失还包括结构损失，因此在按照减少损失函数的值的原则，调整车牌重建模型的模型参数以得到优化的车牌重建模型的过程中，可以抵消字符损失无法衡量图像的结构相似性的缺陷，可以弥补字符损失没有作用的背景像素部分。并且分开计算字符损失和结构损失，可以避免因拍摄角度、拍摄距离以及光照条件的因素导致模型拟合过多的噪声的问题，提高了模型训练优化的成功率。需要说明的是，在其他实施例中，也可以根据重建图像和对齐后的第二图像优化车牌重建模型得到优化的车牌重建模型，其原理与步骤s13类似，在此不再赘述。

s504，获取目标车辆的初始车牌图像序列，该初始车牌图像序列包括至少两帧初始车牌图像，该初始车牌图像的分辨率低于预设阈值。

终端可以从交通监控系统处获取该初始车牌图像序列，也可以调用终端所配置的摄像头对目标车辆进行拍摄以获取该初始车牌图像序列。在一种实施方式中，终端从交通监控系统处获取该初始车牌图像序列。具体的，交通监控系统可以从监控到的车辆中确定目标车辆，对该目标车辆进行拍摄，得到该目标车辆的车辆图像序列，该车辆图像序列包括至少两帧车辆图像；然后将该车辆图像序列发送至终端。终端可以接收该车辆图像序列，然后采用车牌定位算法对该车辆图像序列中的各帧车辆图像进行车牌定位，从而截取出各帧车辆图像的车牌图像，并将截取到各帧车辆图像的车牌图像作为初始车牌图像以构建目标车辆的初始车牌图像序列。再一种实施方式中，终端调用配置的摄像头对目标车辆进行拍摄得到目标车辆的车辆图像序列，然后采用车牌定位算法对该车辆图像序列中的各帧车辆图像进行车牌定位，从而截取出各帧车辆图像的车牌图像，并将截取到各帧车辆图像的车牌图像作为初始车牌图像以构建目标车辆的初始车牌图像序列，初始车牌图像序列中的各初始车牌图像按照拍摄时间的先后顺序排列。

s505，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到目标车牌图像。该目标车牌图像的分辨率高于预设阈值；其中，优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到。

在调用优化的车牌重建模型对初始车牌图像序列进行车牌重建之前，可以对初始车牌图像序列进行预处理，即对初始车牌图像序列进行配准处理、对齐处理以及空间转换处理，得到预处理后的初始车牌图像序列。然后将预处理后的初始车牌图像序列输入至优化的车牌重建模型中以进行车牌重建，得到重建的车牌图像。将重建的车牌图像与对齐后的初始车牌图像序列中的任意车牌图像进行叠加，将叠加得到的车牌图像作为目标车牌图像。

由于初始车牌图像序列中的各初始车牌图像按照拍摄时间的先后顺序组合，且各初始车牌图像是互为相邻的帧间图像，帧间图像的图像信息之间具有互补的能力，因此调用优化的车牌重建模型对初始车牌图像序列进行车牌重建时，可以学习到帧间图像的时间信息和空间信息(例如位置信息)，并将学习到的信息融合进目标车牌图像中，可以使得目标车牌图像的图像信息更加完整。

s506，根据目标车牌图像确定目标车辆的车牌信息，该车牌信息包括车牌号码和车牌归属地。

本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。

基于上述图像处理方法实施例的描述，本发明实施例还提供一种图像处理装置，所述图像处理装置可以是运行于终端中的一个计算机程序(包括程序代码)，也可以是包含在终端中的一个实体装置。该图像处理装置可以实行图2或者图5所示的方法。请参见图7，该图像处理装置可以运行如下单元：

获取单元101，用于获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；

处理单元102，用于调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；

确定单元103，用于根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。

在一种实施方式中，所述获取单元101还可用于：获取用于模型训练的样本集，所述样本集包括样本车辆的第一图像序列及第二图像，所述样本车辆为进入摄像组件拍摄范围内的任一车辆；所述第一图像序列包括至少两帧第一图像，所述第一图像的分辨率低于所述预设阈值，所述第二图像的分辨率高于所述预设阈值；

所述处理单元102还可用于：构建车牌重建模型；采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型。

再一种实施方式中，所述处理单元102在用于采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型时，具体用于：

对所述第一图像序列和所述第二图像进行预处理；

调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像；

根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型。

再一种实施方式中，所述预处理包括对齐处理和空间转换处理；相应的，所述处理单元102在用于对所述第一图像序列和所述第二图像进行预处理时，具体用于：

从所述第一图像序列中选取参考图像，所述参考图像是所述第一图像序列中分辨率最高的一帧图像，或者所述参考图像是所述第一图像序列中的任一帧图像；

采用所述参考图像对所述第一图像序列中除所述参考图像之外的其他第一图像进行配准及对齐处理得到对齐后的第一图像序列；以及采用所述参考图像对所述第二图像进行对齐处理得到对齐后的第二图像；

将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列；以及将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像。

再一种实施方式中，所述处理单元102在用于将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列时，具体用于：将所述对齐后的第一图像序列从第一颜色空间转换至第二颜色空间；在所述第二颜色空间中提取所述对齐后的第一图像序列中的各帧图像的纹理分量以构成预处理后的第一图像序列；

所述处理单元102在用于将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像时，具体用于：将所述对齐后的第二图像从所述第一颜色空间转换至所述第二颜色空间；在所述第二颜色空间中提取所述对齐后的第二图像的纹理分量作为预处理后的第二图像。

再一种实施方式中，所述处理单元102在用于调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像时，具体用于：

调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到中间图像；

将所述中间图像与所述参考图像进行叠加；

将叠加得到的图像从第二颜色空间转换至第一颜色空间得到重建图像。

再一种实施方式中，所述处理单元102在用于根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型时，具体用于：

获取所述车牌重建模型的损失函数，所述损失函数包括字符损失和结构损失；

根据所述重建图像和所述第二图像计算所述损失函数的值；

按照减少所述损失函数的值的原则，调整所述车牌重建模型的模型参数以得到所述优化的车牌重建模型。

再一种实施方式中，所述处理单元102在根据所述重建图像和所述第二图像计算所述损失函数的值时，具体用于：

获取所述第二图像的二进制掩码；

采用所述二进制掩码确定所述第二图像与所述重建图像的字符像素和背景像素；

获取所述第二图像与所述重建图像之间的字符损失值和结构损失值；所述字符损失值为所述第二图像的字符像素与所述重建图像的字符像素之间的字符相似性；所述结构损失值为所述第二图像的背景像素与所述重建图像的背景像素之间的背景相似性；

根据所述字符损失值和所述结构损失值确定所述损失函数的值。

根据本发明的一个实施例，图2和图5所示的方法所涉及的各个步骤均可以是由图7所示的图像处理装置中的各个单元来执行的。例如，图2中所示的步骤s201-s203可以分别由图7中所示的获取单元101、处理单元102以及确定单元103来执行；又如，图5中所示的步骤s501和s504可由图7中所示的获取单元101来执行，步骤s502、s503以及s505可由图7中所示的处理单元102来执行，步骤s506可由图7中所示的确定单元103来执行。

根据本发明的另一个实施例，图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本发明的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。

基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种终端。请参见图8，该终端至少包括处理器201、输入设备202、输出设备203以及计算机存储介质204。所述输入设备202中还可包括摄像组件，摄像组件可用于获取目标车辆的初始车牌图像序列和/或用于模型训练的样本集，所述摄像组件可以是终端出厂时配置在终端上的组件，也可以是与终端相连接的外部组件，例如交通监控系统中的摄像头。其中，终端内的处理器201、输入设备202、输出设备203以及计算机存储介质204可通过总线或其他方式连接。

计算机存储介质204可以存储在终端的存储器中，所述计算机存储介质204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201用于执行所述计算机存储介质204存储的程序指令。处理器201(或称cpu(centralprocessingunit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器201可以用于根据获取到的目标车辆的初始车牌图像序列进行一系列的图像处理，包括：获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地，等等。

本发明实施例还提供了一种计算机存储介质(memory)，所述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器201加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一种实施方式中，可由处理器201加载并执行计算机存储介质中存放的一条或一条以上指令，以实现上述有关图像处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或一条以上指令由处理器201加载并执行如下步骤：

获取目标车辆的初始车牌图像序列，所述初始车牌图像序列包括至少两帧初始车牌图像，所述初始车牌图像的分辨率低于预设阈值；

调用优化的车牌重建模型对所述初始车牌图像序列进行车牌重建，得到目标车牌图像，所述目标车牌图像的分辨率高于所述预设阈值；其中，所述优化的车牌重建模型采用多帧图像超分辨率方式训练优化得到；

根据所述目标车牌图像确定所述目标车辆的车牌信息，所述车牌信息包括车牌号码和车牌归属地。

再一种实施方式中，所述一条或一条以上指令还可由处理器201加载并具体执行：

获取用于模型训练的样本集，所述样本集包括样本车辆的第一图像序列及第二图像，所述样本车辆为进入摄像组件拍摄范围内的任一车辆；所述第一图像序列包括至少两帧第一图像，所述第一图像的分辨率低于所述预设阈值，所述第二图像的分辨率高于所述预设阈值；

构建车牌重建模型；

采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型。

再一种实施方式中，在采用所述多帧图像超分辨率方式以及所述样本集对所述车牌重建模型进行训练优化得到所述优化的车牌重建模型时，所述一条或一条以上指令由处理器201加载并具体执行：

对所述第一图像序列和所述第二图像进行预处理；

调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像；

根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型。

再一种实施方式中，所述预处理包括对齐处理和空间转换处理；相应的，在对所述第一图像序列和所述第二图像进行预处理时，所述一条或一条以上指令由处理器201加载并具体执行：

从所述第一图像序列中选取参考图像，所述参考图像是所述第一图像序列中分辨率最高的一帧图像，或者所述参考图像是所述第一图像序列中的任一帧图像；

采用所述参考图像对所述第一图像序列中除所述参考图像之外的其他第一图像进行配准及对齐处理得到对齐后的第一图像序列；以及采用所述参考图像对所述第二图像进行对齐处理得到对齐后的第二图像；

将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列；以及将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像。

再一种实施方式中，在将所述对齐后的第一图像序列进行空间转换处理得到预处理后的第一图像序列时，所述一条或一条以上指令由处理器201加载并具体执行：

将所述对齐后的第一图像序列从第一颜色空间转换至第二颜色空间；

在所述第二颜色空间中提取所述对齐后的第一图像序列中的各帧图像的纹理分量以构成预处理后的第一图像序列；

所述将所述对齐后的第二图像进行空间转换处理得到预处理后的第二图像，包括：

将所述对齐后的第二图像从所述第一颜色空间转换至所述第二颜色空间；

在所述第二颜色空间中提取所述对齐后的第二图像的纹理分量作为预处理后的第二图像。

再一种实施方式中，在调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到重建图像时，所述一条或一条以上指令由处理器201加载并具体执行：

调用所述车牌重建模型根据预处理后的第二图像对预处理后的第一图像序列进行车牌重建得到中间图像；

将所述中间图像与所述参考图像进行叠加；

将叠加得到的图像从第二颜色空间转换至第一颜色空间得到重建图像。

再一种实施方式中，在根据所述重建图像和所述第二图像优化所述车牌重建模型得到所述优化的车牌重建模型时，所述一条或一条以上指令由处理器201加载并具体执行：

获取所述车牌重建模型的损失函数，所述损失函数包括字符损失和结构损失；

根据所述重建图像和所述第二图像计算所述损失函数的值；

按照减少所述损失函数的值的原则，调整所述车牌重建模型的模型参数以得到所述优化的车牌重建模型。

再一种实施方式中，在根据所述重建图像和所述第二图像计算所述损失函数的值时，所述一条或一条以上指令由处理器201加载并具体执行：

获取所述第二图像的二进制掩码；

采用所述二进制掩码确定所述第二图像与所述重建图像的字符像素和背景像素；

获取所述第二图像与所述重建图像之间的字符损失值和结构损失值；所述字符损失值为所述第二图像的字符像素与所述重建图像的字符像素之间的字符相似性；所述结构损失值为所述第二图像的背景像素与所述重建图像的背景像素之间的背景相似性；

根据所述字符损失值和所述结构损失值确定所述损失函数的值。

本发明实施例在获取目标车辆的车牌信息时，可以获取目标车辆的低分辨率的初始车牌图像序列，调用优化的车牌重建模型对初始车牌图像序列进行车牌重建，得到高分辨率的目标车牌图像；对初始车牌图像序列进行车牌重建，可以解决初始车牌图像序列的图像模糊以及信息丢失等问题，从而可以提高根据目标车牌图像所确定的车牌信息的准确性。另外，本发明实施例所采用的优化的车牌重建模型是采用多帧图像超分辨方法训练优化得到的，采用多帧图像超分辨方法的训练方式可以使得模型学习到更多的图像信息，提高优化的车牌重建模型的鲁棒性，从而可以更好地对初始车牌图像序列进行车牌重建，保证目标车牌图像的图像质量。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。