车牌字符识别模型的训练、车牌识别方法和装置与流程

本公开涉及计算机视觉，特别涉及一种车牌字符识别模型的训练、车牌识别方法和装置。

背景技术：

1、在物流园区场景中，快速、精准地识别车辆的车牌，可以为车辆和月台等资源占用情况的可视化展示提供支持，还可以为园区内资源的智能化调度提供重要支撑。

2、目前，车辆车牌识别系统大致可以分为两类：第一类是研究和部署较多的、识别前车牌的车牌识别系统，应用场景多是停车场或小区的出入口；第二类是研究和部署较少的、识别后车牌的车牌识别系统，应用场景多为物流园区。

3、第二类车牌识别系统大多是基于目标检测算法识别车牌的单个字符，然后基于一系列后处理逻辑来组合单个字符，以得到车牌识别结果。在该类车牌识别系统中，通常识别的是常规车牌。

技术实现思路

1、本公开提供了一种车牌字符识别模型的训练、车牌识别方法和装置。

2、根据本公开的第一方面，提出了一种车牌字符识别模型的训练方法，包括：构建车牌样本图像集，所述车牌样本图像集包括第一类别的车牌样本图像和第二类别的车牌样本图像，第一类别的车牌样本图像为放大号车牌样本图像，第二类别的车牌样本图像为常规车牌样本图像；基于所述车牌样本图像集，对神经网络模型进行训练，以得到车牌字符识别模型，其中，所述车牌字符识别模型用于对待检测的第一类别车牌图像进行识别。

3、在一些实施例中，所述构建车牌样本图像集包括：获取真实场景下的第一类别和第二类别的车牌样本图像；根据车体模板和字符模板，生成第一类别和/或第二类别的车牌样本图像；基于获取的第一类别和第二类别的车牌样本图像、以及生成的第一类别和/或第二类别的车牌样本图像，确定车牌样本图像集。

4、在一些实施例中，基于所述车牌样本图像集，对神经网络模型进行训练，以得到车牌字符识别模型包括：获取预训练的神经网络模型，所述预训练的神经网络模型是基于第二类别的车牌样本图像训练得到的；基于所述车牌样本图像集，对所述预训练的神经网络模型进行训练，以得到所述车牌字符识别模型。

5、在一些实施例中，根据车体模板和字符模板，生成第一类别和/或第二类别的车牌样本图像包括：选取指定数量的第一类别或第二类别的字符模板；确定所述指定数量的第一类别或第二类别的字符模板中，每个字符模板在车体模板上的位置；根据所述每个字符模板在车体模板上的位置，将所述指定数量的字符模板、与所述车体模板进行融合，以得到第一类别或第二类别的车牌样本图像。

6、在一些实施例中，选取指定数量的第一类别或第二类别的字符模板包括：根据车牌中的字符数量设置规则，确定选取的字符模板的指定数量；根据车牌中不同位置的字符设置规则，从预设的第一类别字符模板、或第二类别的字符模板中逐一选取每个位置的字符模板，以得到所述指定数量的第一类别或第二类别的字符模板。

7、根据本公开的第二方面，提出了一种车牌识别方法，包括：获取待检测的第一类别车牌图像，所述第一类别车牌图像为放大号车牌图像；利用车牌字符识别模型，识别所述待检测的第一类别车牌图像中的车牌字符；在识别出的车牌字符数量大于第一预设数量阈值n的情况下，从所述识别出的车牌字符中选取置信度最大的n个字符，并将所述置信度最大的n个字符作为待处理车牌字符，其中，n为大于1的整数；根据所述待处理车牌字符，确定车牌识别结果。

8、在一些实施例中，车牌识别方法还包括：在所述识别出的车牌字符数量小于或等于第一预设数量阈值n的情况下，将识别出的车牌字符作为所述待处理车牌字符。

9、在一些实施例中，所述根据所述待处理车牌字符，确定车牌识别结果包括：确定所述待处理车牌字符的行数；在所述待处理车牌字符为单行字符的情况下，对单行字符进行拼接，以得到车牌识别结果；在所述待处理车牌字符为双行字符的情况下，确定双行字符中每一行包含的字符；根据双行字符中每一行包含的字符，确定车牌识别结果。

10、在一些实施例中，所述确定待处理车牌字符的行数包括：对所述待处理车牌字符进行直线拟合，以得到所述待处理车牌字符对应的拟合直线；在所述待处理车牌字符至所述拟合直线的距离指标值大于或等于预设阈值时，确定所述待处理车牌字符为双行字符；在识别出的车牌字符至所述拟合直线的距离指标值小于预设阈值时，确定所述待处理车牌字符为单行字符。

11、在一些实施例中，所述确定双行字符中每一行包含的字符包括：将所述待处理车牌字符任意拆分成两组字符，以得到多种字符组合方式，其中，所述多种字符组合方式中的每一种均包括两组字符；对每一种字符组合方式下的两组字符分别进行直线拟合，以得到所述每一种字符组合方式下两组字符对应的拟合直线；对每一种字符组合方式下两组字符到对应的拟合直线的距离指标值进行求和；根据所述求和最小的字符组合方式，确定双行字符中每一行包含的字符。

12、在一些实施例中，根据所述求和最小的字符组合方式，确定双行字符中每一行包含的字符包括：确定所述求和最小的字符组合方式下的两组字符中、每一组字符的纵坐标的平均值；将所述两组字符中所述纵坐标的平均值小的一组字符作为双行字符中的上行字符，将所述两组字符中所述纵坐标的平均值大的一组字符作为双行字符中的下行字符。

13、在一些实施例中，所述根据双行字符中每一行包含的字符，确定车牌识别结果包括：在所述双行字符中每一行包含的字符个数都大于第二预设数量阈值时，对所述双行字符中置信度均值较大的一行字符进行拼接，以得到车牌识别结果。

14、在一些实施例中，所述根据双行字符中每一行包含的字符，确定车牌识别结果还包括：在所述双行字符中只有一行包含的字符个数大于第二预设数量阈值时，对所述字符个数大于第二预设数量阈值的一行的字符进行拼接，以得到车牌识别结果。

15、在一些实施例中，所述根据双行字符中每一行包含的字符，确定车牌识别结果还包括：在所述双行字符中每一行包含的字符个数都小于或等于第二预设数量阈值、且双行字符中的下行字符的首字符为指定字符时，对所述双行字符中的下行字符进行拼接，以得到车牌识别结果；在所述双行字符中每一行包含的字符个数都小于或等于第二预设数量阈值、且双行字符中的下行字符的首字符不是所述指定字符时，对双行字符进行拼接，以得到车牌识别结果。

16、在一些实施例中，所述车牌字符识别模型为根据上述的车牌字符识别模型训练方法训练得到的。

17、根据本公开的第三方面，提出了一种车牌字符识别模型的训练装置，包括：构建模块，被配置为构建车牌样本图像集，所述车牌样本图像集包括第一类别的车牌样本图像和第二类别的车牌样本图像，第一类别的车牌样本图像为放大号车牌样本图像，第二类别的车牌样本图像为常规车牌样本图像；训练模块，被配置为基于所述车牌样本图像集，对神经网络模型进行训练，以得到车牌字符识别模型，其中，所述车牌字符识别模型用于对待检测的第一类别车牌图像进行识别。

18、根据本公开的第四方面，提出了一种车牌识别装置，包括：获取模块，被配置为获取待检测的第一类别车牌图像，所述第一类别车牌图像为放大号车牌图像；识别模块，被配置为利用车牌字符识别模型，识别所述待检测的第一类别车牌图像中的车牌字符；选取模块，被配置为在识别出的车牌字符数量大于第一预设数量阈值n的情况下，从所述识别出的车牌字符中选取置信度最大的n个字符，并将所述置信度最大的n个字符作为待处理车牌字符，其中，n为大于1的整数；确定模块，被配置为根据所述待处理车牌字符，确定车牌识别结果。

19、根据本公开的第五方面，提出一种电子设备，包括：存储器；以及，耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述的车牌字符识别模型的训练方法，或者，上述的车牌识别方法。

20、根据本公开的第六方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如上述的车牌字符识别模型的训练方法，或者，上述的车牌识别方法。

21、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。