基于关键点与旁路矫正的车牌识别方法、装置及存储介质与流程

本发明涉及智能交通，尤其涉及一种基于关键点与旁路矫正的车牌识别方法、基于关键点与旁路矫正的车牌识别装置及存储介质。

背景技术：

1、当下，由于传统的交通规范与监管模式暴露出信息反馈不及时、不全面等缺陷，智能交通系统成为未来的趋势。如何有效获取车辆关键信息则是智能交通系统研究的热点之一。而在车辆信息提取任务中，车牌的定位则是重要一环，车牌作为车辆的身份证，如何对车牌进行准确的定位是车牌信息提取的关键也是后续车牌识别任务的基础。

2、车牌检测的目的是准确定位车牌在图像中的位置，通过提取车牌区域图像以进行下一步的识别。目前车牌检测主要分为基于传统方法的检测和基于深度学习的检测。

3、基于传统方法的检测由于需要大量的图像像素处理等方式导致消耗大量时间。而目前基于深度学习等检测方式，虽然检测效率能够提升，但是由于在图像采集时基于矩形框的检测方式，这种检测方式非常依赖于拍摄角度，如拍摄角度有倾斜等，则会导致矩形框检测准确度低，进而影响最终的车牌检测精度。

4、因此，如何能够解决当前矩形框检测导致无法拟合倾斜车牌轮廓而导致车牌检测精度低的问题成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明提供了一种基于关键点与旁路矫正的车牌识别方法、基于关键点与旁路矫正的车牌识别装置及存储介质，解决相关技术中存在的车牌检测精度低的问题。

2、作为本发明的第一个方面，提供一种基于关键点与旁路矫正的车牌识别方法，其中，包括：

3、获取待检测车牌图像；

4、将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；

5、根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；

6、将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。

7、进一步地，将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果，包括：

8、将所述待检测车牌图像进行预处理，获得预处理车牌图像；

9、将所述预处理车牌图像输入至车牌检测网络，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果。

10、进一步地，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果，包括：

11、对所述预处理车牌图像进行特征提取并对提取后的特征进行注意力机制处理，获得车牌区域特征；

12、根据提取后的车牌区域特征进行多尺度特征融合，获得融合特征；

13、对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果。

14、进一步地，对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果，包括：

15、根据边界框预测结果确定车牌区域检测图像，并对车牌关键点坐标进行预测；

16、构建关键点初始对角线斜率损失函数；

17、根据所述关键点初始对角线斜率损失函数对预测的车牌关键点坐标和车牌真实形状关键点坐标进行约束优化，获得关键点目标对角线斜率损失函数，其中所述关键点目标对角线斜率损失函数的计算公式为：

18、

19、其中，lkpt表示关键点总损失函数，ldig表示关键点目标对角线斜率损失函数，所述关键点包括车牌的四个顶点，且xtl和ytl、xtr和ytr、xbl和ybl以及xbr和ybr分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的预测坐标值，和和和以及和分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的实际坐标值；

20、根据关键点目标对角线斜率损失函数和关键点目标距离损失函数确定关键点总损失函数，其中关键点总损失函数的计算公式为：

21、

22、其中，lkpt表示关键点总损失函数，表示关键点目标距离损失函数。

23、进一步地，根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像，包括：

24、根据所述目标对角线斜率损失函数对所述车牌区域检测图像对应的关键点位置进行矫正；

25、根据矫正后的关键点位置确定车牌第一次矫正图像。

26、进一步地，所述车牌识别网络包括旁路分支网络和字符预测网络，将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果，包括：

27、将所述车牌第一次矫正图像输入至旁路分支网络进行第二次图像矫正，获得车牌第二次矫正图像；

28、将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果。

29、进一步地，将所述车牌第一次矫正图像输入至车牌识别网络中的旁路分支网络进行第二次矫正，获得车牌第二次矫正图像，包括：

30、将所述车牌第一次矫正图像输入至旁路卷积网络进行计算处理，并将计算处理后的结果输入至旁路全连接回归层；

31、将全连接回归层的输出结果通过矫正参数进行自学习处理后，获得车牌第二次矫正图像；其中，所述矫正参数的计算公式为：

32、

33、其中，表示仿射变换矩阵，和表示车牌第一次矫正图像的坐标，和表示车牌第二次矫正图像的坐标。

34、进一步地，将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果，包括：

35、对所述第二次矫正图像中的字符进行切割；

36、根据多头自注意力机制对切割后的字符进行语义关联，获得车牌字符预测结果，其中多头自注意力机制中的每一个注意力头分别对应一种语义信息。

37、作为本发明的另一个方面，提供一种基于关键点与旁路矫正的车牌识别装置，用于实现前文所述的基于关键点与旁路矫正的车牌识别方法，其中，包括：

38、获取模块，用于获取待检测车牌图像；

39、车牌检测模块，用于将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；

40、第一次矫正模块，用于根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；

41、车牌识别与第二次矫正模块，用于将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。

42、作为本发明的另一个方面，提供一种存储介质，其中，用于存储计算机指令，当所述计算机指令被处理器加载并执行时以实现前文所述的基于关键点与旁路矫正的车牌识别方法。

43、本发明提供的基于关键点与旁路矫正的车牌识别方法，通过对待检测车牌图像在车牌检测时进行一次矫正，然后再车牌识别时进行二次矫正，能够有效解决车牌倾斜畸变以及车牌区域图像变形的问题，进而提升了车牌识别准确率。