一种基于位置编码的车牌检测方法、装置及计算机可读存储介质与流程

本发明涉及信息处理，具体涉及一种基于位置编码的车牌检测方法、装置及计算机可读存储介质。

背景技术：

1、近年来，随着国内汽车保有量的猛增，给城市交通运输和管理提出了更大的挑战，为了实现高效、精确、稳定的智慧交通管理，车牌自动识别技术成为不可或缺的一部分。国际上发达国家在这方面的研究和应用起步早，技术相对比较成熟，车牌格式也比较统一，而国内起步晚，车牌的款式和位置多样，如今仍然存在一些待攻克的难题。传统方法中，采用车牌定位、字符切分、特征提取以及字符区分(分类或匹配)等步骤，然而，上述传统方法基于手工设计的图像特征算法在真实而多样的场景中鲁棒性较差，而多环节串联导致每个环节的误差累积且难以调试和优化等缺陷，进而提出了基于深度学习模型进行车牌检测的方法，但现有基于深度学习模型进行车牌检测的技术中，准确的字符分类仍然依赖于字符分割技术，而现有端到端的车牌算法存在字符顺序错误或相邻字符重复等问题，原因是无法准确感知车牌字符相对位置。现有端到端的车牌算法存在字符顺序错误或相邻字符重复等问题，原因是无法准确感知车牌字符相对位置。

技术实现思路

1、本发明目的在于提供一种基于位置编码的车牌检测方法、装置及计算机可读存储介质，提出一种自动化编码车牌字符位置的深度学习网络模型，并基于此单体模型进行一阶段车牌检测与车牌号识别的方法，解决了现有深度学习字符识别算法中，性能误差累积和车牌号顺序错误、重复等问题。

2、为了解决上述技术问题，本申请有如下技术方案：

3、第一方面，本申请提供了一种基于位置编码的车牌检测方法，其包括：

4、步骤s1，获取车牌图像；

5、步骤s2，构建深度学习网络模型，所述深度学习网络模型是lpnet模型，将获取的所述车牌图像输入所述深度学习网络模型模型的第一主干网络(backbone 1)进行图像特征提取并得到图像的第一特征图feature map1，将得到的所述feature map1输入到回归器regression 1中，并输出符合高斯分布规律的置信图gaussian score map、中心位置偏移图offset map和窗口尺寸图win map；

6、步骤s3，根据二维高斯分布公式对置信度图gaussian score map进行变换，得到以置信度图极值点为中心的椭圆形位置编码图coord-encoded map；

7、步骤s4,用拼接的方式融合feature map 1和coord-encoded map得到第二特征图feature map 2，输入到lpnet模型的第二主干网络(backbone 2)进一步提取车牌号码的图像特征并输入到分类器，所述分类器将车牌号码在不同位置的字符分类出来并生成车牌号码分类图plate number classification map，所述分类器具有8个分支输出对应车牌号按顺序8个不同位置的字符；

8、步骤s5，在gaussian score map上提取数值超过阈值thresh的极值点，利用高斯分布规律算出车牌的边框bounding box的坐标，再根据所述坐标换算到plate numberclassification map上，提取所述坐标对应的车牌号码分类结果。

9、进一步地，所述feature map1是通过所述第一主干网络对图像的每一个特征进行卷积操作，得到一个新的二维数组。

10、进一步地，所述coord-encoded map是旋转和尺度归一的，对于不同旋转角、仿射角、尺寸的车牌字符位置有相近而不变的值，用于辅助区分字符在车牌号中的顺序位置。

11、第二方面，本申请提供了一种基于位置编码的车牌检测装置，其包括：

12、图像获取模块，用于获取车牌图像；

13、网络模型构建模块，用于构建深度学习网络模型，所述深度学习网络模型是lpnet模型，将获取的所述车牌图像输入所述深度学习网络模型的第一主干网络(backbone 1)进行图像特征提取并得到图像的feature map1，将得到的所述feature map1输入到回归器regression 1中，并输出符合高斯分布规律的置信图gaussian score map、中心位置偏移图offset map和窗口尺寸图win map；

14、变换模块，用于根据二维高斯分布公式对置信度图gaussian score map进行变换，得到以置信度图极值点为中心的椭圆形位置编码图coord-encoded map；

15、分类模块,用于使用拼接的方式融合feature map 1和coord-encoded map得到feature map 2，在用lpnet模型的第二主干网络(backbone 2)进一步提取车牌号码的图像特征并输入到分类器，所述分类器将车牌号码在不同位置的字符分类出来并生成车牌号码分类图plate number classification map，所述分类器具有8个分支输出对应车牌号按顺序8个不同位置的字符；

16、提取模块，用于在gaussian score map上提取数值超过阈值thresh的极值点，利用高斯分布规律算出车牌的边框bounding box的坐标，再根据所述坐标换算到platenumber classification map上，提取所述坐标对应的车牌号码分类结果。

17、进一步地，所述feature map1是通过所述第一主干网络对图像的每一个特征进行卷积操作，得到一个新的二维数组。

18、进一步地，所述coord-encoded map是旋转和尺度归一的，对于不同旋转角、仿射角、尺寸的车牌字符位置有相近而不变的值，用于辅助区分字符在车牌号中的顺序位置。

19、进一步地，根据二维高斯分布公式对置信度图gaussian score map进行变换，得到以置信度图极值点为中心的椭圆形位置编码图coord-encoded map。

20、第三方面，本申请提供了一种计算机可读存储介质，存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时可以实现如前面实施例所述的一种基于位置编码的车牌检测方法。

21、现有技术的车牌识别检测方法中，包围框有时不能完整地囊括车牌，且因包围框大小不稳定而导致车牌图像的尺度变化大，导致车牌号识别不准确。然而在本发明的方法中，车牌号识别快速准确，识别结果不依赖于包围框的检测结果。

技术特征：

1.一种基于位置编码的车牌检测方法，其特征在于，包括以下步骤：步骤s1，获取车牌图像；

2.根据权利要求1所述的一种基于位置编码的车牌检测方法，其特征在于,所述feature map1是通过所述第一主干网络对图像的每一个特征进行卷积操作，得到一个新的二维数组。

3.根据权利要求1所述的一种基于位置编码的车牌检测方法，其特征在于，所述coord-encoded map是旋转和尺度归一的，对于不同旋转角、仿射角、尺寸的车牌字符位置有相近而不变的值，用于辅助区分字符在车牌号中的顺序位置。

4.根据权利要求1所述的一种基于位置编码的车牌检测方法，其特征在于,所述根据二维高斯分布公式对置信度图gaussian score map进行变换具体包括：构建二维高斯分布公式：

5.一种基于位置编码的车牌检测装置，其特征在于，其包括：图像获取模块，用于获取车牌图像；

6.根据权利要求5所述的一种基于位置编码的车牌检测装置，其特征在于,所述feature map1是通过所述第一主干网络对图像的每一个特征进行卷积操作，得到一个新的二维数组。

7.根据权利要求5所述的一种基于位置编码的车牌检测装置，其特征在于，所述coord-encoded map是旋转和尺度归一的，对于不同旋转角、仿射角、尺寸的车牌字符位置有相近而不变的值，用于辅助区分字符在车牌号中的顺序位置。

8.根据权利要求5所述的一种基于位置编码的车牌检测装置，其特征在于,所述根据二维高斯分布公式对置信度图gaussian score map进行变换具体包括：构建二维高斯分布公式：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-4任一项中所述的方法。

技术总结
本发明公开了一种基于位置编码的车牌检测方法，通过构建深度学习网络模型获取第一特征图和置信度图；根据二维高斯分布公式对置信度图进行变换，得到以置信度图极值点为中心的椭圆形位置编码图；用拼接的方式融合第一特征图和椭圆形位置编码图得到第二特征图并输入到LPNet模型的第二主干网络进一步提取车牌号码的图像特征并输入到分类器，分类器将车牌号码在不同位置的字符分类出来并生成车牌号码分类图；在置信度图上提取数值超过阈值的极值点，利用高斯分布规律可算出车牌的车框的坐标，再根据所述坐标换算到车牌号码分类图上，提取对应的车牌号码分类结果。

技术研发人员：翁立宇
受保护的技术使用者：粤丰科盈智能投资(广东)有限公司
技术研发日：
技术公布日：2024/1/13