一种基于ETC门架的精准车型识别方法与装置与流程

一种基于etc门架的精准车型识别方法与装置
技术领域
1.本发明涉及车辆监控技术领域，尤其涉及一种基于etc门架的精准车型识别方法、装置、电子设备和存储介质。


背景技术：

2.现有技术中，不停车自动收费系统etc(electronic toll collection system)已经广泛的应用于高速公路、桥梁、隧道等的收费站，其自动收费系统的车载端较为简单。收费站采用etc不停车电子收费技术，可提高高速公路收费站的通行能力，缓解乃至解决收费站拥堵问题；同时通过etc标识站可实现etc通行车辆按照精确行驶路径计费和弹性收费，并以此来均衡高速公路的路网流量，提高高速公路的运行效率。实施etc系统工程也能为交通信息服务、城市停车管理、重大活动及区域交通管理和城市交通综合管理提供基础条件。
3.车轴数量是高速公路计费的一个重要依据，因此当车辆到达高速公路收费站点时，需要对车辆的车轴数量进行检测。现有技术中主要是基于车辆品牌的方式进行车型识别，但是这种方式只能区分客车货车，对于货车，尤其是2轴车到6轴车，因为2轴车到6轴车很多都是品牌一致的跨界车,因此无法对货车进行进一步的精确区分。


技术实现要素：

4.本发明的实施例提供了一种基于etc门架的精准车型识别方法、装置、电子设备和存储介质，通过识别正面车辆品牌和检测侧面车轮数目，可以对车辆的车型进行精确的识别。
5.第一方面，本发明的实施例提供了一种基于etc门架的精准车型识别装置，所述车型识别装置包括：
6.第一图像获取设备，其用于获取车道上的车辆正面图像信息；
7.第二图像获取设备，其用于获取车道上的车辆侧面图像信息；
8.车辆识别模块，根据所述正面图像信息得到车辆基础信息，其中，车辆基础信息包括车牌号码，车身颜色，车辆品牌；
9.侧面轴数识别模块，根据所述侧面图像信息得到侧面车轮数目；根据所述车辆基础信息及侧面车轮数目确定车型；
10.所述第一图像获取设备及第二图像获取设备均配置于etc门架上，且与车道相对应。
11.作为一种可能实现的实施方式，所述车型识别装置还包括：
12.频闪补光灯，所述频闪补光灯、第一图像获取设备及第二图像获取设备单车道安装于etc门架上。
13.作为一种可能实现的实施方式，所述第二图像获取设备探出etc门架并与车道垂直90
°
且面向相邻车道依次安装固定。
14.作为一种可能实现的实施方式，所述车辆识别模块包括：
15.车辆检测单元，采用基于深度学习的方法做车辆检测，以识别同一图像中的不同车辆；
16.车身颜色识别和车辆品牌识别单元，基于所述车辆检测单元检测到的车辆，进行车牌和车型识别。
17.作为一种可能实现的实施方式，所述侧面轴数识别模块包括：
18.车辆拼接单元，用于对多个车辆侧面图像进行拼接得到完整图像；
19.轴数检测单元，针对所述完整图像，采用深度学习检测算法，对车辆的轮子进行检测，最终输出轮子的数目。
20.作为一种可能实现的实施方式，所述车辆拼接单元包括：
21.拼接判别子单元，若当前帧发现运动车辆，则当前帧状态输出状态为开始拼接；
22.拼接处理子单元，选取上一帧图像右侧长度为len的图像进行匹配，其中左坐标为width-len，右坐标为width，图像的宽度为width；
23.在当前帧图像的设定区域，left取值为width-len*3,right取值为width-len，从左往右挪动，计算图像匹配分数，首先利用如下公式计算对应像素点是否匹配：
24.|r1-r2|+|g1-g2|+|b1-b2|《thr1
25.其中，thr1取值为20，若匹配成功，计算匹配成功的点的数目sum_same,计算如下分数：
26.scores＝(sum_same/sum_pixel)*100
27.从左到右编列，选取分数最大的位置index为匹配位置；
28.按照left＝index，right＝width截取当前帧图像，将截取的图像拼接到上一帧的图像拼接图的右侧。
29.作为一种可能实现的实施方式，所述车型识别装置还包括：
30.融合匹配模块，所述融合模块根据所述第一图像获取设备获取车辆正面图像信息时间和第二图像获取设备获取车辆侧面图像信息的时间进行匹配，匹配成功后，统一上报识别结果。
31.作为一种可能实现的实施方式，所述融合匹配模块包括：
32.时间较正单元，将第一图像获取设备、第二图像获取设备，运行程序的服务器时间调整到同一个时间；
33.匹配单元，第一图像获取设备抓拍时间t1，和侧面车辆图像开始拼接时间t2，满足如下条件，则进行匹配：
34.t2
–
t1＞thr1
35.t2
–
t1＜thr2
36.其中，thr1和thr2为匹配的时间阈值，取值分别为2s和8s。
37.融合结果上报单元，按照预设规则对结果进行融合后进行上报。
38.第二方面，本发明的实施例提供了一种基于etc门架的精准车型识别方法，所述车型识别方法包括：
39.通过第一图像获取设备获取车道上的车辆正面图像信息，通过第二图像获取设备获取车辆侧面图像信息；
40.根据所述正面图像信息得到车辆基础信息，其中，车辆基础信息包括车牌号码，车
身颜色，车辆品牌；
41.根据所述侧面图像信息得到侧面车轮数目；
42.根据所述车辆基础信息及侧面车轮数目确定车型；
43.其中，所述第一图像获取设备及第二图像获取设备均配置于etc门架上，且与车道相对应。
44.作为一种可能实现的实施方式，所述的车型识别方法还包括，根据所述第一图像获取设备获取车辆正面图像信息时间和第二图像获取设备获取车辆侧面图像信息的时间进行匹配，匹配成功后，统一上报识别结果。
45.第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第二方面任一项所述的方法。
46.第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面任一项所述的方法。
47.本发明实施例提供的一种基于etc门架的精准车型识别装置，所述车型识别装置包括：第一图像获取设备，其用于获取车道上的车辆正面图像信息；第二图像获取设备，其用于获取车道上的车辆侧面图像信息；车辆识别模块，根据所述正面图像信息得到车辆基础信息，其中，车辆基础信息包括车牌号码，车身颜色，车辆品牌；侧面轴数识别模块，根据所述侧面图像信息得到侧面车轮数目；根据所述车辆基础信息及侧面车轮数目确定车型；所述第一图像获取设备及第二图像获取设备均配置于etc门架上，且与车道相对应。本技术将传统的车牌识别，车身颜色识别，车辆品牌识别结合侧面车辆拼接，轴数检测等技术应用到高速门架上，可以对高速运行的车辆进行全方位的车辆信息采集，主要包括车辆正面图，侧面图，车牌号码，车身颜色，品牌信息，轴数信息，可以对车辆的车型进行精确的识别，为后续的车辆逃费，车辆稽查提供有效的证据。
48.应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
49.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
50.图1示出了本发明的实施例的基于etc门架的精准车型识别装置的安装示意图；
51.图2示出了本发明实施例的基于etc门架的精准车型识别装置的结构示意图；
52.图3示出了本发明另一实施例的基于etc门架的精准车型识别装置的结构示意图；
53.图4示出了本发明实施例的一种基于etc门架的精准车型识别方法的流程图；
54.图5示出了本发明实施例的一种电子设备的结构图。
具体实施方式
55.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，
下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
56.相关技术中，随着高速领域中车辆收费标准的改革，以前采用轴型收费，现在采用轴数收费，轴数即为通过侧面统计的车辆轮子的数目，目前的收费类型按照轴数分为2轴客车，2轴货车，3轴车，4轴车，5轴车和6轴车。
57.目前的高速收费采用的是分段计费方案，其中针对etc门架的车型识别大都在基于正面车辆的品牌识别，反推车型，但此种方案，无法对2到6轴车进行精准区分。
58.需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
59.图1示出了本发明的实施例的一种基于etc门架的精准车型识别装置的安装示意图。图2示出了本发明实施例的基于etc门架的精准车型识别装置的结构示意图；
60.参见图1-2，所述车型识别装置包括：
61.第一图像获取设备10，其用于获取车道上的车辆正面图像信息；
62.第二图像获取设备20，其用于获取车道上的车辆侧面图像信息；
63.车辆识别模块101，根据所述正面图像信息得到车辆基础信息，其中，车辆基础信息包括车牌号码，车身颜色，车辆品牌；
64.侧面轴数识别模块102，根据所述侧面图像信息得到侧面车轮数目；根据所述车辆基础信息及侧面车轮数目确定车型；
65.所述第一图像获取设备10及第二图像获取设备20均配置于etc门架30上，且与车道相对应。
66.本实施例提供的一种基于etc门架的精准车型识别装置包括：第一图像获取设备，其用于获取车道上的车辆正面图像信息；第二图像获取设备，其用于获取车道上的车辆侧面图像信息；车辆识别模块，根据所述正面图像信息得到车辆基础信息，其中，车辆基础信息包括车牌号码，车身颜色，车辆品牌；侧面轴数识别模块，根据所述侧面图像信息得到侧面车轮数目；根据所述车辆基础信息及侧面车轮数目确定车型；所述第一图像获取设备及第二图像获取设备均配置于etc门架上，且与车道相对应；将传统的车牌识别，车身颜色识别，车辆品牌识别结合侧面车辆拼接，轴数检测等技术应用到高速门架上，可以对高速运行的车辆进行全方位的车辆信息采集，主要包括车辆正面图，侧面图，车牌号码，车身颜色，品牌信息，轴数信息，可以对车辆的车型进行精确的识别，为后续的车辆逃费，车辆稽查提供有效的证据。
67.在一些实施例中，所述车型识别装置还包括：
68.频闪补光灯，所述频闪补光灯、第一图像获取设备10及第二图像获取设备20单车道安装于etc门架30上。单车道安装具有车辆像素质量高、识别准确率高等特点。第一图像获取设备10、第二图像获取设备20及频闪补光灯需安装在车道正上方中间位置，每车道对应一套，抓拍设备探出门架并垂直90
°
面向相邻车道依次安装固定。
69.图3示出了本发明另一实施例的基于etc门架的精准车型识别装置的结构示意图；如图3所示，所述车辆识别模块101包括：
70.车辆检测单元1011，采用基于深度学习的方法做车辆检测，以识别同一图像中的不同车辆；例如可以采用基于深度学习的方法做车辆检测，可以采用faster-rcnn，ssd，yolo，亦可采用haar+adaboost，hog+svm等算法。
71.车身颜色识别和车辆品牌识别单元1012，基于所述车辆检测单元检测到的车辆，进行车牌和车型识别；例如可以采用传统算法或者深度学习算法进行车牌识别，车型识别例如采用deepface模型、resnet模型，mobilenet模型等；同时还包括进行号牌遮挡判别。
72.具体地，所述侧面轴数识别模块102包括：
73.车辆拼接单元1021，用于对多个车辆侧面图像进行拼接得到完整图像；
74.轴数检测单元1022，针对所述完整图像，采用深度学习检测算法，对车辆的轮子进行检测，最终输出轮子的数目。针对拼接好的图，例如可以采用深度学习检测算法，对车辆的轮子进行检测，最终输出轮子的数目，检测方法可以采用faster-rcnn，ssd或者yolov3等方法。
75.具体地，所述车辆拼接单元1021包括：
76.拼接判别子单元10211，若当前帧发现运动车辆，则当前帧状态输出状态为开始拼接；
77.具体地，判别运动车辆的方法如下：
78.计算运动图像每列的运动像素点数目之和，然后从左往右进行遍历，统计每三列的运动像素数目之和，如果满足以下条件，则表明发现车辆：
79.sum》h*r
80.其中，sum为当前三列运动像素之和，h为运动图像的高度，r为比例阈值，可以取值为1.2；同时，将开始匹配的时间输出。
81.拼接处理子单元10212，选取上一帧图像右侧长度为len的图像进行匹配，其中左坐标为width-len，右坐标为width，图像的宽度为width；
82.具体地，匹配计算方法包括，将上述选取的图像区域，在当前帧图像的设定区域(left取值为width-len*3,right取值为width-len)从左往右挪动，计算图像匹配分数，首先利用如下公式计算对应像素点是否匹配：
83.|r1-r2|+|g1-g2|+|b1-b2|《thr1
84.其中thr1可以取值为20，如果满足以上条件，则此点匹配成功，计算匹配成功的点的数目sum_same,计算如下分数：
85.scores＝(sum_same/sum_pixel)*100
86.从左到右编列，选取分数最大的位置index为匹配位置。
87.图像拼接方法是按照left＝index，right＝width截取当前帧图像，将截取的图像拼接到上一帧的图像拼接图的右侧，若发现无运动车辆，则结束拼接。
88.需要说明的是，运动图像计算方法，亦可采取混合高斯方法来计算每个像素点是否为运动像素；图像匹配方法亦可采取复杂的基于特征点的匹配方法，例如surf，sift等。
89.作为一种优选的实施方式，所述车型识别装置还包括：
90.融合匹配模块103，所述融合模块根据所述第一图像获取设备10获取车辆正面图像信息时间和第二图像获取设备20获取车辆侧面图像信息的时间进行匹配，匹配成功后，统一上报识别结果。
91.具体地，所述融合匹配模块103包括：
92.时间较正单元1031，将第一图像获取设备、第二图像获取设备，运行程序的服务器时间调整到同一个时间；
93.匹配单元1032，第一图像获取设备抓拍时间t1，和侧面车辆图像开始拼接时间t2，满足如下条件，则进行匹配：
94.t2
–
t1＞thr1
95.t2
–
t1＜thr2
96.其中，thr1和thr2为匹配的时间阈值，取值分别为2s和8s。
97.融合结果上报单元1033，按照预设规则对结果进行融合后进行上报。
98.以第一图像获取设备10、第二图像获取设备20为顶装相机，侧装相机为例；融合匹配模块103进行如下工作：
99.一)时间较正：将顶装相机，侧装相机，运行程序的服务器时间调整到同一个时间。
100.二)匹配：由于顶装相机先抓拍，侧面拼接相机后进行拼接，所以将顶装相机抓拍时间t1，和侧面车辆开始拼接时间t2，满足如下条件，则进行匹配：
101.t2
–
t1＞thr1
102.t2
–
t1＜thr2
103.其中thr1和thr2为匹配的时间阈值可以分别取值为2和8，单位为秒。顶装相机抓拍例如可以通过设置图像抓拍线，判别跟踪的轿车或者货车的车头目标经过抓拍线，则给出抓拍信号，此抓拍信号传送到顶装相机，抓拍一张车辆的正面图片，并识别车牌。
104.三)融合结果上报：按照如下规则对结果进行融合，然后进行上报：
105.1)根据顶装抓拍相机识别的车辆品牌进行判别，如果为客车，则按照品牌对应的规则输出车型为客1，客2，客3和客4；
106.2)如果根据车辆品牌进行判别，识别的为货车，则根据侧面拼接图中检测到的轮子的数目，输出为货1，货2，货3，货4，货5和货6。
107.基于同一发明构思，本发明实施例还提供了一种基于etc门架的精准车型识别方法，可以用于实现上述实施例中所描述的基于etc门架的精准车型识别装置，如下面实施例所述。由于该基于etc门架的精准车型识别装置解决问题的原理与基于etc门架的精准车型识别装置相似，因此基于etc门架的精准车型识别方法的实施可以参见一种基于etc门架的精准车型识别装置的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
108.图3示出了本发明的实施例的一种基于etc门架的精准车型识别方法的流程图。如图3所示，所述风险评估方法包括：
109.所述车型识别方法包括：
110.s20、通过第一图像获取设备获取车道上的车辆正面图像信息，通过第二图像获取设备获取车辆侧面图像信息；
111.s40、根据所述正面图像信息得到车辆基础信息，其中，车辆基础信息包括车牌号码，车身颜色，车辆品牌；
112.s60、根据所述侧面图像信息得到侧面车轮数目；
113.s80、根据所述车辆基础信息及侧面车轮数目确定车型；
114.其中，所述第一图像获取设备及第二图像获取设备均配置于etc门架上，且与车道相对应。
115.本实施例通过第一图像获取设备获取车道上的车辆正面图像信息，通过第二图像获取设备获取车辆侧面图像信息；根据所述正面图像信息得到车辆基础信息，其中，车辆基础信息包括车牌号码，车身颜色，车辆品牌；根据所述侧面图像信息得到侧面车轮数目；根据所述车辆基础信息及侧面车轮数目确定车型；将传统的车牌识别，车身颜色识别，车辆品牌识别结合侧面车辆拼接，轴数检测等技术，第一次应用到高速门架上，可以对高速运行的车辆进行全方位的车辆信息采集，主要包括车辆正面图，侧面图，车牌号码，车身颜色，品牌信息，轴数信息，为后续的车辆逃费，车辆稽查提供有效的证据。
116.在一些实施例中，所述的车型识别方法还包括，根据所述第一图像获取设备获取车辆正面图像信息时间和第二图像获取设备获取车辆侧面图像信息的时间进行匹配，匹配成功后，统一上报识别结果。
117.以第一图像获取设备、第二图像获取设备为顶装相机，侧装相机为例；根据所述第一图像获取设备获取车辆正面图像信息时间和第二图像获取设备获取车辆侧面图像信息的时间进行匹配，匹配成功后，统一上报识别结果包括：
118.一)时间较正：将顶装相机，侧装相机，运行程序的服务器时间调整到同一个时间。
119.二)匹配：由于顶装相机先抓拍，侧面拼接相机后进行拼接，所以将顶装相机抓拍时间t1，和侧面车辆开始拼接时间t2，满足如下条件，则进行匹配：
120.t2
–
t1＞thr1
121.t2
–
t1＜thr2
122.其中thr1和thr1为匹配的时间阈值可以分别取值为2和8，单位为秒。
123.三)融合结果上报：按照如下规则对结果进行融合，然后进行上报：
124.1)根据顶装抓拍相机识别的车辆品牌进行判别，如果为客车，则按照品牌对应的规则输出车型为客1，客2，客3和客4；
125.2)如果根据车辆品牌进行判别，识别的为货车，则根据侧面拼接图中检测到的轮子的数目，输出为货1，货2，货3，货4，货5和货6。
126.本发明实施例还提供了一种计算机电子设备，图5示出了可以应用本发明实施例的电子设备的结构示意图，如图5所示，该计算机电子设备包括，中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
127.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
128.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
129.作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述基于etc门架的精准车型识别装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种基于etc门架的精准车型识别方法。
130.以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。