本发明涉及计算机视觉,具体涉及一种车载摄像头下车牌识别与单目视觉的前车判距方法。
背景技术:
1、车距判断对于辅助驾驶有着重要意义,现有技术主要采用毫米波雷达、双目相机对车距进行判断。毫米波雷达虽然能精准地判断车距,但是增加了设备成本,且判断距离有限,如cn116299223a,一种毫米波雷达的标定方法,采用多个毫米波雷达完成车距检测。而双目相机对运算资源要求较高,且判断距离受到双目基线和分辨率限制如cn109116397a,一种车载多相机视觉定位方法、装置、设备及存储介质采用多个双目相机同时进行图像获取。
2、现有的单目深度估计方法存在尺度不一致的问题,不能直接对车距进行判断。为此亟需一种基于单目相机的前车判距方法。
技术实现思路
1、本发明为解决现有单目深度估计方法存在尺度不一致的问题,提供了一种车载摄像头下车牌识别与单目视觉的前车判距方法,检测交通场景中的车辆,通过粗检测和精细化检测判断车牌的实际尺寸,接着在同一尺度下对每个车牌相对车载摄像头的绝对深度值进行测量,进而得到前车距离,检测精度高。
2、为了实现上述目的,本发明提出了一种车载摄像头下车牌识别与单目视觉的前车判距方法,包括以下步骤:
3、步骤1:对车载摄像头进行相机标定,获取车载摄像头的内参,从车载摄像头拍摄的视频流中按帧读取图像;
4、所述车载摄像头的内参包括摄像头的焦距、主点位置和像素尺寸;
5、步骤2:对按帧读取到的所述图像分别进行车牌粗检测,得到车牌粗检测框,并对所述粗检测框内的图像内容进行精细化检测,提取图像中车辆的车牌信息,包括车牌种类信息和车牌轮廓信息;
6、步骤3:根据所述车牌种类信息判断车牌的实际尺寸;
7、步骤4:结合相机的成像原理,根据所述实际尺寸与所述车载摄像头内参推导图像坐标系与空间坐标系映射规律;对每个车牌相对车载摄像头的绝对深度值进行测量;进而得到每个车牌距离车头的最近距离。
8、进一步地,所述步骤2具体包括:
9、创建车牌种类库,包括普通车牌、单层/双层黄牌、小型/大型新能源车牌;
10、根据车牌轮廓的长宽比和车牌颜色,在车牌种类库中选择与目标车牌的长宽比和颜色接近的车牌种类。
11、进一步地,步骤2具体包括:首先对所述图像进行高斯滤波平滑处理,避免噪点和污渍对车牌识别的影响;
12、进而使用sobel算子提取边缘界,得到边缘图像,对边缘图像进行形态运算获取轮廓图像,将轮廓调整为矩形,得到对车牌的粗检测框;
13、记录每个检测框的初始位置、尺寸;
14、将粗检测框内的图片resize为统一尺寸后,输入基于深度学习的车牌检测程序,避免不同距离车牌因成像尺寸的差异带来的检测误差;
15、判断输入图像中是否包括车牌信息,若包括车牌信息,则提取车牌类型、角点位置;
16、根据检测框的初始位置、尺寸,将提取到的车牌角点位置映射到输入图片的图像坐标系下;
17、实现对不同位置、距离车牌的统一识别。
18、进一步地,步骤2所述提取图像中车辆的车牌信息使用包括但不限于颜色阈值分割方法、深度学习方和机器学习方法。
19、进一步地,所述步骤3具体包括:在车牌种类库中储存各种类车牌的实际尺寸信息,在得到所述车牌种类后,直接读取对应的实际尺寸。
20、进一步地,所述步骤4具体包括:根据相机成像原理,使用目标车牌在图像坐标系下的尺寸与真实尺寸之间的关系来测量深度,在图像坐标系中,目标车辆车牌的图像宽度、高度为、设目标车牌实际宽度、高度为w、h,车牌中心距离车载摄像头的距离为z,相机焦距为,像素实际尺寸为相机成像原理如公式(1)表示
21、, (1);
22、车牌中心距离车载摄像头的距离如公式(2)表示;
23、 (2);
24、车牌中心距离车载摄像头的距离与前车距离摄像头的距离近似,前车距离摄像头的距离减去摄像头与本车车头的绝对距离,得到前车距离本车的最近距离。
25、通过上述技术方案,本发明的有益效果为:
26、1.本发明解决了现有单目深度估计方法存在尺度不一致的问题,首先对车载摄像头进行相机标定,获取车载摄像头的内参,从车载摄像头拍摄的视频流中按帧读取图像,接着先对按帧读取到的所述图像分别进行车牌粗检测,得到车牌粗检测框,为了进一步提高车牌检测精度避免不同距离下出现的车牌识别误差,对所述粗检测框内的图像内容进行精细化检测,提取图像中车辆的车牌信息,包括车牌种类信息和车牌轮廓信息,根据所述车牌种类信息判断车牌的实际尺寸,最终结合相机的成像原理,根据所述实际尺寸与所述车载摄像头内参推导图像坐标系与空间坐标系映射规律;对每个车牌相对车载摄像头的绝对深度值进行测量;进而得到每个车牌距离车头的最近距离。
27、2.本发明仅采用单个摄像头即可精确判断前车距离,对采集和计算资源的要求不高,计算速率快,系统结构相对简单,在一定程度上节约了成本。
1.一种车载摄像头下车牌识别与单目视觉的前车判距方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种车载摄像头下车牌识别与单目视觉的前车判距方法,其特征在于,所述步骤2具体包括:
3.根据权利要求1所述的一种车载摄像头下车牌识别与单目视觉的前车判距方法,其特征在于,步骤2具体包括:首先对所述图像进行高斯滤波平滑处理;
4.根据权利要求3所述的一种车载摄像头下车牌识别与单目视觉的前车判距方法,其特征在于,步骤2所述提取图像中车辆的车牌信息使用包括但不限于颜色阈值分割方法、深度学习方和机器学习方法。
5.根据权利要求2所述的一种车载摄像头下车牌识别与单目视觉的前车判距方法,其特征在于,所述步骤3具体包括:在车牌种类库中储存各种类车牌的实际尺寸信息,在得到所述车牌种类后,直接读取对应的实际尺寸。
6.根据权利要求3所述的一种车载摄像头下车牌识别与单目视觉的前车判距方法,其特征在于,所述步骤4具体包括:根据相机成像原理,使用目标车牌在图像坐标系下的尺寸与真实尺寸之间的关系来测量深度,在图像坐标系中,目标车辆车牌的图像宽度、高度为、设目标车牌实际宽度、高度为w、h,车牌中心距离车载摄像头的距离为z,相机焦距为,像素实际尺寸为相机成像原理如公式(1)表示