停车场车辆定位系统及方法

1.本发明涉及车辆定位技术领域，具体地，涉及一种停车场车辆定位系统及方法。


背景技术：

2.随着我国经济水平和人们生活水平的提高，汽车拥有量也逐渐增多，交通效率低下已成为制约人们生活乃至发展的严重问题。停车场是生活中很常见的环境，其规模也在不断地扩大，驾驶员和乘客正面临着停车难、找车难的问题。自主代客泊车系统有望解决这一问题，停车场的车辆定位是该系统的关键环节。
3.在室内停车场的环境中，由于建筑墙体遮挡，无法接收到gnss(global navigation satellite system，全球导航卫星系统)信号，不能采用gnss定位方案。当前实现地下停车场定位的方法主要有uwb(ultra wideband，超宽带)定位系统、磁钉定位系统、激光雷达定位和视觉定位系统系统。
4.但是，uwb定位系统依靠无线设备，它需要部署大量的基站设备，成本昂贵。磁钉定位系统虽然可以确保准确性，但是容易损坏，维护成本高。激光雷达定位系统虽然相对精确稳定，但是需要车辆配备昂贵的激光雷达设备，难以量产。单目、双目视觉定位系统，对光线敏感，停车场光线不易控制，难以保证稳定性。
5.经过检索发现：
6.授权公告号为cn109035841b的中国发明专利《停车场车辆定位系统及方法》，包括：安装支架、传感器模块、供电模块、主控计算机；其中：所述安装支架，用于将所述传感器模块、供电模块、主控计算机安装于车辆顶部；所述供电模块，用于向所述传感器模块、主控计算机提供电能；所述传感器模块，用于获取停车场的rgb信息和深度信息；所述主控计算机，用于对所述rgb信息和深度信息进行分析处理后，结合停车场离线地图来获得车辆的定位信息。本发明可实现在无gnss的停车场环境下提供高精度实时定位的目的，成本低，操作简单，易于安装。但是该方法仍然存在如下问题：
7.该方法在车辆上安装rgbd传感器，通过建图与定位技术实现定位。但是需要对车辆进行改造，难以大规模的推广和部署。
8.目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。


技术实现要素：

9.本发明针对现有技术中存在的上述不足，提供了一种停车场车辆定位系统及方法。
10.根据本发明的一个方面，提供了一种停车场车辆定位系统，其特征在于，包括：安装支架、传感器模块、无线传输模块、供电模块以及主控计算机；其中：
11.所述安装支架，用于将所述传感器模块、无线传输模块、供电模块和主控计算机安装于停车场顶棚；
12.所述供电模块，用于向所述传感器模块、无线传输模块和主控计算机提供电能；
13.所述传感器模块，采用rgb
‑
d相机，用于获取停车场中目标车辆的rgb图像信息和深度图像信息；
14.所述主控计算机，用于对所述rgb图像信息和深度图像信息进行分析处理，获得目标车辆的位姿信息和车牌信息；其中，所述主控计算机模，包括：
15.图像预处模块，该模块根据rgb
‑
d相机标定参数，对所述rgb图像和深度图像进行对齐；根据预处理算法，对对齐后的所述rgb图像和深度图像进行处理，获得当前环境预处理后的rgb图像和深度图像；
16.车牌识别模块，该模块根据车牌识别算法，从预处理后的所述rgb图像中识别目标车辆的车牌信息；
17.目标检测模块，该模块根据目标检测算法，从预处理后的所述rgb图像中检测出目标车辆的包围框；
18.目标定位模块，该模块根据目标定位算法，结合所述包围框和预处理后的所述深度图像，获得目标车辆连续的位姿信息；其中，所述目标定位模块，包括：
19.数据转换单元，该单元根据所述包围框和预处理后的所述深度图像，结合所述rgb
‑
d相机标定参数，获得目标车辆的当前点云数据；
20.初始位姿获取单元，该单元仅在目标车辆第一次被所述目标检测算法检测到时执行；该单元根据粗匹配算法和精匹配算法对所述目标车辆的当前帧点云数据和目标车辆的完整点云数据进行匹配，获得目标车辆的初始位姿，并根据所述rgb
‑
d相机标定参数，将所述初始位姿从图像坐标系转换到世界坐标系；
21.目标跟踪单元，该单元对目标车辆进行前一帧点云数据和当前帧点云数据关联，以获得目标车辆连续的位姿信息；
22.所述无线传输模块，用于向目标车辆发送位姿和车牌信息。
23.优选地，所述安装支架为可装卸机构，并能够根据停车场的部署范围进行调整。
24.优选地，所述传感器模块包括至少一个rgb
‑
d相机，其中，所述rgb
‑
d相机安装于停车场道路和停车位区域的停车场顶棚位置，并朝向停车场的地面。
25.优选地，所述rgb
‑
d相机的镜头方向与地面的夹角根据停车场顶棚的实际高度进行调整，实现采集目标车辆的rgb图像和深度图像；和/或
26.所述rgb
‑
d相机能够主动获取深度图像信息(包括所有的深度图像信息)。
27.优选地，所述rgb
‑
d相机标定参数，根据张正友标定算法获得。
28.优选地，所述预处理算法，包括rgb图像预处理算法和深度图像预处理算法；其中：
29.所述rgb图像预处理算法用于对rgb图像进行亮度均衡；
30.所述深度图像预处理算法用于对深度图像进行外点去除。
31.优选地，所述目标检测算法，包括：
32.构建用于目标检测的深度神经网络；
33.对所述深度神经网络进行训练；
34.利用训练后的所述深度神经网络从预处理后的所述rgb图像中检测出目标车辆的包围框。
35.优选地，所述包围框，包括：目标车辆在rgb图像中的中心点和四个角点的位置。
36.优选地，所述粗匹配算法，采用快速点特征直方图算法分别提取目标车辆的当前帧点云数据和完整点云数据的点云特征点，并采用随机抽样一致算法对当前帧点云特征点和完整点云特征点进行匹配，计算目标车辆的粗匹配结果。
37.优选地，所述精匹配算法，结合所述粗匹配结果，采用迭代最近点算法，通过不断迭代最小化目标车辆的当前帧点云数据和完整点云数据的对应点，来获得目标车辆的初始位姿。
38.优选地，所述对目标车辆进行前一帧点云数据和当前帧点云数据关联，包括：根据前一帧点云数据的位姿，采用迭代最近点算法匹配当前帧点云数据和前一帧点云数据，获得当前帧点云数据的位姿，实现当前帧点云和前一帧点云的数据关联。
39.根据本发明的另一个方面，提供了一种停车场车辆定位方法，包括：
40.获取停车场中目标车辆的rgb图像信息和深度图像信息；
41.根据获取图像信息的传感器的标定参数，对所述rgb图像和深度图像进行对齐；
42.根据预处理算法，对对齐后的所述rgb图像和深度图像进行处理，获得当前环境预处理后的rgb图像和深度图像；
43.根据车牌识别算法，从预处理后的所述rgb图像中识别目标车辆的车牌信息；
44.根据目标检测算法，从预处理后的所述rgb图像中检测出目标车辆的包围框；
45.根据目标定位算法，结合所述包围框和预处理后的所述深度图像，获得目标车辆连续的位姿信息；其中，所述目标定位算法，包括：
46.数据转换步骤，用于根据所述包围框和预处理后的所述深度图像，结合所述rgb
‑
d相机标定参数，获得目标车辆的当前点云数据；
47.初始位姿获取步骤，仅在目标车辆第一次被所述目标检测算法检测到时执行，用于根据粗匹配算法和精匹配算法对所述目标车辆的当前帧点云数据和目标车辆的完整点云数据进行匹配，获得目标车辆的初始位姿，并根据所述rgb
‑
d相机标定参数，将所述初始位姿从图像坐标系转换到世界坐标系；
48.目标跟踪步骤，用于对目标车辆进行前一帧点云数据和当前帧点云数据关联，以获得目标车辆连续的位姿信息；
49.至此，获得目标车辆发送位姿和车牌信息，完成对停车场中目标车辆的定位。
50.由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
51.本发明提供的停车场车辆定位系统及方法，充分利用停车场中目标车辆的rgb图像信息和深度图像信息，以及室内停车场顶棚与地面车辆的距离在rgb
‑
d相机的探测范围之内的优势，选用rgb
‑
d相机作为传感器，更适合地下停车场的应用环境，鲁棒性更强，可实现在无gnss的环境下提供高精度的实时定位结果。
52.本发明提供的停车场车辆定位系统及方法，相对现有的定位技术，在保证精度的情况下，同时具有成本低、操作简单、易于安装等优点。
53.本发明提供的停车场车辆定位系统及方法，将rgbd传感器固定于停车场，通过目标检测与跟踪技术实现目标车辆的定位，无需车端改造，适用于更多的车辆类型，易于推广和部署。
附图说明
54.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
55.图1为本发明一实施例提供的停车场车辆定位系统的结构示意图；
56.图2为本发明一优选实施例中停车场车辆定位系统各组成部分的工作关系示意图。
57.图3为本发明一实施例提供的停车场车辆定位方法的工作流程图。
58.图中：
[0059]1‑
安装支架
[0060]2‑
传感器模块；
[0061]3‑
单个传感器模块的覆盖范围；
[0062]4‑
无线传输模块；
[0063]5‑
主控计算机；
[0064]6‑
供电模块
[0065]7‑
目标车辆；
[0066]8‑
停车位。
具体实施方式
[0067]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0068]
图1为本发明一实施例提供的停车场车辆定位系统结构示意图。
[0069]
如图1所示，该实施例提供的停车场车辆定位系统，可以包括：安装支架、传感器模块、无线传输模块、供电模块以及主控计算机；其中：
[0070]
安装支架，用于将传感器模块、无线传输模块、供电模块和主控计算机安装于停车场顶棚；
[0071]
供电模块，用于向传感器模块、无线传输模块和主控计算机提供电能；
[0072]
传感器模块，可以采用rgb
‑
d相机，用于获取停车场中目标车辆的rgb图像信息和深度图像信息；
[0073]
主控计算机，用于对rgb图像信息和深度图像信息进行分析处理，获得目标车辆的位姿信息和车牌信息；其中，主控计算机，可以包括如下模块：
[0074]
图像预处模块，该模块根据rgb
‑
d相机标定参数，对rgb图像和深度图像进行对齐；根据预处理算法，对对齐后的rgb图像和深度图像进行处理，获得当前环境预处理后的rgb图像和深度图像；
[0075]
车牌识别模块，该模块根据车牌识别算法，从预处理后的rgb图像中识别目标车辆的车牌信息；
[0076]
目标检测模块，该模块根据目标检测算法，从预处理后的rgb图像中检测出目标车辆的包围框；
[0077]
目标定位模块，该模块根据目标定位算法，结合包围框和预处理后的深度图像，获得目标车辆连续的位姿信息；其中，目标定位模块，可以包括如下单元：
[0078]
数据转换单元，该单元根据包围框和预处理后的深度图像，结合rgb
‑
d相机标定参数，获得目标车辆的当前点云数据；
[0079]
初始位姿获取单元，该单元仅在目标车辆第一次被目标检测算法检测到时执行；该单元根据粗匹配算法和精匹配算法对目标车辆的当前帧点云数据和目标车辆的完整点云数据进行匹配，获得目标车辆的初始位姿，并根据rgb
‑
d相机标定参数，将初始位姿从图像坐标系转换到世界坐标系；
[0080]
目标跟踪单元，该单元对目标车辆进行前一帧点云数据和当前帧点云数据关联，以获得目标车辆连续的位姿信息；
[0081]
无线传输模块，用于向目标车辆发送位姿和车牌信息。
[0082]
在该实施例中，作为一优选实施例，安装支架为可装卸机构，并可以根据停车场的部署范围进行调整。
[0083]
在该实施例中，作为一优选实施例，传感器模块包括至少一个rgb
‑
d相机，其中，rgb
‑
d相机可以安装于停车场道路和停车位区域的停车场顶棚位置，并朝向停车场的地面。
[0084]
在该实施例中，作为一优选实施例，rgb
‑
d相机的镜头方向与地面的夹角可以根据停车场顶棚的实际高度进行调整，实现采集目标车辆的rgb图像和深度图像。
[0085]
在该实施例中，作为一优选实施例，rgb
‑
d相机可以主动获取所有的深度图像信息。
[0086]
在该实施例中，作为一优选实施例，rgb
‑
d相机标定参数，可以根据张正友标定算法获得。
[0087]
在该实施例中，作为一优选实施例，预处理算法，可以包括rgb图像预处理算法和深度图像预处理算法；其中：
[0088]
rgb图像预处理算法用于对rgb图像进行亮度均衡；
[0089]
深度图像预处理算法用于对深度图像进行外点去除。
[0090]
在该实施例中，作为一优选实施例，目标检测算法，可以包括如下步骤：
[0091]
构建用于目标检测的深度神经网络；
[0092]
对深度神经网络进行训练；
[0093]
利用训练后的深度神经网络从预处理后的rgb图像中检测出目标车辆的包围框。
[0094]
在该实施例中，作为一优选实施例，该包围框，可以包括：目标车辆在rgb图像中的中心点和四个角点的位置。
[0095]
在该实施例中，作为一优选实施例，粗匹配算法，可以采用快速点特征直方图算法分别提取目标车辆的当前帧点云数据和完整点云数据的点云特征点，并采用随机抽样一致算法对当前帧点云特征点和完整点云特征点进行匹配，计算目标车辆的粗匹配结果。
[0096]
在该实施例中，作为一优选实施例，精匹配算法，可以结合所述粗匹配结果，采用迭代最近点算法，通过不断迭代最小化目标车辆的当前帧点云数据和完整点云数据的对应点，来获得目标车辆的初始位姿。
[0097]
在该实施例中，作为一优选实施例，对目标车辆进行前一帧点云数据和当前帧点云数据关联，可以包括：根据前一帧点云数据的位姿，采用迭代最近点算法匹配当前帧点云
数据和前一帧点云数据，获得当前帧点云数据的位姿，实现当前帧点云和前一帧点云的数据关联。
[0098]
下面结合附图，对本发明上述实施例提供的停车场车辆定位系统的优选实施例进一步详细描述如下。
[0099]
如图1所示和图2所示，本发明上述实施例提供的停车场车辆定位系统，可以包括：安装支架1、传感器模块2、无线传输模块4、主控计算机5、供电模块6，该系统可以对停车场中的目标车辆7提供定位信息，辅助目标车辆泊如停车场8，其中：
[0100]
安装支架1，安装于停车场的顶棚，用于固定传感器模块2、无线传输模块4、主控计算机5、供电模块6。进一步地，安装支架为可装卸机构，可以根据停车场的部署范围进行调整。
[0101]
传感器模块2，选用精度较高而且成本低廉的azure kinect rgb
‑
d相机，可以同时获得rgb(red green blue，红绿蓝)图像和深度图像，单个传感器的覆盖范围3如图1所示。进一步地，传感器模块包括至少1个rgb
‑
d(red green blue
‑
depth，红绿蓝
‑
深度)相机，本实施例选用10个rgb
‑
d相机，rgb
‑
d相机的具体数量根据停车场的范围进行选择。rgb
‑
d相机安装于停车场顶棚，朝向停车场的地面；其中，rgb
‑
d相机的镜头方向与地面的夹角根据停车场顶棚的实际高度进行调整，用于采集目标车辆7的rgb图像和深度图像。
[0102]
主控计算机4，通过数据线与传感器模块连接，获得rgb图像和深度图像；图像预处理模块，用张正友标定法获得相机标定参数，对rgb图像和深度图像进行对齐；根据预处理算法，对传感器模块采集的rgb图像、深度图像进行处理，获得当前环境预处理后的rgb图像和深度图像；车牌识别模块，根据车牌识别算法，从rgb图像中识别目标车辆7的车牌号；目标检测模块，根据目标检测算法，从rgb图像中检测出目标车辆7的包围框；目标定位模块，根据目标定位算法，结合包围框和预处理后的深度图像，获得目标车辆连续的位姿信息，其中，目标检测算法，由深度神经网络进行训练；根据目标定位算法，结合rgb图像中检测到的目标车辆7的包围框和深度图像，获得目标车辆7连续的位姿。
[0103]
具体地，目标定位模块，包含数据转换、初始位姿获取和目标跟踪三个功能单元，其中：数据转换单元，用于根据rgb图像中检测到的目标车辆的包围框和深度图像，结合rgb
‑
d相机标定参数，获得目标车辆的当前点云数据；初始位姿获取单元，用于根据粗匹配算法、精匹配算法对目标车辆的当前帧点云数据和目标车辆的完整点云数据进行匹配，获得目标车辆的初始位姿，并根据rgb
‑
d相机标定参数，将初始位姿从图像坐标系转换到世界坐标系；目标跟踪单元，用于对目标车辆进行前一帧点云数据和当前帧点云数据关联，以获得目标车辆连续的位姿。
[0104]
无线传输模块4，通过网线与主控计算机连接，并通过无线网络向目标车辆发送位姿和车牌信息。
[0105]
供电模块6，用于向传感器模块2、无线传输模块4、主控计算机5提供电能。
[0106]
作为一优选实施例，rgb
‑
d相机可以主动获取环境的深度信息。
[0107]
作为一优选实施例，安装支架为可装卸机构，可以根据停车场的部署范围进行调整。
[0108]
作为一优选实施例，主控计算机，具体用于：
[0109]
根据rgb
‑
d相机标定参数，对rgb图像和深度图像进行对齐；
[0110]
根据预处理算法，对传感器模块采集的rgb图像、深度图像进行处理，获得当前环境预处理后的rgb图像和深度图像；
[0111]
根据车牌识别算法，从rgb图像中识别目标车辆的车牌号；
[0112]
根据目标检测算法，从rgb图像中检测出目标车辆的包围框；目标检测算法，由深度神经网络进行训练；
[0113]
根据目标定位算法，结合rgb图像中检测到的目标车辆的包围框和深度图像，获得目标车辆连续的位姿。
[0114]
作为一优选实施例，rgb
‑
d相机标定参数，根据张正友标定算法获得。
[0115]
作为一优选实施例，预处理算法，包括rgb图像预处理算法和深度图像预处理算法；其中，rgb图像预处理算法用于亮度均衡；深度图预处理算法用于外点去除。
[0116]
作为一优选实施例，包围框，包括目标车辆在rgb图像中的中心点、四个角点的位置。
[0117]
作为一优选实施例，目标定位模块，包括：数据转换、初始位姿获取、目标跟踪三个功能，其中：
[0118]
数据转换功能，用于根据rgb图像中检测到的目标车辆的包围框和深度图像，结合rgb
‑
d相机标定参数，获得目标车辆的当前点云数据；
[0119]
初始位姿获取功能，用于根据粗匹配算法、精匹配算法对目标车辆的当前帧点云数据和目标车辆的完整点云数据进行匹配，获得目标车辆的初始位姿，并根据rgb
‑
d相机标定参数，将初始位姿从图像坐标系转换到世界坐标系；粗匹配算法，用fpfh(快速点特征直方图)提取点云特征点，并用ransac(随机抽样一致算法)计算位姿；精匹配算法，使用icp(迭代最近点算法)匹配迭代计算位姿；初始位姿获取步骤，仅在目标车辆第一次被目标检测算法检测到时执行；
[0120]
目标跟踪功能，用于对目标车辆进行前一帧点云数据和当前帧点云数据关联，以获得目标车辆连续的位姿；数据关联算法，结合根据目标车辆前一帧位姿和icp匹配获得当前帧的位姿。
[0121]
如图2所示，该停车场车辆定位系统的工作原理(工作过程)如下：
[0122]
步骤1：获取传感器模块的标定参数；
[0123]
步骤2：传感器模块获取停车场的rgb图像和深度图像；
[0124]
步骤3：主控计算机检测目标车辆、识别目标车辆的车牌号；
[0125]
步骤4：主控计算机获取目标车辆的初始位姿，如已获取目标车辆的初始位姿，则跳过该步骤；
[0126]
步骤5：主控计算机对目标车辆进行前一帧点云数据和当前帧点云数据关联，并获得目标车辆连续的位姿；
[0127]
步骤6：无线传输模块向目标车辆发送位姿和车牌号信息。
[0128]
步骤7：重复步骤2到步骤6，直到关闭定位装置，直到关闭定位装置，实现停车场内车辆的实时定位。
[0129]
图3为本发明一实施例体提供的停车场车辆定位方法的工作流程图。
[0130]
如图3所示，该实施例提供的停车场车辆定位方法可以包括如下步骤：
[0131]
s100，获取停车场中目标车辆的rgb图像信息和深度图像信息；
[0132]
s200，根据获取图像信息的传感器的标定参数，对rgb图像和深度图像进行对齐；
[0133]
s300，根据预处理算法，对对齐后的rgb图像和深度图像进行处理，获得当前环境预处理后的rgb图像和深度图像；
[0134]
s400，根据车牌识别算法，从预处理后的rgb图像中识别目标车辆的车牌信息；
[0135]
s500，根据目标检测算法，从预处理后的rgb图像中检测出目标车辆的包围框；
[0136]
s600，根据目标定位算法，结合包围框和预处理后的深度图像，获得目标车辆连续的位姿信息；其中，目标定位算法，可以包括如下步骤：
[0137]
s601，数据转换步骤，用于根据包围框和预处理后的深度图像，结合rgb
‑
d相机标定参数，获得目标车辆的当前点云数据；
[0138]
s602，初始位姿获取步骤，仅在目标车辆第一次被目标检测算法检测到时执行，用于根据粗匹配算法和精匹配算法对目标车辆的当前帧点云数据和目标车辆的完整点云数据进行匹配，获得目标车辆的初始位姿，并根据rgb
‑
d相机标定参数，将初始位姿从图像坐标系转换到世界坐标系；
[0139]
s603，目标跟踪步骤，用于对目标车辆进行前一帧点云数据和当前帧点云数据关联，以获得目标车辆连续的位姿信息；
[0140]
s700，至此，获得目标车辆发送位姿和车牌信息，完成对停车场中目标车辆的定位。
[0141]
该实施例提供的停车场车辆定位方法，可以应用本发明上述实施例中任一项所述的停车场车辆定位系统实现，最终通过无线传输模块向目标车辆发送位姿和车牌号信息。
[0142]
也就是说，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。
[0143]
本发明上述实施例提供的停车场车辆定位系统及方法，充分利用停车场中目标车辆的rgb信息和深度信息，以及室内停车场顶棚与地面车辆的距离在rgb
‑
d相机的探测范围之内的优势，选用rgb
‑
d相机作为传感器，更适合地下停车场的应用环境，鲁棒性更强，可实现在无gnss的环境下提供高精度的实时定位结果。而且，在保证精度的情况下，成本低，操作简单，易于安装。
[0144]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0145]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。