基于UWB/IMU和视觉信息融合的智能泊车定位系统及方法

基于uwb/imu和视觉信息融合的智能泊车定位系统及方法
技术领域
1.本发明涉及车辆智能泊车定位技术领域，尤其是涉及一种基于uwb/imu和视觉信息融合的智能泊车定位系统及方法。


背景技术：

2.随着科技的持续发展以及汽车保有量的持续性增加，汽车的智能化也得到进一步的发展，其中各车厂针对车辆的泊车功能也进行了相应的智能化升级。由于智能泊车作为自动驾驶中“最后一公里”的重要一环，会优先实现商业化落地，智能泊车系统成为各车企研发的重要方向。
3.目前市场方案大部分主要依靠纯车端实现，如通过车载激光雷达对周围环境感知构建三维地图及车载视觉进行扫视环境获取信息以达到泊车目的。但是，由于激光雷达存在范围短板，同时价格较高，无法市场化推广，而纯视觉受环境干扰明显，同时在陌生停车场需要学习方能泊车，上述原因致使智能汽车在停车场的智能泊车商业化落地无法得到很好的推广与实现。
4.同时，由于汽车保有量不断增加，车位缺口不断增大，各大城市密集区域均面临停车难问题，驾驶员在高峰时段无法实现“三分钟快乐停车”，即使带有泊车的智能车辆也需要驾驶员给予相应的操作。
5.综上，需要对现有的泊车方案进行改进以克服纯车端智能泊车的短板。


技术实现要素：

6.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于uwb/imu和视觉信息融合的智能泊车定位系统及方法。
7.本发明的目的可以通过以下技术方案来实现：
8.一种基于uwb/imu和视觉信息融合的智能泊车定位系统，用于停车场的车辆定位，包括中央控制模块、uwb/imu模块、摄像机单元、信号传输与处理模块、计算与定位显示模块、车辆轨迹分析模块和数据融合模块，所述中央控制模块包括车辆信息量化单元、摄像机机构阈值单元、环境误差神经网络学习模型、路径引导单元和车位引导单元；
9.所述摄像机单元包括多个摄像机，用于获取停车场当前图像信息并实时跟踪目标车辆及车辆所处场景，得到运动方程，确定目标车辆的车辆位置信息，所述停车场当前图像信息包括车辆图像信息、障碍物图像信息及周围车位和车道线图像信息；
10.所述车辆信息量化单元用于将摄像机单元采集的图像信息量化为车辆信息，确定摄像机单元采集的当前场景下的车辆数量，并标定目标车辆；
11.所述摄像机机构阈值单元用于根据当前场景下的车辆数量确定摄像机单元的偏转角度阈值并控制摄像机单元执行；
12.所述车辆轨迹分析模块用于根据连续时刻的车辆图像信息获取目标车辆的轨迹信息，并传输到中央控制模块，供环境误差神经网络学习模型学习；
13.所述uwb/imu模块用于获取目标车辆与uwb基站之间的距离以及车辆的运动信息，从而获取目标车辆在停车场全域所处虚拟坐标信息及惯性前进方向；
14.所述环境误差神经网络学习模型中以卷积神经网络建立环境误差感知深度学习模型，提取环境因素导致定位偏差的误差因子，帮助uwb/imu模块及摄像机单元纠正定位精度；
15.所述信号传输与处理模块用于传输uwb/imu模块和摄像机单元的数据至中央控制模块；
16.所述计算与定位显示模块用于根据uwb/imu模块和摄像机单元的数据进行坐标计算及视觉位置可视化跟踪显示；
17.所述数据融合模块用于融合uwb/imu模块的虚拟坐标信息和摄像机单元的目标车辆的车辆位置信息得到实时精确位置信息，并将融合结果传输到中央控制模块；
18.所述路径引导单元用于根据停车场当前图像信息筛选出通行车辆最少的车道信息；
19.所述车位引导单元用于根据停车场当前图像信息筛选出空车位。
20.优选地，所述环境误差神经网络学习模型中以卷积神经网络建立环境误差感知深度学习模型，提取环境因素导致定位偏差的误差因子，并逐层组合抽象生成高层特征，用来帮助uwb/imu模块纠正定位精度；所述提取环境因素导致定位偏差的误差因子方式包括：
21.第n个固定uwb基站坐标un＝(xn,yn,zn)为已知坐标；待定位的车辆在t时刻的位置记为n
t
＝(x
t
,y
t
,z
t
)；t时刻uwb基站到目标车辆的距离为：
[0022][0023]
其中为此时误差因子；
[0024]
将不同时刻误差因子代入用以环境误差神经网络模型学习；其中是高层特征量；为权和系数，其中v为目标车辆行驶速度；t
i+1
、ti对应目标车辆行进过程中某一时刻及后一时间帧记录的时间，(t
i+1-ti)为行进的时间差；θi为此时刻车辆轮转角度。
[0025]
优选地，所述车辆信息量化单元用于将摄像机单元采集的图像信息量化为车辆信息，确定摄像机单元采集的当前场景下的车辆数量，并标定目标车辆，具体为：
[0026]
车辆信息量化单元获取车辆图像信息，将图像信息量化成像素点所对应车辆的车型、颜色及车牌号，按顺序生成唯一字符串码存储，并为每台车辆生成车辆数字id；车辆信息量化单元获取目标车辆当前时间帧车身图像，对车身图像进行局部图像处理，得到车身、颜色及车牌所对应的离散像素点，再转换成离散的数量值，生成对应时间内的唯一车辆数字id，为目标车辆进行身份标定。
[0027]
优选地，所述摄像机机构阈值单元用于根据当前场景下的车辆数量确定摄像机单元的偏转角度阈值并控制摄像机单元执行，具体为：
[0028]
第i台高精度摄像机与停车场空间坐标(x,y,z)对应的方位角为(αi,βi,γi)，(x,y,z)对应的是第i台高精度摄像机在停车场中所处的空间坐标位置，并根据此方位角采集
到视角范围内目标车辆数为nk，构建状态矩阵方程：
[0029][0030]
其中，摄像机解析算力为r
χ
,ξ为摄像机构设定阈值，当ξ≤nk时，摄像机机构阈值单元发送偏转指令到摄像机，实现摄像机角度偏转。
[0031]
优选地，所述uwb/imu模块用于获取目标车辆与uwb基站之间的距离以及车辆的运动信息，从而获取目标车辆在停车场全域所处虚拟坐标信息及惯性前进方向，具体为：
[0032]
uwb/imu模块获取目标车辆与基站之间的距离：获取各个uwb基站在停车场内空间坐标，获取各个uwb基站与目标车辆之间通过脉冲信号传递的时间，计算各个基站与目标车辆之间的距离，从而可以计算得到目标车辆在停车场内虚拟坐标信息：
[0033][0034]
其中，m和n用于标识不同的基站，l
m,n
表示uwb基站m和n之间的距离，t为脉冲传输时间；c为光速；(x,y,z)为目标车辆在停车场内虚拟坐标；
[0035]
uwb/imu模块获取车辆的运动信息：通过imu惯性模块获取加速度计数据e(ε)与陀螺仪数据e(σ)，从而获得目标车辆的惯性行进方向。
[0036]
优选地，所述数据融合模块用于融合uwb/imu模块的虚拟坐标信息和摄像机单元的目标车辆的车辆位置信息，并将融合结果传输到中央控制模块，具体为：
[0037]
建立融合目标定位优化函数：
[0038][0039]gi
＝f(x
i-1
,ui,wi)
[0040]hi,j
＝h(yj,xi,v
i,j
)
[0041]
其中，e(ε)与e(σ)为mu惯性模块测得的加速度计数据和陀螺仪数据，为uwb定位处理后坐标数据，t为观测目标车辆时间帧，wi为车辆响应速率，gi为摄像机单元跟踪目标车辆得到的运动方程，h
i,j
为车辆轨迹分析模块确定的轨迹预测方程，ui、v
i,j
为观测噪声，xi为目标车辆位置，yj为车位的坐标；
[0042]
当目标定位优化函数求解最小点时为最终优化后车辆的实时精确位置信息。
[0043]
一种基于uwb/imu和视觉信息融合的智能泊车定位方法，基于上述的基于uwb/imu和视觉信息融合的智能泊车定位系统，包括以下步骤：
[0044]
s1、通过摄像机单元获取停车场当前图像信息并实时跟踪目标车辆及车辆所处场景，得到运动方程，确定目标车辆的车辆位置信息，所述停车场当前图像信息包括车辆图像信息、障碍物图像信息及周围车位和车道线图像信息；
[0045]
s2、通过车辆信息量化单元将摄像机单元采集的图像信息量化为车辆信息，确定摄像机单元采集的当前场景下的车辆数量，并标定目标车辆；
[0046]
s3、根据当前场景下的车辆数量，通过摄像机机构阈值单元确定摄像机单元的偏转角度阈值并控制摄像机单元执行；
[0047]
s4、uwb/imu模块获取目标车辆与uwb基站之间的距离以及车辆的运动信息，从而
获取目标车辆在停车场全域所处虚拟坐标信息及惯性前进方向；
[0048]
s5、车辆轨迹分析模块根据连续时刻的车辆图像信息获取目标车辆的轨迹信息，并传输到中央控制模块，供环境误差神经网络学习模型学习；
[0049]
s6、环境误差神经网络学习模型中以卷积神经网络建立环境误差感知深度学习模型，提取环境因素导致定位偏差的误差因子，帮助uwb/imu模块及摄像机单元纠正定位精度；
[0050]
s7、信号传输与处理模块将uwb/imu模块和摄像机单元的数据传输至中央控制模块；
[0051]
s8、计算与定位显示模块根据uwb/imu模块和摄像机单元的数据进行坐标计算及视觉位置可视化跟踪显示；
[0052]
s9、数据融合模块融合uwb/imu模块的虚拟坐标信息和摄像机单元的目标车辆的车辆位置信息得到车辆的实时精确位置信息，并将融合结果传输到中央控制模块；
[0053]
s10、路径引导单元根据停车场当前图像信息筛选出通行车辆最少的车道信息，车位引导单元根据停车场当前图像信息筛选出空车位，中央控制模块根据车辆的实时精确位置信息以及车道信息和空车位的坐标引导目标车辆泊车。
[0054]
优选地，步骤s6中，所述提取环境因素导致定位偏差的误差因子方式包括：
[0055]
第n个固定uwb基站坐标un＝(xn,yn,zn)为已知坐标；待定位的车辆在t时刻的位置记为n
t
＝(x
t
,y
t
,z
t
)；t时刻uwb基站到目标车辆的距离为：
[0056][0057]
其中为此时误差因子：
[0058]
将不同时刻误差因子代入用以环境误差神经网络模型学习；其中是高层特征量；为权和系数，其中v为目标车辆行驶速度；t
i+1
、ti对应目标车辆行进过程中某一时刻及后一时间帧记录的时间，(t
i+1-ti)为行进的时间差；θi为此时刻车辆轮转角度。
[0059]
优选地，步骤s2具体为：
[0060]
车辆信息量化单元获取车辆图像信息，将图像信息量化成像素点所对应车辆的车型、颜色及车牌号，按顺序生成唯一字符串码存储，并为每台车辆生成车辆数字id；车辆信息量化单元获取目标车辆当前时间帧车身图像，对车身图像进行局部图像处理，得到车身、颜色及车牌所对应的离散像素点，再转换成离散的数量值，生成对应时间内的唯一车辆数字id，为目标车辆进行身份标定。
[0061]
优选地，步骤s3具体为：
[0062]
第i台高精度摄像机与停车场空间坐标(x,y,z)对应的方位角为(αi,βi,γi)，(x,y,z)对应的是第i台高精度摄像机在停车场中所处的空间坐标位置，并根据此方位角采集到视角范围内目标车辆数为nk，构建状态矩阵方程：
[0063][0064]
其中，摄像机解析算力为r
χ
,ξ为摄像机构设定阈值，当ξ≤nk时，摄像机机构阈值单元发送偏转指令到摄像机，实现摄像机角度偏转。
[0065]
优选地，步骤s4具体为：
[0066]
uwb/imu模块获取目标车辆与基站之间的距离：获取各个uwb基站在停车场内空间坐标，获取各个uwb基站与目标车辆之间通过脉冲信号传递的时间，计算各个基站与目标车辆之间的距离，从而可以计算得到目标车辆在停车场内虚拟坐标信息：
[0067][0068]
其中，m和n用于标识不同的基站，l
m,n
表示uwb基站m和n之间的距离，t为脉冲传输时间；c为光速；(x,y,z)为目标车辆在停车场内虚拟坐标；
[0069]
uwb/imu模块获取车辆的运动信息：通过imu惯性模块获取加速度计数据e(ε)与陀螺仪数据e(σ)，从而获得目标车辆的惯性行进方向。
[0070]
优选地，步骤s9具体为：
[0071]
建立融合目标定位优化函数：
[0072][0073]gi
＝f(x
i-1
,ui,wi)
[0074]hi,j
＝h(yj,xi,v
i,j
)
[0075]
其中，e(ε)与e(σ)为mu惯性模块测得的加速度计数据和陀螺仪数据，为uwb定位处理后坐标数据，t为观测目标车辆时间帧，wi为车辆响应速率，gi为摄像机单元跟踪目标车辆得到的运动方程，h
i,j
为车辆轨迹分析模块确定的轨迹预测方程，ui、v
i,j
为观测噪声，xi为目标车辆位置，yj为车位的坐标；
[0076]
当目标定位优化函数求解最小点时为最终优化后车辆的实时精确位置信息。
[0077]
与现有技术相比，本发明具有以下有益效果：
[0078]
(1)在智能泊车过程中通过停车场端设备辅助，实现双模型融合定位，解决车辆在陌生停车环境中能够实时高精度位置跟踪，通过停车场与车辆协同配合实现智能泊车过程。
[0079]
(2)设计了环境误差神经网络学习模型，以卷积神经网络建立环境误差感知深度学习模型，提取环境因素导致定位偏差的误差因子，并逐层组合抽象生成高层特征，能够去除误差因子，提高目标车辆定位精度。
[0080]
(3)摄像机机构阈值单元根据当前场景下的车辆数量确定摄像机偏转角度，目的是使得停车场摄像机构动态监控停车场内每一辆行进车辆，且每台摄像机不会监控过多车辆，以免算力不足，无法跟踪目标车辆。
附图说明
[0081]
图1为智能泊车定位系统的结构示意图；
[0082]
图2为中央控制模块的结构示意图；
[0083]
图3为智能泊车定位方法的流程图；
[0084]
图4为智能泊车定位系统的使用场景示意图；
[0085]
图5为本发明实施例中一种基于uwb/imu和视觉信息融合的智能泊车方法流程图；
[0086]
图6为本发明实施例中去除环境误差因子融合定位的方法流程图；
[0087]
图7为本发明实施例中定位信息融合发送的方法流程图；
[0088]
附图标记：1、中央控制模块，2、uwb/imu模块，3、摄像机单元，4、信号传输与处理模块，5、计算与定位显示模块，6、车辆轨迹分析模块，7、数据融合模块，11、车辆信息量化单元，12、摄像机机构阈值单元，13、环境误差神经网络学习模型，14、路径引导单元，15、车位引导单元。
具体实施方式
[0089]
为了进一步理解本发明，下面结合附图和具体实施例对本发明进行详细说明。实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程。应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
[0090]
此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0091]
实施例1：
[0092]
一种基于uwb/imu和视觉信息融合的智能泊车定位系统，用于停车场的车辆定位，如图1所示，包括中央控制模块、uwb/imu模块、摄像机单元、信号传输与处理模块、计算与定位显示模块、车辆轨迹分析模块和数据融合模块，如图2所示，中央控制模块包括车辆信息量化单元、摄像机机构阈值单元、环境误差神经网络学习模型、路径引导单元和车位引导单元。本实施例中，应用场景如图4所示，uwb基站为多个，安装在停车场，目标车辆上安装uwb发射器，摄像机单元包括多个摄像机，安装在停车场，信号传输与处理单元实现目标车辆与停车场的数据传输，imu惯性模块安装在目标车辆上。
[0093]
在本实施例中，本发明主要通过将uwb/imu定位和视觉辅助定位两部分在停车场端融合，从而实现泊车定位。一方面，本发明利用uwb/imu模块获取目标车辆与基站之间的距离，从而获取目标车辆在停车场全域所处虚拟坐标信息及惯性行进方向，另一方面，本发明高精度摄像机获取停车场中目标车辆、障碍物及周围车位线图像信息，利用高精度摄像机采集目标车辆当前时间帧所处停车场环境中车身及环境图像信息、空车位坐标位置信息等，再融合uwb/imu模块的虚拟坐标信息及高精度摄像机跟踪的车辆位置信息，并确定空车位坐标以及通行车辆较少的车道，配合目标车辆实现指定空车位路径规划，从而实现智能泊车。
[0094]
同时，结合不同的停车场存在的环境误差建立环境误差神经网络学习模型，分析并消除误差提高该模块采集的定位信息精度；通过车辆轨迹分析模块用以获取目标车辆的轨迹信息，得到目标车辆在不同时刻的位置信息，将其分析结果供环境误差神经网络学习。环境误差神经网络学习模型中以卷积神经网络建立环境误差感知深度学习模型，提取环境因素导致定位偏差的误差因子，并逐层组合抽象生成高层特征，用来帮助uwb/imu模块及高精度摄像机纠正定位精度。
[0095]
而且，对于摄像机单元采集的图像，本技术进行了信息量化处理，将采集图像信息量化成像素点所对应车辆的车型、颜色及车牌号，按顺序生成唯一字符串码存储；一方面可以标定目标车辆，另一方面可以供摄像机机构阈值设定单元进行分析，根据所接受的编码数字数目判断当前高精度摄像机采集场景下车辆数，用以设定不同车辆数下高精度摄像机偏转角度阈值，从而实现停车场摄像机构动态监控停车场内每一辆行进车辆。
[0096]
本技术设计一种基于uwb/imu和视觉信息融合的智能泊车定位系统，在停车场进行相应智能化升级，融合uwb/imu模块和视觉信息，能够克服纯车端智能泊车的短板，推动智能泊车尽早商业化落地。
[0097]
具体的，一种基于uwb/imu和视觉信息融合的智能泊车定位系统中各个模块单元的工作如下：
[0098]
(1)摄像机单元包括多个摄像机，用于获取停车场当前图像信息并实时跟踪目标车辆及车辆所处场景，得到运动方程gi＝f(x
i-1
,ui,wi)，其中ui、xi为目标车辆位置，确定目标车辆的车辆位置信息，停车场当前图像信息包括车辆图像信息、障碍物图像信息及周围车位和车道线图像信息；每个摄像机在停车场内空间坐标是已知的，其偏转角度和拍摄的焦距等参数也是已知的，因此，只需实现完成标定，对摄像头采集的图像进行分析，就可以确定图像中车辆、障碍物、车道线、车位等在停车场内的空间坐标。
[0099]
在本实施例中，同时对车道线要素、停车位要素及障碍物分类进行标定，车道线要素标定根据目前存在停车场常见白虚线、黄实线及白左右转弯箭头路线形式进行停车场端标定，三种形式分别由高精度摄像头采集信息发送目标车辆的中央控制模块。停车位要素根据目前市场存在垂直、水平及倾斜常见三种车位形式进行停车场端标定，这三种形式分别由高精度摄像头采集信息发送目标车辆的中央控制模块，障碍物分类标定根据目前停车场常见障碍物主要包括车辆、宠物、行人及交通指示牌，这四种形式分别由高精度摄像头采集信息发送目标车辆的中央控制模块，实现盲区碰撞预警。
[0100]
(2)车辆信息量化单元用于将摄像机单元采集的图像信息量化为车辆信息，确定摄像机单元采集的当前场景下的车辆数量，并标定目标车辆；
[0101]
车辆信息量化单元获取目标车辆当前所处停车场内的车身图像信息，将图像信息量化成像素点所对应车辆的车型、颜色及车牌号，按顺序生成唯一字符串码存储，并为每台车辆生成车辆数字id；车辆信息量化单元接收通过高精度摄像机采集目标车辆当前时间帧车身图像，对车身图像进行局部图像处理，得到车身、颜色及车牌所对应的离散像素点，再转换成离散的数量值，生成对应时间内的唯一车辆数字id，为目标车辆进行身份标定。
[0102]
通过车辆信息量化单元标定目标车辆，可以实现目标车辆的实时追踪，摄像机单元通过图像前后每一帧的编码数据变换进行数据对比，判断数据是否吻合，如果吻合则输出视觉信息数据，否则重新搜索采集图像编码后信息，寻找匹配数据。还可以为车辆轨迹分
析单元提供数据。
[0103]
(3)摄像机机构阈值单元用于根据当前场景下的车辆数量确定摄像机单元的偏转角度阈值并控制摄像机单元执行，用以设定不同车辆数下高精度摄像机偏转角度阈值；
[0104]
第i台高精度摄像机与停车场空间坐标(x,y,z)对应的方位角为(αi,βi,γi)，(x,y,z)对应的是第i台高精度摄像机在停车场中所处的空间坐标位置，并根据此方位角采集到视角范围内目标车辆数为nk，构建状态矩阵方程：
[0105][0106]
其中，摄像机解析算力为r
χ
,ξ为摄像机构设定阈值，当ξ≤nk时，摄像机机构阈值单元发送偏转指令到摄像机，实现摄像机角度偏转。
[0107]
可见，本技术中摄像机的偏转角度是根据当前场景下的车辆数量确定的，目的是使得停车场摄像机构动态监控停车场内每一辆行进车辆，且每台摄像机不会监控过多车辆，以免算力不足，无法跟踪目标车辆。
[0108]
(4)车辆轨迹分析模块用于根据连续时刻的车辆图像信息获取目标车辆的轨迹信息，并传输到中央控制模块，供环境误差神经网络学习模型学习；
[0109]
车辆轨迹分析模块通过高精度摄像机确定轨迹分析目标车辆及其特征信息，根据特征信息与车辆信息量化单元匹配锁定目标车辆位置信息。采用车辆轮胎轮廓检及偏转角度测得到车辆行进方向，在不同时间帧内目标车辆位置更新信息获取车辆行进路径，获取目标车辆的轨迹信息，轨迹预测方程为：
[0110]hi,j
＝h(yj,xi,v
i,j
)
[0111]
其中，v
i,j
为观测噪声；xi为目标车辆位置；yj为车位坐标点。
[0112]
通过进行车辆轨迹分析并将其分析结果传输至中央控制模块，可以供环境误差神经网络模型学习，能够不断优化整个系统，提高整个智能泊车系统的鲁棒性和定位精确率。
[0113]
(5)uwb/imu模块用于获取目标车辆与uwb基站之间的距离以及车辆的运动信息，从而获取目标车辆在停车场全域所处虚拟坐标信息及惯性前进方向；
[0114]
uwb/imu模块获取目标车辆与基站之间的距离：获取各个uwb基站在停车场内空间坐标，获取各个uwb基站与目标车辆之间通过脉冲信号传递的时间，计算各个基站与目标车辆之间的距离，从而可以计算得到目标车辆在停车场内虚拟坐标信息：
[0115][0116]
其中，m和n用于标识不同的基站，l
m,n
表示uwb基站m和n之间的距离，t为脉冲传输时间；c为光速；(x,y,z)为目标车辆在停车场内虚拟坐标；
[0117]
本实施例中，共有4个uwb基站，它们在停车场内空间坐标是已知的，分别为(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4)，因此联立上述公式，就可以求得得到目标车辆在停车场内虚拟坐标(x,y,z)。
[0118]
uwb/imu模块获取车辆的运动信息：通过imu惯性模块获取加速度计数据e(ε)与陀螺仪数据e(σ)，从而获得目标车辆的惯性行进方向。
[0119]
(6)环境误差神经网络学习模型中以卷积神经网络建立环境误差感知深度学习模
型，提取环境因素导致定位偏差的误差因子，并逐层组合抽象生成高层特征，帮助uwb/imu模块及摄像机单元纠正定位精度；在网络前向计算时，在卷积层，同时有多个卷积核对输入进行卷积运算，生成多个特征图，每个特征图的维度相对于输入的维度有所降低；在次采样层，每个特征图经过池化得到维度进一步降低的对应图，依次交叉堆叠后，经过全连接层到达网络输出，供整个智能泊车系统主动学习，提高整个智能泊车系统的鲁棒性和定位精确率；
[0120]
第n个固定uwb基站坐标un＝(xn,yn,zn)为已知坐标；待定位的车辆在t时刻的位置记为n
t
＝(x
t
,y
t
,z
t
)；t时刻uwb基站到目标车辆的距离为：
[0121][0122]
其中为此时误差因子；
[0123]
将不同时刻误差因子代入用以环境误差神经网络模型学习；其中是高层特征量；为权和系数，其中v为目标车辆行驶速度；t
i+1
、ti对应目标车辆行进过程中某一时刻及后一时间帧记录的时间，(t
i+1-ti)为行进的时间差；θi为此时刻车辆轮转角度。
[0124]
需要注意的是，环境误差神经网络学习模型是用于纠正定位精度的。在实际应用时，可以由摄像机单元采集图像并根据环境是否存在干扰将场景分为无环境干扰和存在环境干扰，对于不存在环境干扰的场景，可以不使用环境误差神经网络学习模型，直接由数据融合模块uwb/imu模块的虚拟坐标信息和摄像机单元的目标车辆的车辆位置信息得到实时精确位置信息，完成位姿估计，对于存在环境干扰的场景，需要使用环境误差神经网络学习模型帮助uwb/imu模块及摄像机单元纠正定位精度，再进行融合完成位姿估计。
[0125]
(7)信号传输与处理模块用于传输uwb/imu模块和摄像机单元的数据至中央控制模块，主要是目标车辆当前uwb定位坐标及周围环境图像量化编码后信息；
[0126]
(8)计算与定位显示模块用于根据uwb/imu模块和摄像机单元的数据进行坐标计算及视觉位置可视化跟踪显示，具体的，处理uwb/imu模块及高精度摄像机输出的坐标及图像信息，进行uwb/imu定位坐标计算及视觉位置跟踪显示；
[0127]
(9)数据融合模块用于融合uwb/imu模块的虚拟坐标信息和摄像机单元的目标车辆的车辆位置信息得到实时精确位置信息，并将融合结果传输到中央控制模块；融合过程为：
[0128]
建立融合目标定位优化函数：
[0129][0130]gi
＝f(x
i-1
,ui,wi)
[0131]hi,j
＝h(yj,xi,v
i,j
)
[0132]
其中，e(ε)与e(σ)为mu惯性模块测得的加速度计数据和陀螺仪数据，为uwb定位处理后坐标数据，t为观测目标车辆时间帧，wi为车辆响应速率，gi为摄像机单元跟踪目标车辆得到的运动方程，h
i,j
为车辆轨迹分析模块确定的轨迹预测方程，ui、v
i,j
为观测噪声，xi为
目标车辆位置，yj为车位的坐标，下标没有含义仅表示函数中代入数据进行计算；当目标定位优化函数求解最小点时为最终优化后车辆的实时精确位置信息，从而解决定位漂移及视觉定位偏差，提高定位精度。
[0133]
(10)路径引导单元用于根据停车场当前图像信息筛选出通行车辆最少的车道信息；车位引导单元用于根据停车场当前图像信息筛选出空车位；中央控制模块根据车辆的实时精确位置信息以及车道信息和空车位的坐标引导目标车辆泊车。
[0134]
高精度摄像机用以实时获取车辆的所处环境图像信息以及空车位图像信息；uwb/imu模块用以获取车辆与停车场uwb基站的距离信息；信号传输与处理模块用以接受和发送中央控制模块发送的定位信号；计算与定位显示模块用以实时处理车辆在模拟坐标中位置信息；车辆轨迹分析模块用以追踪车辆运动轨迹并上传中央控制系统用来修正uwb/imu模块定位精度；数据融合模块用以解决定位漂移及视觉定位偏差，提高定位精度。本发明在智能泊车过程中通过停车场端设备辅助，实现双模型融合定位，解决车辆在陌生停车环境中实时高精度位置跟踪,通过停车场设备与车辆协同配合实现智能泊车过程。
[0135]
实施例2：
[0136]
一种基于uwb/imu和视觉信息融合的智能泊车定位方法，基于实施例1中所描述的智能泊车定位系统，流程图如图3所示，还可以参考图5-图7，了解其细节，本说明书提供了如实施例或流程示意图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)或者调整没有时序限制的步骤的执行顺序。具体的，一种基于uwb/imu和视觉信息融合的智能泊车定位方法包括以下步骤：
[0137]
s1、通过摄像机单元获取停车场当前图像信息并实时跟踪目标车辆及车辆所处场景，得到运动方程，确定目标车辆的车辆位置信息，停车场当前图像信息包括车辆图像信息、障碍物图像信息及周围车位和车道线图像信息；
[0138]
s2、通过车辆信息量化单元将摄像机单元采集的图像信息量化为车辆信息，确定摄像机单元采集的当前场景下的车辆数量，并标定目标车辆；
[0139]
s3、根据当前场景下的车辆数量，通过摄像机机构阈值单元确定摄像机单元的偏转角度阈值并控制摄像机单元执行；
[0140]
s4、uwb/imu模块获取目标车辆与uwb基站之间的距离以及车辆的运动信息，从而获取目标车辆在停车场全域所处虚拟坐标信息及惯性前进方向；
[0141]
s5、车辆轨迹分析模块根据连续时刻的车辆图像信息获取目标车辆的轨迹信息，并传输到中央控制模块，供环境误差神经网络学习模型学习；
[0142]
s6、环境误差神经网络学习模型中以卷积神经网络建立环境误差感知深度学习模型，提取环境因素导致定位偏差的误差因子，帮助uwb/imu模块及摄像机单元纠正定位精度；
[0143]
s7、信号传输与处理模块将uwb/imu模块和摄像机单元的数据传输至中央控制模块；
[0144]
s8、计算与定位显示模块根据uwb/imu模块和摄像机单元的数据进行坐标计算及
视觉位置可视化跟踪显示；
[0145]
s9、数据融合模块融合uwb/imu模块的虚拟坐标信息和摄像机单元的目标车辆的车辆位置信息得到车辆的实时精确位置信息，并将融合结果传输到中央控制模块；
[0146]
s10、路径引导单元根据停车场当前图像信息筛选出通行车辆最少的车道信息，车位引导单元根据停车场当前图像信息筛选出空车位，中央控制模块根据车辆的实时精确位置信息以及车道信息和空车位的坐标引导目标车辆泊车。
[0147]
上述步骤中，各个步骤的具体实施细节同实施例1，在此不再赘述。
[0148]
在本技术一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(central processing unit，cpu))、输入/输出接口、网络接口和内存。
[0149]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(random access memory，ram)和/或非易失性内存等形式，如只读存储器(read only memory，rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0150]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase-change ram，pram)、静态随机存取存储器(static random access memory，sram)、动态随机存取存储器(dynamic random access memory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(compact disc read-only memory，cd-rom)、数字多功能光盘(digital versatile disk，dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0151]
需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本技术的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
[0152]
另外，本技术的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本技术的方法和/或技术方案。而调用本技术的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本技术的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本技术的多个实施例的方法和/或技术方案。
[0153]
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例
中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。