基于多传感器融合的定位方法、装置和电子设备与流程

1.本技术涉及定位技术，具体地，涉及一种基于多传感器融合的定位方法、装置和电子设备。


背景技术：

2.运动控制系统作为自动驾驶三大核心技术之一，其主要工作是根据环境感知系统以及规划决策系统提供的信息，控制车辆沿规划好的路径行驶。自动驾驶的运动控制系统可以进一步划分为纵向运动控制和横向运动控制两部分。横向运动控制主要针对车辆的转向执行系统进行控制，操纵车辆转向的同时，保证自动驾驶汽车沿规划好的路径行驶，即根据目标路径信息及自身定位姿态信息计算转角控制量，并下发执行。作为自动驾驶汽车的底层控制系统，横向运动控制系统及其控制方法的优劣不仅会影响对规划路径的跟踪精度，还会对车辆的稳定性、舒适性产生影响。
3.定位及路况感知技术是横向控制的关键，直接影响到控制目标的准确与否，从而决定了横向控制的效果。目前在进行车辆定位时，通常是采用全球定位系统(global positioning system,gps)、zigbee无线传感网络定位、航位推算法定位等方法进行定位，这些定位方式的传感器容易受到干扰导致在一些场景下(例如隧道中)的定位结果并不精确，进而影响到横向控制的精确度。


技术实现要素：

4.本技术实施例中提供了一种基于多传感器融合的定位方法、装置和电子设备，用于解决目前的定位方法容易受到干扰导致在一些场景下的定位结果不精确的问题。
5.根据本技术实施例的第一个方面，提供了一种基于多传感器融合的定位方法，所述方法包括：
6.根据多个不同种类的传感器采集到的原始数据获取车辆的多个位置信息；
7.根据所述车辆的行驶场景确定各个位置信息对应的场景权重；
8.根据各个位置信息对应的场景权重对当前行驶场景的车辆进行融合定位。
9.根据本技术实施例的第二个方面，提供了一种基于多传感器融合的定位装置，所述装置包括：
10.数据获取模块，用于根据多个不同种类的传感器采集到的原始数据获取车辆的多个位置信息；
11.权重计算模块，用于根据所述车辆的行驶场景确定各个位置信息对应的场景权重；
12.融合定位模块，用于根据各个位置信息对应的场景权重对当前行驶场景的车辆进行融合定位。
13.根据本技术实施例的第三个方面，提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述
处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行基于多传感器融合的定位方法。
14.根据本技术实施例的第四个方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行基于多传感器融合的定位方法。
15.采用本技术实施例中提供的一种基于多传感器融合的定位方法、装置和电子设备，基于多传感器融合的定位方法首先根据多个不同种类的传感器采集到的原始数据获取车辆的多个位置信息；根据所述车辆的行驶场景确定各个位置信息对应的场景权重；再根据各个位置信息对应的场景权重对当前行驶场景的车辆进行融合定位。本技术实施例能够根据不同的行驶场景确定不同的传感器数据的场景权重，再根据各个场景权重对传感器数据进行融合定位，避免出现在一些场景下某类传感器失效导致定位结果不精确的问题，从而得到更精准的定位信息。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1为本技术实施例提供的基于多传感器融合的定位方法的流程图之一；
18.图2为本技术实施例提供的步骤s11的子步骤流程图；
19.图3为本技术实施例提供的多传感器数据的融合示意图；
20.图4为本技术实施例提供的步骤s12的子步骤流程图；
21.图5为本技术实施例提供的从道路图像中获取的信息示意图；
22.图6为本技术实施例提供的基于多传感器融合的定位方法的流程图之二；
23.图7为本技术实施例提供的建筑图像匹配定位示意图；
24.图8为本技术实施例提供的基于多传感器融合的定位装置的功能模块图；
25.图9为本技术实施例提供的电子设备的示意图。
具体实施方式
26.在实现本技术的过程中，发明人发现，运动控制系统作为自动驾驶三大核心技术之一，其主要工作是根据环境感知系统以及规划决策系统提供的信息，控制车辆沿规划好的路径行驶。自动驾驶的运动控制系统可以进一步划分为纵向运动控制和横向运动控制两部分。横向运动控制主要是对车辆的转向执行系统进行控制，操纵车辆转向的同时，保证自动驾驶汽车沿规划好的路径行驶，即根据目标路径信息及自身定位姿态信息计算转角控制量，并下发执行。作为车辆的底层控制系统，横向运动控制系统及其控制方法的优劣不仅会影响对规划路径的跟踪精度，还会对车辆的稳定性、舒适性产生影响。
27.对行驶车辆进行实时、准确的定位及通信,是实现智能交通系统的至关重要的前提,也是目前学界及行业研究的热点。另外，定位及路况感知技术也是横向控制的关键，直接影响到控制目标的准确与否，从而决定了横向控制的效果。目前，在进行车辆定位时，通常是采用全球定位系统(global positioning system,gps)、zigbee无线传感网络定位、航位推算法定位等方法进行定位，这些定位方式的传感器容易受到干扰导致在一些场景下(例如隧道中)的定位结果并不精确，进而影响到横向控制的精确度。
28.针对上述问题，本技术实施例中提供了一种基于多传感器融合的定位方法、装置和电子设备，基于多传感器融合的定位方法首先根据多个不同种类的传感器采集到的原始数据获取车辆的多个位置信息；根据所述车辆的行驶场景确定各个位置信息对应的场景权重；再根据各个位置信息对应的场景权重进行数据融合；最后根据融合后的数据对当前行驶场景的车辆进行定位。本技术实施例能够根据不同的行驶场景确定不同的传感器数据的场景权重，再根据各个场景权重融合传感器数据并基于融合后的数据进行定位，避免出现在一些场景下某类传感器失效导致定位结果不精确的问题，从而得到更精准的定位信息。
29.本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
30.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
31.请参照图1，图1为本技术实施例提供的基于多传感器融合的定位方法的流程图之一。在本实施例中，所述方法可以应用于自动驾驶车辆或人工驾驶车辆，所述方法包括以下步骤：
32.步骤s11，根据多个不同种类的传感器采集到的原始数据获取车辆的多个位置信息。
33.步骤s12，根据车辆的行驶场景确定各个位置信息对应的场景权重。
34.步骤s13，根据各个位置信息对应的场景权重对当前行驶场景的车辆进行融合定位。
35.本技术实施例能够根据不同的行驶场景确定不同的传感器数据的场景权重，再根据场景权重融合传感器数据并进行定位，避免出现在一些场景下传感器失效导致定位结果不精确的问题，从而得到更精准的定位信息。
36.可选地，在本实施例中，车辆上通常都会设置多种不同的传感器组成车辆的感知系统，例如摄像头加全球定位系统gps、gps加惯性导航系统、摄像头加gps加激光雷达等，然后以这些不同的传感器采集到的传感数据作为横向控制的依据，如gps获取车辆的绝对位置信息(即经纬度)，摄像头或激光雷达获取车辆的相对位置信息、惯性导航系统获取车辆的运动姿态信息等。
37.在获取到车辆的运动姿态信息、绝对位置信息和相对位置信息之后，可以根据各个传感器的特性，例如方差、准确度等为运动姿态信息、绝对位置信息和相对位置信息分别设置一个场景权重，并根据场景权重进行数据融合，并通过融合后的数据对车辆进行定位，进而得到综合的高精度定位结果，其中，场景权重用于表示在对车辆进行定位时，不同的行驶场景中不同的位置信息对于车辆定位的重要程度。
38.例如，采用三种(gps、雷达/相机及惯性导航系统)不同的定位方式对车辆进行定位，获得三个不同的位置信息x1、x2和x3，若x1、x2和x3对应的场景权重分别为y1、y2和y3，则在进行融合定位时，需要保证x1、x2、x3、y1、y2和y3满足以下关系：
[0039][0040]
其中，d1、d2、d3分别表示融合定位的最终位置信息z与x1、x2和x3之间的距离。
[0041]
在获得高精度定位结果之后，进而可以对车辆进行更精确有效的横向控制。横向控制并不需要复杂的控制系统，例如，可以使用pid(proportion
‑
integral
‑
differential，比例
‑
积分
‑
微分)的控制器。
[0042]
pid控制器具有简单高效，参数易调节的特性，其原理是通过被控量状态与控制目标误差的当前值(比例项p)、差分值(微分项d)、累积值(积分项i)调节输出，以达到缩小控制量与目标值的差距的效果，进而对系统进行控制。
[0043]
直线道路巡航的横向控制是一种双状态量(横向距离偏移δx，航向角度偏移δθ)的控制，在保证横向距离偏移δx较小的同时，还需要尽量减小航向角度偏移δθ的误差和变化频率，因此可以使用二者共同作用输出控制结果，实现对车辆的横向控制。
[0044]
具体地，在很短的控制周期内，可认为车辆的横向运行距离是一个极小的量，则此时微分项可通过以下公式进行运算：
[0045][0046]
将横向偏移距离δx＝vtsinδθ的差分近似为航向角的差分k*δθ，再将k与微分项系数k
d
合并，从而得到公式：
[0047]
u＝k
p
*δx+k
d
*δθ
[0048]
进而可以通过横向距离偏移δx和航向角度偏移δθ的误差对车辆进行横向控制。
[0049]
因此，在获得了高精度的定位结果之后，车辆的横向控制的效果也会得到很大程度的提升。
[0050]
可选地，请参照图2，图2为本技术实施例提供的步骤s11的子步骤流程图。在本实施例中，步骤s11包括：
[0051]
步骤s111，分别获取惯性导航系统采集到的数据、全球定位系统采集到的数据及相机或雷达采集到的数据。
[0052]
步骤s112，对相机或雷达采集到的数据和惯性导航系统采集到的数据进行融合，获得车辆的运动姿态信息。
[0053]
步骤s113，对全球定位系统采集到的数据和相机或雷达采集到的数据进行融合，获得车辆的相对位置信息。
[0054]
步骤s114，对惯性导航系统采集到的数据和全球定位系统采集到的数据进行融合，获得车辆的绝对位置信息。
[0055]
在上述步骤中，惯性导航系统采集到的数据用于描述车辆在控制周期内的运动姿态，全球定位系统gps采集到的数据用于描述车辆在地球空间的绝对位置信息，即经度和纬度信息，相机或雷达采集到的数据用于描述车辆周围的车道信息以及障碍物信息。
[0056]
在获取到惯性导航系统采集到的数据、全球定位系统采集到的数据及相机或雷达采集到的数据之后，可以将传感数据两两组合，以获得更精确的位置信息。
[0057]
具体地，可以对相机或雷达采集到的数据和惯性导航系统采集到的数据进行融
合，通过雷达或相机的相对位置信息的变化判断惯性导航系统数据的精确度，进而对惯性导航系统的误差进行修正，获得更精确的运动轨迹信息，即获得车辆的运动姿态信息。
[0058]
对全球定位系统gps采集到的数据和相机或雷达采集到的数据进行融合，通过gps定位信息初步判断处于的道路，进而通过相机/雷达信息确定在道路的哪一条车道，进而获得更精确的道路定位信息，即获得车辆的相对位置信息。
[0059]
对惯性导航系统采集到的数据和全球定位系统采集到的数据进行融合，通过gps定位信息定时对惯性导航系统的累积误差进行修正，获得更加精准可靠的惯性导航数据，同时可以获得车辆的绝对位置信息。
[0060]
如图3所示，图3为本技术实施例提供的多传感器数据的融合示意图。在获得车辆的运动姿态信息、绝对位置信息和相对位置信息之后，可以根据运动姿态信息、绝对位置信息和相对位置信息各自的权重进行数据融合，进而获得车辆的高精度定位信息。
[0061]
有效使用这些传感数据进行融合的条件是传感器的性能表现符合常规状态下测得的分布，从而可以依照误差特性进行最优化，但各种定位传感器都存在着固有的缺陷，例如惯性导航系统的时间稳定性差，需要定时依靠外部设备进行校正，gps则依赖卫星信号，在卫星信号差的地方无法进行准确定位，机器视觉会受到光照影响，在光照不充足的情况下无法准确定位。因此在某些情况下，传感器的效能会严重劣化。因此，为了解决这一问题，在本实施例提出一种根据行驶场景对所述运动姿态信息的场景权重、所述绝对位置信息的场景权重及所述相对位置信息的场景权重进行设置，以避免在某些特定的行驶场景的传感器失效导致无法定位的情况。
[0062]
具体地，请参照图4，图4为本技术实施例提供的步骤s12的子步骤流程图。在本实施例中，步骤s12，包括：
[0063]
步骤s121，计算运动姿态信息的初始权重、绝对位置信息的初始权重及相对位置信息的初始权重。
[0064]
步骤s122，根据车辆的行驶场景对运动姿态信息的初始权重、绝对位置信息的初始权重及相对位置信息的初始权重进行调整，获得运动姿态信息的场景权重、绝对位置信息的场景权重及相对位置信息的场景权重。
[0065]
在上述步骤中，可以将行驶场景首先设置为高速公路，并在此行驶场景下计算运动姿态信息的初始权重、绝对位置信息的初始权重及相对位置信息的初始权重。在获得初始权重之后，即可根据各个行驶场景对初始权重进行调整，进而得到场景权重。
[0066]
具体地，根据车辆的行驶场景对初始权重进行调整，获得场景权重，包括：
[0067]
当所述行驶场景为无标志路段时，降低所述相对位置信息的初始权重，获得所述相对位置信息的场景权重；
[0068]
当所述行驶场景为隧道时，降低所述绝对位置信息的初始权重及所述相对位置信息的初始权重，获得所述绝对位置信息的场景权重及所述相对位置信息的场景权重；
[0069]
当所述行驶场景为市区时，降低所述相对位置信息的初始权重，获得所述相对位置信息的场景权重；
[0070]
当所述行驶场景为偏僻区域时，降低所述绝对位置信息的初始权重，获得所述绝对位置信息的场景权重，其中，所述偏僻区域为地图不完善的区域。
[0071]
在上述步骤中，当行驶场景为无标志路段时，相机无法检测到路面的标志，会导致
通过相机采集到的数据计算相对位置信息时的计算结果不准确，进而导致最终的定位数据不准确，因此，当行驶场景为无标志路段时，可以降低相对位置信息的初始权重，从而获得在无标志路段时的场景权重。
[0072]
当行驶场景为隧道时，由于隧道内的亮度较低且卫星信号较弱，导致相机检测到亮度下降、gps多个周期无法收到卫星信息信号，最终导致计算获得的定位数据不准确，因此，当行驶场景为隧道时，可以降低绝对位置信息的初始权重及所述相对位置信息的初始权重，从而获得在隧道行驶场景下的场景权重。
[0073]
当行驶场景为市区时，由于相机可能识别到较多的建筑信息，对道路上的路面标志形成信息干扰，导致定位结果不准确，因此，当行驶场景为市区时，可以降低相对位置信息的初始权重，获得市区的场景权重。
[0074]
当行驶场景为偏僻区域(即地图不完善的区域)时，可能存在没有卫星信号的问题，因此，可以降低gps对应的绝对位置信息的初始权重，获得此场景对应的场景权重。
[0075]
可选地，当车辆在运行中时，可能存在gps丢失卫星信号导致无法进行定位，此时可以通过图像匹配定位的方式进行辅助定位，使得车辆在gps精度不足、定位失效的场景下仍具有一定的定位能力。
[0076]
车辆上设置的图像传感器(摄像头)除了能够采集车辆前方或车辆周围的图像信息外，也能采集到多种道路图像信息，主要包括：路面交通标志信息、路牌交通标志信息以及路旁建筑信息等，如图5所示，图5为本技术实施例提供的从道路图像中获取的信息示意图。其中自动驾驶系统将各种交通标志信息用于进行决策，而将路旁建筑信息作为干扰信息进行忽略或丢弃，这种信息处理的方式没有将高信息量的图像信息进行高效利用，特别是在路旁建筑密集的城市区域。
[0077]
在人类驾驶车辆的过程中，除了交通标志信息，路旁的建筑同样起着至关重要的作用，特别是民用车载导航定位系统出现之前，路旁的建筑承担着定位的主要功能。相较于如今对于车辆行驶路径有量化的尺度，其描述如“直行800m后左转”，在没有导航定位信息时，车辆路径的描述往往基于特定路旁建筑的相对位置，如“直行经过xx建筑后的路口左转”。因此，随着车辆图形处理能力的提升，先前被丢弃的路旁建筑信息也可以得到应用，通过模仿人类驾驶借由建筑位置定位，以提升车辆的定位能力。
[0078]
具体地，请参照图6，图6为本技术实施例提供的基于多传感器融合的定位方法的流程图之二。在本实施例中，基于多传感器融合的定位方法还可以包括：
[0079]
步骤s14，获取车辆的图像传感器采集到的图像数据。其中，所述图像数据包括建筑物信息。
[0080]
步骤s15，根据图像数据对所述车辆进行定位。
[0081]
在上述步骤中，首先获取车辆的图像传感器(例如相机或摄像头)采集到的图像数据，图像数据中包括有周围的建筑物信息，然后根据采集到的图像对车辆进行定位。
[0082]
具体地，步骤s15包括：
[0083]
计算所述图像数据中的建筑物信息与所述地图数据库图像中的建筑物信息的匹配度；根据所述匹配度确定所述图像数据中的建筑物所在的位置信息；根据所述图像数据中的建筑物所在的位置信息确定所述车辆的位置信息。
[0084]
如图7所示，图7为本技术实施例提供的建筑图像匹配定位示意图。在通过图像匹
配进行定位时，地图数据库中预存了标志性建筑物的多个角度图像，将实时采集到的图像数据中的建筑物与地图数据库中的建筑物图像进行匹配，并计算相应的匹配度，即可根据匹配度确定图像数据中的建筑物的位置信息，然后即可对车辆进行定位。
[0085]
可选地，考虑到建筑的数量庞大，且每个建筑需要多角度图像信息以进行匹配，因此可以采取仅对路口的标志性建筑进行独立多角度地图像信息存储，而一些非路口位置的建筑群则可作为整体，仅储存道路双向行驶角度的少量图像信息，以降低数据存储量。
[0086]
具体地，在计算匹配度时，首先对所述图像数据进行特征点提取获得第一特征点，对所述地图数据库图像进行特征点提取获得第二特征点；然后对所述第一特征点和所述第二特征点进行匹配度计算，获得所述图像数据中的建筑物与所述地图数据库图像中的建筑物的匹配度。
[0087]
判断匹配度是否高于预设阈值，若高于，则认为图像数据中的建筑物与地图数据库中的建筑物图像匹配，从而可以根据地图数据库中的建筑物图像的位置信息及拍摄角度获得车辆的位置信息。
[0088]
可选地，在本实施例中，若匹配度是否高于预设阈值的结果有多个，即图像数据中的建筑物与地图数据库中的多个建筑物图像均匹配，则从中选取匹配度最高的建筑物作为最匹配的建筑物，从而对车辆进行定位。
[0089]
综上所述，本技术实施例中提供了一种基于多传感器融合的定位方法，首先根据多个不同种类的传感器采集到的原始数据获取车辆的运动姿态信息、绝对位置信息和相对位置信息；根据车辆的行驶场景确定运动姿态信息的场景权重、绝对位置信息的场景权重及相对位置信息的场景权重；再根据运动姿态信息的场景权重、绝对位置信息的场景权重、相对位置信息的场景权重对运动姿态信息、绝对位置信息和相对位置信息进行数据融合；最后根据融合后的数据对当前行驶场景的车辆进行定位。本技术实施例能够根据不同的行驶场景确定不同的传感器数据的场景权重，再根据场景权重融合传感器数据并进行定位，避免出现在一些场景下传感器失效导致定位结果不精确的问题，从而得到更精准的定位信息。
[0090]
请参照图8，图8为本技术实施例提供的基于多传感器融合的定位装置110的功能模块图，基于多传感器融合的定位装置110包括：
[0091]
数据获取模块1101，用于根据多个不同种类的传感器采集到的原始数据获取车辆的多个位置信息；
[0092]
权重计算模块1102，用于根据所述车辆的行驶场景确定各个位置信息对应的场景权重；
[0093]
融合定位模块1103，用于根据各个位置信息对应的场景权重对当前行驶场景的车辆进行融合定位。
[0094]
本技术实施例还提供了一种电子设备，请参照图9，图9为本技术实施例提供的电子设备10的示意图。在本实施例中，电子设备10包括：处理器11、存储器12和总线13，所述存储器12存储有所述处理器11可执行的机器可读指令，当所述电子设备10运行时，所述处理器11与所述存储器12之间通过所述总线13通信，所述机器可读指令被所述处理器11执行时执行本技术实施例提供的基于多传感器融合的定位方法。
[0095]
本技术实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述
计算机程序被处理器运行时执行本技术实施例提供的基于多传感器融合的定位方法。
[0096]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0097]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0098]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0099]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0100]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0101]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。