使用相机、GPS和IMU定位自动驾驶车辆的制作方法

使用相机、gps和imu定位自动驾驶车辆
技术领域
1.本公开涉及一种利用来自不同传感器类型的数据定位自动驾驶车辆的系统和方法。


背景技术：

2.本部分中的陈述仅提供与本公开相关的背景信息，可构成或不构成现有技术。
3.车辆技术，如基于网格导航的自由测距及停车引导和信息系统，有助于防止驾驶员驾驶车辆时发生人为操作失误。此类技术已被用于改善道路导航，并提升车辆驾驶员在车内时其停车技能。例如，已开发出车载检测系统和碰撞警报系统，协助车辆操作人员操纵车辆，以避免发生碰撞。典型的车载检测系统利用机器视觉确定或预测车辆周围环境。检测系统通常依靠相机和/或其他光学传感器预测车辆位置以及对象、道路标记等相对于车辆的位置，以辅助车辆的自动驾驶系统。
4.虽然这些系统和方法对实现其预期目的是有用的，但典型的检测系统会受到天气、杂物等引起的光学干扰，以及视距通信限制和固有的传感器误差的影响。因此，本领域需要一种新的改进的车辆技术，这样即使当路面被天气、杂物等遮挡，传感器报告的信息可能不准确以及可能无法实现视距通信时，依然能稳健地定位车辆。


技术实现要素：

5.根据本公开的几个方面，一种通过传感器融合定位主机构件的方法，包括：利用设置在主机构件上的一个或多个光学传感器，捕获输入图像；通过全球定位系统(gps)输入，确定主机构件的位置；通过惯性测量单元(inertial measurement unit，imu)输入，跟踪主机构件的运动；并且根据gps输入和imu输入生成主机构件的坐标。该方法还包括比较输入图像和高清(high definition，hd)地图输入，以验证主机构件到输入图像和hd地图输入中的预定对象的距离；以及通过融合gps输入、imu输入、输入图像和hd地图输入，连续地定位主机构件。
6.在本公开的另一方面，该方法还包括利用彼此偏移预定距离的两个或两个以上两个以上光学传感器，捕获输入图像。输入图像是主机构件的周围环境的三维(3d)图像。
7.在本公开的另一方面，该方法还包括周期性地与多个卫星通信，以确定在第一准确度范围内定义主机构件的位置的第一组纬度和经度坐标。
8.在本公开的又一方面，该方法还包括在第一准确度范围内周期性地估计主机构件的位置，其中第一准确度范围可达约10米；并通过差分gps(dgps)选择性地校正第一准确度范围以在第二准确度范围内确定主机构件的位置。与第一准确度范围相比，第二准确度范围具有更高的准确度。
9.在本公开的又一方面，该方法还包括利用一个或多个姿态传感器连续地测量主机构件的运动，该一个或多个姿态传感器包括一个或多个陀螺仪以及一个或多个加速度计。该一个或多个陀螺仪检测主机构件的俯仰、横滚和航向，并且该一个或多个加速度计检测
主机构件的线性加速度。
10.在本公开的又一方面，多个卫星与主机构件之间的每次周期性通信间隔预定时间段，预定时间段中的每个时间段定义时间步长。该方法还包括通过将imu输入应用到在前一时间步长的gps输入，以生成定义主机构件的位置的第二组纬度和经度坐标，从而改进对主机构件的位置的估计。
11.在本公开的又一方面，该方法还包括同步gps输入和hd地图输入，以检测和验证主机构件到预定对象的距离。
12.在本公开的又一方面，该方法还包括对gps输入和imu输入进行滤波，并将输入图像代入感知算法。感知算法检测输入图像中的多个对象，并为输入图像中的多个对象中的每个图像提供距离估计。该方法还包括将输入图像中的多个对象与hd地图中的预定对象进行比较，并通过粒子滤波器对gps输入、输入图像以及imu输入进行滤波，以根据粒子滤波器的输出确定主机构件的实时物理位置。
13.在本公开的又一方面，该方法还包括利用卡尔曼滤波器融合gps输入和imu输入；并且使用gps输入和imu输入的测量值，确定主机构件的坐标。
14.在本公开的又一方面，该方法还包括利用粒子滤波器，融合从gps输入、imu输入、输入图像和hd地图输入中的每一个获取的数据；并且确定主机构件的位置。该方法还包括通过根据hd地图输入、gps输入和输入图像确定主机构件的位置，相对于主机构件的预期位置周期性地校正imu输入中的传感器漂移。多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息。
15.在本公开的又一方面，一种用于通过传感器融合定位主机构件的系统，包括设置在主机构件上的一个或多个光学传感器、全球定位系统(gps)和惯性测量单元(imu)。该系统还包括控制模块，该控制模块设置在主机构件内并具有处理器、存储器以及一个或多个输入/输出(i/o)端口。i/o端口与一个或多个光学传感器、gps以及imu通信，并从它们接收数据。处理器执行存储在存储器中的编程控制逻辑。编程控制逻辑包括用于利用一个或多个光学传感器捕获输入图像的第一控制逻辑。编程控制逻辑还包括用于利用gps通过gps输入，确定主机构件的位置的第二控制逻辑，和用于利用imu通过imu输入，跟踪主机车辆的运动的第三控制逻辑。编程控制逻辑还包括用于根据gps输入和imu输入生成主机构件的坐标的第四控制逻辑，和用于比较输入图像和高清(hd)地图输入以验证主机构件到输入图像和hd地图输入中的预定对象的距离的第五控制逻辑。编程控制逻辑还同步gps输入和hd地图输入，以检测和验证主机构件到预定对象的距离。编程控制逻辑还包括用于通过融合gps输入、imu输入、输入图像以及hd地图输入，连续地定位主机构件的第六控制逻辑。
16.在本公开的又一方面，该系统还包括至少两个光学传感器，该至少两个光学传感器彼此偏移预定距离，并捕获输入图像。输入图像是主机构件的周围环境的三维(3d)图像。
17.在本公开的又一方面，该系统还包括用于与多个卫星周期性地通信，以确定在第一准确度范围内定义主机构件的位置的第一组纬度和经度坐标的第七控制逻辑。
18.在本公开的又一方面，该系统还包括用于在第一准确度范围内周期性地估计主机构件的位置的编程控制逻辑。第一准确度范围可达约10米。编程控制逻辑还包括通过差分gps(dgps)选择性地校正第一准确度范围，以在第二准确度范围内确定主机构件的位置，使得第二准确度范围比第一准确度范围具有更高的准确度。
19.在本公开的又一方面，该系统还包括用于利用一个或多个姿态传感器连续地测量主机构件的运动的编程控制逻辑，该一个或多个姿态传感器包括：一个或多个陀螺仪以及一个或多个加速度计。该一个或多个陀螺仪检测主机构件的俯仰、横滚和航向，并且该一个或多个加速度计检测主机构件的线性加速度。
20.在本公开的又一方面，多个卫星与主机构件之间的每次周期性通信间隔预定时间段。预定时间段中的每个时间段定义时间步长。该系统还包括用于通过将imu输入应用到在前一时间步长的gps输入，以生成定义主机构件的位置的第二组纬度和经度坐标，从而改进对主机构件的位置的估计的编程控制逻辑。
21.在本公开的又一方面，该系统还包括用于对gps输入和imu输入进行滤波，并将输入图像代入感知算法的编程控制逻辑。感知算法检测输入图像中的多个对象，并且为输入图像中的多个对象中的每个对象提供距离估计。编程控制逻辑将输入图像中的多个对象与hd地图中的预定对象进行比较。多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息。该系统还包括用于通过粒子滤波器对gps输入、输入图像以及imu输入进行滤波，并且根据粒子滤波器的输出确定主机构件的实时物理位置的编程控制逻辑。
22.在本公开的又一方面，该系统还包括用于利用卡尔曼滤波器融合gps输入和imu输入，并使用gps输入和imu输入的测量值，确定主机构件的坐标的编程控制逻辑。
23.在本公开的又一方面，该系统还包括编程控制逻辑，该编程控制逻辑用于利用粒子滤波器融合，从gps输入、imu输入、输入图像和hd地图输入中的每一个获取的数据；并且确定主机构件的位置，用于通过根据hd地图输入、gps输入和输入图像确定主机构件的位置，相对于主机构件的预期位置周期性地校正imu输入中的传感器漂移。
24.在本公开的又一方面，一种通过传感器融合来定位主机构件的方法，包括利用设置在主机构件上并且彼此偏移预定距离的两个或两个以上光学传感器，捕获输入图像。输入图像包括主机构件的周围环境的二维(2d)图像和三维(3d)图像。该方法还包括将输入图像代入感知算法，该感知算法检测输入图像中的多个对象，并为输入图像中的多个对象的每个对象提供距离估计。该方法还包括通过全球定位系统(gps)输入，确定主机构件的位置。与主机构件进行电子通信的gps接收器周期性地与多个卫星通信，以确定在第一准确度范围内定义主机构件的位置的第一组纬度和经度坐标。第一准确度范围可达约10米。多个卫星与gps接收器之间的每次周期性通信间隔预定时间段。预定时间段中的每个时间段定义时间步长。该方法还包括通过差分gps(dgps)选择性地校正第一准确度范围，以在第二准确度范围内确定主机构件的位置。与第一准确度范围相比，第二准确度范围具有更高的准确度。该方法还包括利用惯性测量单元(imu)输入，连续地测量主机构件的运动。imu包括一个或多个姿态传感器，该一个或多个姿态传感器包括：一个或多个陀螺仪以及一个或多个加速度计，该一个或多个陀螺仪检测主机构件的俯仰、横滚和航向，并且该一个或多个加速度计检测主机构件的线性加速度。该方法还包括根据gps输入和imu输入生成主机构件的坐标，并且通过将imu输入应用到在前一时间步长的gps输入，以生成定义主机构件的位置的第二组纬度和经度坐标，从而改进主机构件的估计位置。该方法还包括比较和同步输入图像和高清(hd)地图输入，以验证主机构件到输入图像和hd地图输入中的预定对象的距离。该方法还包括通过利用卡尔曼滤波器对gps输入和imu输入进行滤波和融合，并且使用gps
输入和imu输入的测量值确定主机构件的坐标，以融合gps输入、imu输入、输入图像和hd地图输入，从而连续地定位主机构件。该方法还包括通过粒子滤波器对gps输入、输入图像、hd地图输入和imu输入进行滤波；并且通过利用粒子滤波器，融合从gps输入、imu输入、输入图像和hd地图输入中的每一个获取的数据，从而根据粒子滤波器的输出生成主机构件的实时物理位置。该方法还包括通过根据hd地图输入、gps输入和输入图像确定主机构件的位置，相对于主机构件的预期位置周期性地校正imu输入中的传感器漂移；并且其中多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息。
附图说明
25.本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。
26.图1是根据本公开的一方面的用于使用相机、gps、imu和地图输入数据，定位自动驾驶车辆的系统的示意图；
27.图2是根据本公开的一方面的用于使用相机、gps、imu和地图输入数据，定位自动驾驶车辆的系统采取的一系列逻辑步骤的高阶流程图；
28.图3是根据本公开的一方面的使用相机、gps、imu和地图输入数据定位自动驾驶车辆的系统中，传感器融合的高阶层级结构的描绘；以及
29.图4是描绘根据本公开的一方面的使用相机、gps、imu和地图输入数据定位自动驾驶车辆的方法的流程图。
具体实施方式
30.以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或用途。
31.参考图1，示出了一种用于通过传感器融合定位主机构件的系统10。系统10在诸如车辆12的主机构件12上运行。主机构件12示为载客车辆，然而，在不脱离本公开的范围或意图的情况下，车辆12可是卡车、运动型多功能车、货车、房车或任何其他类型的道路交通工具、水上交通工具或空中交通工具。主机构件12还可是任何其他自主驾驶装置，例如水基、空基或陆基无人机等。
32.主机构件12配备有一个或多个控制模块14。控制模块14为非通用型电子控制装置，该非通用型电子控制装置具有预编程数字计算机或处理器16、用于存储如控制逻辑、指令、图像数据、查找表等数据的非暂时性计算机可读介质或存储器18、以及多个输入/输出(i/o)外围设备或端口20。处理器16用于执行控制逻辑或指令。控制逻辑或指令包括计算机可执行程序代码，包括源代码、目标代码和可执行代码的任何类型。控制逻辑还包括用于执行特定功能或功能组的软件程序。控制逻辑可包括一个或多个计算机程序、软件组件、指令集、程序、功能、对象、类、实例、相关数据或其适于以适当的计算机可读程序代码实现的部分。控制逻辑可存储在存储器18内，或者附加或单独的存储器18中。
33.控制模块14可具有附加处理器16或与处理器16通信的附加集成电路，如用于分析可视数据的感知逻辑电路，或专用的车辆与车辆(vehicle-to-vehicle，v2v)或车辆与基础设施(vehicle-to-infrastructure v2i)电路。可替代地，控制模块14的功能可以分布在各个子系统中。存储器18包括可以永久存储数据的介质和/或可以存储并随后重写数据的介质(例如可重写光盘或可擦除存储器装置)。在更多示例中，存储器18可以包括各种不同存
储介质中的任何一种，例如闪存、嵌入式多媒体卡(emmc)闪存、随机存取存储器(ram)等。i/o端口20从主机构件12的一个或多个传感器22接收输入数据。
34.传感器22中包含光学传感系统24(具有传感器22，如相机26)、超声波传感器、光检测和测距(light detection and ranging，lidar)单元28和无线电检测和测距(radio detection and ranging，radar)单元30。在一些示例中，多个不同的radar单元30可用于合并短到中程波长及远程radar性能。相机26也可用于环视定位、交通标志识别、停车辅助、车道偏离警示系统等。光学传感系统24的传感器22显示在图1中四个不同的位置，并且相机26、超声波传感器、lidar单元28、radar单元30等分别具有各自的视场31、31’、31”、31
”’
。然而，应当理解，在不脱离本公开的范围或意图的情况下，传感器22可位于主机构件12上或主机构件之外的各种不同位置中的任何位置，并且可以具有包含与所描绘的区域完全不同的区域的视场31、31’、31”、31
”’
。配备在具有本公开的系统10的主机构件12上的附加传感器22包括运动传感器，如陀螺仪或陀螺仪传感器32、加速度计34、全球定位系统(gps)通信装置或接收器36、惯性测量单元(imu)38装置等。
35.在几个方面，传感器22包括位于主机构件12的前部40、后部42，以及分别沿主机构件12的左侧44和右侧46设置的相机26。与其他光学传感装置或传感器22相比，相机26(如安装在示例性主机构件上的相机)目前相对便宜。然而，相机可用其他光学传感装置或传感器22代替。尤其是用于汽车时，相机26具有鲁棒模态。可使用安装在主机构件12的前部40的单相机26对在主机构件12前方延伸预定距离并在主机构件12前方延伸甚至超过180
°
弧的视场区域进行扫描，以查看对象(如车道线、标志、行人、自行车、树、路缘的高度和位置信息，以及包括路肩、道路粗糙度、车道标记、道路危险物等的路面数据)。然而，相机26可对主机构件12的周围环境进行二维(2d)扫描。虽然2d图像预测是非常有用的，但是在一些示例中，系统10采用了两个或两个以上安装在主机构件12的前部40的光学传感器或相机26。
36.沿主机构件12的前部40彼此间隔开或偏移预定距离的两个相机26提供用于生成描述主机构件12的周围环境的三维(3d)输入图像的立体视觉。尽管两者在本文中皆有涉及，但与2d系统相比，3d数据在跟踪对象方面提供了更强的鲁棒性和更高的成功率。在使用3d相机26系统的过程中，3d数据跟踪对象(如路缘、路肩、道路粗糙度、物体、车道标记、道路危险物等)。
37.gps是由至少二十四(24)颗绕地球轨道运行的卫星47组成的基于卫星导航系统。在许多当前示例中，主机构件12或车辆依靠gps获得定位信息。然而，gps的成功取决于其与足够数量的卫星47连接。由于摩天大楼、高山、隧道、树木等的存在而导致的视线问题等各种原因，与gps卫星47连接和通信的能力可能受到阻碍或丧失。此外，gps接收器36的第一准确度范围通常在约10米内。在一些示例中，系统10利用差分gps(dgps)将gps信号的准确度增加到第二准确度范围(与第一准确度范围相比，其具有更高准确度)。在示例中，使用dgps时，gps的准确度可自校正至平均约一至三米内。
38.imu 38是安装在主机构件12或车辆上的装置。更具体地，imu 38安装在主机构件12或车辆的本体48内的固定位置。imu 38依靠在主机构件12内的固定位置，使得imu 38知道其在主机构件12内的物理位置。imu从其在主机构件12内的固定位置，连续测量和跟踪主机构件12的运动和位置。在一些示例中，imu 38由多个陀螺仪传感器32和加速度计34组成。imu 38在主机构件12运动时向控制模块14提供主机构件12进行俯仰、横滚和航向的指示。
在陀螺仪传感器36的示例中，由imu 38产生的数据被称为“旋转参数”，而由加速度计34产生的数据被称为“线性加速度”。
39.系统10还采用了高清地图(hd地图)50。hd地图50对主机构件12(包括自主驾驶车辆等)来说是非常重要的。hd地图准确度高，所提供的对象位置的准确度可达约十厘米(10cm)的。与3d相机系统中的相机26类似，hd地图50增加了主机构件12的定位准确度，即，hd地图协助确定主机构件12在真实(即，非虚拟)世界中的位置。同样，hd地图50提供关于周围对象的有价值的信息：交通车道的位置，哪些是直行车道而哪些其他车道仅可用于转弯，附近有什么交通标志，指定路段的车速限制，人行横道和自行车道的位置，路缘的高度和位置等。因此，hd地图50中的数据在主机构件12的路径规划中非常有用。
40.相对于单独使用任何一个上面提及的系统，定位系统10利用从上述相机26、gps、imu 38和hd地图50系统中的每一个收集的信息，显著提升主机构件12定位信息的精确度和准确度。
41.现在转到图2，并且继续参考图1，示出了系统10的逻辑功能，其总体上由附图标记100指示。在框102，系统10利用gps接收器36确定主机构件12的初始位置。更具体地，卫星47发送给gps接收器36的gps信号以数据包的形式周期性发送。数据包至少包括在第一准确度范围内定义主机构件12的位置的第一组纬度和经度坐标。在示例中，gps接收器36大约每隔三十秒接收一次数据包，并且第一准确度范围使得主机构件12的定位准确度为约10米。因此，当主机构件12在接收gps数据包之间的时间段内运动时，跟踪主机构件12的位置以保持导航准确度等。接收gps数据包之间的每个时间段定义一个时间步长。在框104，为了根据gps接收器36输入数据和imu 38数据生成主机构件12的当前坐标，控制模块14执行控制逻辑，该控制逻辑通过将imu 38数据应用到在前一时间步长的gps接收器36输入数据，以生成主机构件12的第二组纬度和经度坐标，从而改进对主机构件12的位置的估计。然后，imu 38使用包括第一组纬度和经度坐标以及第二组纬度和经度坐标的gps接收器36数据，作为其运动计算的起始位置。随后，驾驶主机构件12，或者在自主驾驶车辆的情况下，主机构件12自主驾驶短暂的一段时间。
42.imu 38跟踪主机构件12的旋转参数和加速度。存储在控制模块14的存储器18中并由处理器16执行的人工智能(ai)程序52从imu 38接收加速度和旋转信息，并且基于来自imu 38的数据，ai程序52更新在给定时间点主机构件12所在位置的虚拟模型。ai程序52随后使处理器16执行编程控制逻辑，该编程控制逻辑利用卡尔曼滤波器融合来自gps接收器36和imu 38的信息，以生成主机构件12在真实世界中的新位置的位置坐标。
43.在框106，系统10从安装在主机构件12上的一个或多个相机26收集原始图像数据。在框108，通过存储在存储器14内并由处理器16执行的感知算法54，一个或多个相机26生成对象(如汽车、卡车、行人、交通标志、车道线、其他车道信息等)的检测信息。通过使用单个相机26或多个立体相机26，系统10使用感知算法54确定其到一个或多个相机26的视场内的所有对象和车道的横向和纵向距离。在框110，将来自相机26和gps接收器36的数据与hd地图50进行比较，以确定到预定地标(如由相机26报告的特定交通信号、标志等)的距离。
44.在框112，控制模块14然后执行粒子滤波算法56以融合从各种传感器22(包括一个或多个相机26、gps接收器36、imu 38和hd地图50)获得的所有数据，从而在真实世界中定位主机构件12。更具体地，粒子滤波算法56利用gps接收器36设置主机构件12在地面上的初始
位置，然后一个或多个相机26对主机构件12的周围环境进行光学扫描以捕获和定位对象(如标志)。一个或多个相机26给其捕获的图像数据中的每个对象分配坐标。然后，粒子滤波算法56利用hd地图50，对一个或多个相机26的数据中的对象与在hd地图50数据中位于精确预定位置处的对象的位置进行比较。在随后卫星47与gps接收器36通信之间，粒子滤波算法56利用imu 38跟踪主机构件12的物理运动。
45.现在转到图3，并继续参考图1和图2，示出了传感器融合的高阶层级结构，其总体上由附图标记200指示。在框202和204，imu 38的陀螺仪传感器32和加速度计34收集主机构件12运动数据。具体地，陀螺仪传感器32检测在多达九个自由度(9dof，degree of freedom)上的信息，而加速度计34检测在多达六个自由度(6dof)上的运动。在几个方面，自由度(dof)是传感器22(如陀螺仪传感器32和加速度计34)在三维(3d)空间中可以检测的运动和/或位置的方向。在示例性9-dof陀螺仪传感器32中，陀螺仪传感器32可以以加速度、磁性取向和角速度三个度的形式，检测运动和/或位置。同样地，6-dof加速度计32可以以沿三个主轴(即，x轴、y轴和z轴)的加速度的形式检测运动和/或位置，以及检测绕三个主轴中的每个轴的旋转。在框206，imu 38从陀螺仪传感器32和加速度计34收集运动数据。
46.在框208和210，相机系统从安装在主机构件12上的单个相机和/或多个立体相机26收集输入图像形式的光学相机数据。在框212，相机系统组合从单个相机和/或多个立体相机22收集的输入图像。
47.在框214，系统10从gps接收器36收集主机构件12的gps位置。在框216和218，系统10收集信息以生成地图。更具体地，在框216，系统10从gps收集二维(2d)导航位置信息，并且在框218，系统10收集主机构件12在hd地图50中的hd地图50位置。在框220，系统10将主机构件12的2d位置信息和hd地图位置组合。
48.在框222，控制模块14使处理器16执行存储在存储器中的编程控制逻辑，以在粒子滤波算法56中对在步骤202至220中提及的各个传感器22的数据进行滤波和融合。具体地，粒子滤波算法56利用gps接收器36，设置主机构件12在地面上的初始位置。主机构件12以与其在地表上的实际位置相差大约10米的第一准确度，放置在基于gps接收器36数据确定的初始位置。输入图像捕获和定位对象(如标志)，并且一个或多个相机26还检测和估计主机构件12到输入图像中检测到的每个对象的距离。然后，控制模块14给一个或多个相机26捕获的图像数据中的每个对象分配坐标。然后，粒子滤波算法56利用hd地图50将输入图像与hd地图50进行比较，以验证主机构件12到输入图像中的、还出现在hd地图50中的预定对象的距离。同样地，粒子滤波算法56将hd地图50与从gps接收器36获得的位置估计进行比较。更具体地，比较和同步gps接收器36输入和hd地图50输入数据，以检测和验证主机构件12到输入图像中的预定对象的距离。
49.imu 38利用由gps接收器36捕获的初始位置作为运动计算的起始点。在随后的卫星47与gps接收器36之间的数据包通信中，粒子滤波算法56利用imu 38跟踪主机构件12的物理运动。具体地，imu 38跟踪主机构件12的旋转参数、加速度参数和磁学(例如指南针)参数。然而，imu 38本身受预定量的传感器误差的影响。随着时间的推移和使用次数的增多，基于imu 38的数据计算的真实世界中的主机构件12的位置可能偏离主机构件12的实际物理位置。因此，控制模块14通过根据hd地图50数据、gps接收器36数据及一个或多个相机26的输入图像数据确定主机构件12的位置(相对于主机构件12的预期位置)，以周期性地校正
imu 38数据中的这种传感器漂移。在框224，控制模块14通过粒子滤波算法56产生定位输出。
50.在多个方面，定位输出是对现实世界中主机构件12的位置的确定。定位输出比任何由单个传感器22或单套传感器22(如一个或多个相机26、gps接收器36、imu 38或hd地图50)独自产生的主机构件12位置数据更准确且更稳健。事实上，与至少任何两个传感器22或传感器组件的排列组合(例如一个或多个相机26和gps接收器36、或者一个或多个相机26和imu 38、或者一个或多个相机26和hd地图50、或者gps接收器36和imu 38、或者gps接收器36和hd地图50、或者imu 38和hd地图50)相比，定位输出具有更高的准确度和鲁棒性。控制模块14通过融合gps接收器36、imu 38、hd地图50和输入图像的数据并生成粒子滤波输出，连续且递归地定位和确定主机构件12的实时位置。
51.现在转到图4，并且继续参考图1至图3，示出了使用一个或多个相机26、gps 36和imu 38定位自动驾驶车辆的方法300。方法300开始于框302。在框304，系统10利用设置在主机构件12或车辆上的多个传感器22捕获数据。具体地，在框304，系统利用设置在主机构件12上的两个或两个以上相机26或光学传感器22捕获输入图像。在框306，将输入图像代入感知算法，该感知算法检测输入图像中的多个对象，并为输入图像中的多个对象中的每个对象提供距离估计。在框308，系统10利用gps接收器36与绕地球轨道运行的多个卫星47通信，并且周期性地接收第一组纬度和经度坐标，第一组纬度和经度坐标在大约十米的准确度范围内定义对主机构件12的位置的估计。gps接收器36与多个卫星47之间的每次周期性通信间隔预定时间量，该预定时间量定义时间步长。在框310，系统10通过使用dgps选择性地校正第一准确度范围，以将主机构件12的gps所确定的纬度和经度坐标的准确度增加到第二准确度范围(与第一准确度范围相比，其具有更高准确度)。在框312，系统通过imu 38连续地测量主机构件12的运动，使得在gps接收器36不主动地从卫星47接收gps位置信息的时间段，系统10通过陀螺仪传感器、加速度计和磁力计等，估计主机构件12的位置。在框314，系统10通过将imu 38输入数据应用到来自前一时间步长的gps接收器36输入数据，产生定义主机构件12的当前位置的第二组纬度和经度坐标，以改进主机构件12的估计位置。
52.在框316，系统10比较并同步输入图像和hd地图50输入数据，以验证主机构件12到出现在输入图像和hd地图50数据中的预定对象的距离。在框318，系统10通过卡尔曼滤波器融合gps接收器36输入、imu 38输入、输入图像和hd地图50输入，连续地定位主机构件12。更具体地，在框318，卡尔曼滤波器用于对gps接收器36输入和imu 38输入进行滤波和融合。在框320，卡尔曼滤波器的输出用于使用gps接收器36输入和imu 38输入测量值，确定主机构件12的坐标。在框322，通过粒子滤波算法56，对gps接收器36输入、imu 38输入和输入图像进行滤波。粒子滤波算法56通过融合从gps接收器36、imu 38、输入图像和hd地图50中的每一个获得的数据，生成定义主机构件12的实时物理位置的输出。在框324，系统10通过根据hd地图50输入、gps接收器36输入和输入图像所确定的主机构件12的位置，相对于主机构件12的预期位置周期性地校正imu 38输入数据中的传感器漂移。在框326，方法结束，并且迭代且连续地返回到方法300再次运行的框302。应当理解，方法300可运行一次，也可在此之后再运行任意次，这取决于主机构件12和系统10的运行情况。
53.利用hd地图50、imu 38、gps接收器36数据和相机26定位主机构件12(如自动驾驶车辆)的系统10和方法300具有多个优点，包括：鲁棒性和冗余性，及能在恶劣天气且无视距
通信的情况下继续准确和精确地运行。另外，因为本公开的系统10和方法300采用了已经装备在各种主机构件12上的传感器22，系统10和方法300在不增加部件成本、生产成本，或部件或生产复杂性的情况下增强了功能性、安全性等。
54.本公开的描述本质上仅仅是示例性的，并且不背离本公开的主旨的变型旨在落入本公开的范围内。这种变型不应视为背离了本公开的精神和范围。