一种自动驾驶汽车的路径规划学习方法与流程

1.本发明涉及汽车自动驾驶的技术领域，具体为一种自动驾驶汽车的路径规划学习方法。


背景技术：

2.现有自动驾驶汽车常采用算法进行机器学习实现路径规划，如a*算法和rrt算法等。这种利用算法进行路径规划，需要通过机器学习驾驶员的变道过程操作，记录下变道过程的多个参数，在自动驾驶情境下，如果识别路况信息与已学习的某一个路况信息对应上，则按照学习过程中相应路况信息的变道过程参数进行自动驾驶变道操作。这是一种有监督的学习过程，需要对不同的路况信息进行标注(即将路况信息与变道参数对应上)，这便需要较多的时间和路况信息，对训练数据集的要求较高，如在自动驾驶过程中出现训练数据集上未曾出现的路况信息，将导致自动驾驶变道操作难以执行，影响路径规划的准确性。同时，自动驾驶汽车还使用高精地图建模来实现路径规划，在建模的地图上运用路径规划算法，找到起点与终点的可行路径。但这种路径规划，主要适用于地理环境相对固定的自动驾驶场景，存在使用不便捷的现象。因此，如何更便捷和更准确地对自动驾驶汽车进行路径规划，具有重要的意义。


技术实现要素：

3.本发明提供一种自动驾驶汽车的路径规划学习方法，解决现有自动驾驶汽车进行路径规划时存在不便捷和不准确的问题，能提高自动驾驶汽车路径规划的准确性和效率，增加自动驾驶汽车的安全性。
4.为实现以上目的，本发明提供以下技术方案：
5.一种自动驾驶汽车的路径规划学习方法，包括：
6.通过车辆的摄像头和雷达采集车辆周边目标的图像，并根据所述图像对车辆周边目标进行左中右区域分类；
7.建立安全度计算模型，并根据车辆的车速和位置对左中右区域的各个目标进行行驶安全度计算；
8.获取车辆行驶的车道信息，并根据左中右区域各目标所对应的行驶安全度从高到低顺序进行车道选择及路径规划。
9.优选的，还包括：
10.构建离线仿真环境，并根据所述图像对车辆周边的目标提供离线仿真数据；
11.搭建安全度预测量深度学习神经网络，并根据所述离线仿真数据进行自学习，以优化安全度计算模型。
12.优选的，还包括：
13.将真实环境下采集到的感知信息通过透视变换，将3d场景变换为2d鸟瞰图，并对交通参与者进行类别标注和动态特征标注；
14.提取鸟瞰图特征，并根据所述鸟瞰图特征和所述行驶安全度对鸟瞰图进行聚类处理，以判断所述鸟瞰图对应到向左变道类、向右变道类和直行类，进而根据对应类别执行变道操作。
15.优选的，还包括：
16.根据车辆在离线仿真环境中的测试仿真结果进行路径规划学习，并根据实际变道操作的结果，将此次变道操作的真实环境下的鸟瞰图添加到数据集中，以用真实的环境数据逐步地替换离线仿真生成的数据。
17.优选的，还包括：
18.在真实环境下车辆完成变道操作后，对比变道前后的行驶安全度，若变道后行驶安全度不降低，则变道成功。
19.优选的，所述搭建安全度预测量深度学习神经网络，并优化安全度计算模型，包括：
20.通过所述安全度预测量深度学习神经网络进行自学习，以预测各个目标的安全度变化量；
21.将计算得到各个目标所对应的行驶安全度与预测的安全度变化量之和作为优化后各个目标的安全度预测量。
22.优选的，所述通过所述安全度预测量深度学习神经网络进行自学习，包括：
23.构建深度学习神经网络，将车辆计划变道行驶所对应车道的前车相对距离、前车相对速度、前车类别，后车相对距离、后车相对速度、后车类别作为神经网络的输入参数，神经网络的输出参数为安全度预测量；
24.将离线仿真数据作为神经网络的输入样本进行训练，每组离线仿真数据包括车辆计划变道行驶的那条车道的前车相对距离、前车相对速度、前车类别，后车相对距离、后车相对速度、后车类别，以及变道前后安全度的变化值；
25.通过梯度下降迭代优化，使神经网络收敛以得到输入与输出的映射关系。
26.优选的，所述将真实环境下采集到的感知信息通过透视变换，将3d场景变换为2d鸟瞰图，并对交通参与者进行类别标注和动态特征标注，包括：
27.在真实环境下将摄像头、雷达采集的实景图像通过透视变化，转化为2d鸟瞰图，所述鸟瞰图为100m
×
100m的感知平面，且所有的交通参与者的类别标注通过车载摄像图的机器视觉算法完成，动态特性标注通过车载雷达及感知算法完成。
28.优选的，所述判断所述鸟瞰图对应到向左变道类、向右变道类和直行类，进而根据对应类别执行变道操作，包括：
29.若真实环境下转换的鸟瞰图与向左变道类、向右变道类或直行类对应的鸟瞰图相似，则判定真实环境下的变道操作对应为：向左变道、向右变道或直行。
30.本发明提供一种自动驾驶汽车的路径规划学习方法，根据车辆周边目标的左中右区域分类和安全度计算，进行车道选择和路径规划，解决现有自动驾驶汽车进行路径规划时存在不便捷和不准确的问题，能提高自动驾驶汽车路径规划的准确性和效率，增加自动驾驶汽车的安全性。
附图说明
31.为了更清楚地说明本发明的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。
32.图1为本发明提供的一种自动驾驶汽车的路径规划学习方法的示意图。
33.图2是本发明提供的一种离线强化学习方法流程图。
具体实施方式
34.为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
35.针对当前自动驾驶汽车进行路径规划时存在不便捷和不准确的问题，本发明提供一种自动驾驶汽车的路径规划学习方法，解决现有自动驾驶汽车进行路径规划时存在不便捷和不准确的问题，能提高自动驾驶汽车路径规划的准确性和效率，增加自动驾驶汽车的安全性。
36.如图1所示，一种自动驾驶汽车的路径规划学习方法，包括：
37.s1：通过车辆的摄像头和雷达采集车辆周边目标的图像，并根据所述图像对车辆周边目标进行左中右区域分类。
38.s2：建立安全度计算模型，并根据车辆的车速和位置对左中右区域的各个目标进行行驶安全度计算。
39.s3：获取车辆行驶的车道信息，并根据左中右区域各目标所对应的行驶安全度从高到低顺序进行车道选择及路径规划。
40.具体地，行驶安全度是针对摄像头感知的每一帧图像并融合雷达测距信息来进行计算生成的。在车流量较大的车道环境中行驶时，针对摄像头和雷达采集到一帧图像，根据图像范围内采集到的目标类别信息、目标距离信息、目标相对速度信息按照特定算法计算左中右区域内的行驶安全度。算法遵循的基本原则是：行驶环境中有行人、大型拖挂车等且距离较近，行驶安全度低；行驶环境中车道空旷，附近是稳定行驶的轿车，则行驶安全度高。如，当前车道前方有车辆，但相对距离和相对车速可控，因此定义行驶安全度较高，m
security
＝90％，左侧车道没有车辆，但变道存在安全风险，因此行驶安全度l
security
＝80％，同理，右侧车道有车辆，且距离较近，变道存在风险，行驶安全度r
security
＝50％。
41.在一实施例中，在定义了因变量的情况下，如因变量包括相对车速、相对距离、车流密度、车辆类别信息等，是可以计算出前方车道的行驶安全度：security＝φ(x1，x2，x3...xi)。其中，(x1，x2，x3...xi)为因变量、函数φ为计算出的行驶安全度。在变道条件允许的前提下，自动驾驶汽车的变道操作应优先考虑安全度更高的方向。
42.该方法还包括：
43.构建离线仿真环境，并根据所述图像对车辆周边的目标提供离线仿真数据；
44.搭建安全度预测量深度学习神经网络，并根据所述离线仿真数据进行自学习，以优化安全度计算模型。
45.在实际应用中，离线仿真环境可以定义交通参与者actor，并对交通参与者的行为进行规划。部分自动驾驶头部企业，有自己专用的仿真测试用例，在测试用例中定义好了车道、交通参与者及其行驶的路径，而ego car则是需要测试自动驾驶车辆，该自动驾驶车辆
按照设定的自动驾驶控制逻辑在仿真测试环境上运行，观察运行过程中是否会出现碰撞等安全事故，以在离线仿真环境下进行训练一种可行的车道选择及路径规划。
46.进一步，所述搭建安全度预测量深度学习神经网络，并优化安全度计算模型，包括：
47.通过所述安全度预测量深度学习神经网络进行自学习，以预测各个目标的安全度变化量；将计算得到各个目标所对应的行驶安全度与预测的安全度变化量之和作为优化后各个目标的安全度预测量。
48.具体地，为保证安全度计算具有较高的准确率，在离线环境下对计算模型进行优化。除了按照上述因变量进行计算，还增加预测的安全度变化量。共同作为安全度的计算结果，指导自动驾驶汽车的变道规划。
49.改进后的行驶安全度计算公式如下：security＝φ(x1，x2，x3...xi)+δs；其中δs是增加的安全度预测量，δs根据离线仿真学习过程进行优化。
50.在一实施例中，一种安全度预测量计算模型可以利用神经网络来完成，通过构建深度学习神经网络，神经网络的输入参数为车辆计划变道行驶的那条车道的前车相对距离、前车相对速度、前车类别，后车相对距离、后车相对速度、后车类别。为方便神经网络计算，我们将前车、后车的类别使用数字量化，将轻卡、重卡、轿车、2轮车、3轮车、农用车等等常见车辆类别分别用数字代替；神经网络的输出参数为安全度预测量。在神经网络的输出层和输入层之间，我们添加全连接层、隐含层、dropout层，以提高神经网络的性能。我们向神经网络输入足够多的离线仿真数据，每组离线仿真数据包括车辆计划变道行驶的那条车道的前车相对距离、前车相对速度、前车类别，后车相对距离、后车相对速度、后车类别，以及变道前后安全度的变化值。通过梯度下降迭代优化，使神经网络收敛，学习到输入到输出的映射关系。
51.该方法还包括：
52.将真实环境下采集到的感知信息通过透视变换，将3d场景变换为2d鸟瞰图，并对交通参与者进行类别标注和动态特征标注。
53.提取鸟瞰图特征，并根据所述鸟瞰图特征和所述行驶安全度对鸟瞰图进行聚类处理，以判断所述鸟瞰图对应到向左变道类、向右变道类和直行类，进而根据对应类别执行变道操作。
54.根据车辆在离线仿真环境中的测试仿真结果进行路径规划学习，并根据实际变道操作的结果，将此次变道操作的真实环境下的鸟瞰图添加到数据集中，以用真实的环境数据逐步地替换离线仿真生成的数据。
55.在真实环境下车辆完成变道操作后，对比变道前后的行驶安全度，若变道后行驶安全度不降低，则变道成功。
56.进一步，所述将真实环境下采集到的感知信息通过透视变换，将3d场景变换为2d鸟瞰图，并对交通参与者进行类别标注和动态特征标注，包括：
57.在真实环境下将摄像头、雷达采集的实景图像通过透视变化，转化为2d鸟瞰图，所述鸟瞰图为100m
×
100m的感知平面，且所有的交通参与者的类别标注通过车载摄像图的机器视觉算法完成，动态特性标注通过车载雷达及感知算法完成。
58.进一步，所述判断所述鸟瞰图对应到向左变道类、向右变道类和直行类，进而根据
对应类别执行变道操作，包括：
59.若真实环境下转换的鸟瞰图与向左变道类、向右变道类或直行类对应的鸟瞰图相似，则判定真实环境下的变道操作对应为：向左变道、向右变道或直行。
60.在实际应用中，如图2所示，一种典型的离线强化学习方法如下：
61.构建仿真场景，设置行驶道路，添加交通参与者，并规划交通参与者的行驶路径。
62.通过透视变换，将3d场景变换为鸟瞰图下的2d场景，生成的2d场景图是一个平面图像。透视变换可以将物体在三维空间的相对位置关系，变换到二维平面图上，由于在变道决策过程中，我们可以忽略交通参与者的高度信息，因此这种降维操作不影响我们的动作决策结果。而转化的二维图像，却可以适用很多计算机视觉处理的方法。比3d的复杂感知信息处理起来要方便的多。
63.将足够多的带标签的鸟瞰图以及对应的变道操作，一起输入给强化学习模块。其中变道操作，一定是在我们的行驶安全度计算模型足够精确下，通过大量的离线仿真数据找到的，对应某一个鸟瞰图的最佳的变道操作。通过卷积神经网络、自注意机制，可以使得强化学习模块学得鸟瞰图分类的方法，当今后给强化学习模块一个陌生的鸟瞰图，强化学习模块会根据以往的知识，快速判断该鸟瞰图对应到向左变道类、向右变道类和直行类中的哪个类别。
64.对离线仿真使用的鸟瞰图进行特征提取，对图像的特征提取属于数据挖掘领域的常规操作，本发明对此不作限定。按照提取的特征对鸟瞰图进行聚类处理。聚类操作可以使用k-mean或其他聚类方法，在此不做限定。将所有的离线仿真鸟瞰图归类到向左变道类、向右变道类和直行类中的某一个类别。
65.在真实环境下的自动驾驶，将摄像头、雷达采集的实景图像同样通过透视变化，转化为2d鸟瞰图，该鸟瞰图同样是100m
×
100m的感知平面，且所有的交通参与者都已完成了类别标注和动态特性标注，类别标注通过车载摄像图的机器视觉算法完成，动态特性标注通过车载雷达及感知算法完成。
66.判断真实环境下转换的鸟瞰图提取的特征，能否与离线学习的鸟瞰图的哪一个类别近似，近似的判定标准是，鸟瞰图提取的特征相似。若真实环境下转换的鸟瞰图与向左变道类的鸟瞰图相似，则判定真实环境下的最佳操作为向左变道。
67.在真实环境下的车辆完成变道操作后，对比变道前后的行驶安全度，若变道后行驶安全度不降低，则变道成功，将此次变道操作的真实环境下的鸟瞰图添加到我们的数据集中，用真实的环境数据逐步地替换离线仿真生成的数据，使得数据集更贴近实际。若真实环境下的感知信息转化为鸟瞰图，无法根据提取的特征找到其对应的类别，则由驾驶经验丰富的人员对该感知信息进行分类，将其归于向左变道、向右变道和直行当中的某一个类别。
68.可见，本发明提供一种自动驾驶汽车的路径规划学习方法，根据车辆周边目标的左中右区域分类和安全度计算，进行车道选择和路径规划，解决现有自动驾驶汽车进行路径规划时存在不便捷和不准确的问题，能提高自动驾驶汽车路径规划的准确性和效率，增加自动驾驶汽车的安全性。
69.以上依据图示所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构
想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。