一种无人驾驶车辆的驾驶路线决策方法及系统与流程

本发明涉及无人驾驶车辆控制领域，尤其涉及一种无人驾驶车辆的驾驶路线决策方法及系统。

背景技术：

1、随着科技的发展，无人驾驶技术逐渐成为研究的热点。其中，无人驾驶车辆的驾驶路线决策是其核心技术之一，直接关系到车辆行驶的安全性和效率。传统的驾驶路线决策方法主要依赖于预先设定的规则和算法，无法根据实时变化的路况做出适应性调整。此外，对于复杂的道路和环境，这些方法往往难以做出准确的判断和决策，导致行驶路径不准确或不合理；因此现有无人驾驶车辆的驾驶路线决策方法在实时性、路况识别精度、智能化程度、数据安全与隐私保护以及环境适应性等方面存在显著不足，亟待改进。

2、如授权公告号为cn108973990b的中国专利公开了一种用于为车辆提供自动驾驶控制的计算机实施的方法、非暂时性机器可读介质以及数据处理系统。系统包括用于提供决策过程的框架，其中，所述决策过程可以从周围车辆和交通流学习以确定适合的响应动作。系统可观察其它车辆以及确定供车辆遵循的轨迹。系统可依赖于专门的拥堵探测和决策部件，其中，所述拥堵探测和决策部件可提供用于闪避绕过阻障的一系列指令或者规则。此外，系统可将闪避与绕路相比较，以及基于对多种因素的分析为车辆确定最适合的路线。相应地，即使当遭遇驾驶阻障时，系统可继续提供安全和高效的自动驾驶控制。

3、如公开号为cn113212453a的中国专利公开了一种网联环境下的自动驾驶车辆融合导航决策方法，该方法利用自动驾驶控制系统控制车辆，所述自动驾驶控制系统控制车辆包括车辆位置定位模块、外部环境识别模块和远程指示地点状况识别模块，所述车辆位置定位模块用于获取自动驾驶车辆在地图上的位置；所述外部环境识别模块用于识别车辆的外部环境；所述远程指示地点状况识别模块基于预先设定的自动驾驶车辆的目标路线识别目标路线上地点状况；

4、通过对上述现有技术的分析发现，无法根据实时变化的路况做出适应性调整。此外，对于复杂的道路和环境，这些方法往往难以做出准确的判断和决策，导致行驶路径不准确或不合理，并且现有方法大多针对全局路径的整体把控，但对于局部状态的转化和局部路径的搜索存在不足，使得车辆在局部运行时决策不够灵敏，且无法对于突发异常情况进行及时的决策调整，为解决上述问题，本发明提供了一种无人驾驶车辆的驾驶路线决策方法及系统。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，提供了一种无人驾驶车辆的驾驶路线决策方法及系统，该方法通过车载传感器和通信设备收集车辆历史和实时的相关运行数据，并进行预处理；利用虚拟环境构建行为决策模型、局部决策模型和全局决策模型，并使用上述数据对模型进行训练；车辆根据输入的起始点和目标点，通过初始全局决策模型调用初始行为决策模型和初始局部决策模型生成车辆状态跳转的决策指令，控制车辆在局部运行过程中的动作执行。此外，该方法利用实时监测数据进行微调优化，并监测车辆运行状态和异常情况，做出对应的决策调整；通过本方法提高了无人驾驶车辆驾驶路线决策方法的智能化程度，解决了行驶路径不准确和不合理的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种无人驾驶车辆的驾驶路线决策方法，包括以下步骤：

4、s1：通过车载传感器和通信设备收集无人驾驶车辆的历史行驶视频帧数据、实时感知数据、地图数据以及交通规则数据和路况实时信息数据，并进行预处理，将处理后的数据按照不同的数据类型进行分片保存；

5、s2：利用虚拟环境构建对应的行为决策模型、局部决策模型和全局决策模型，并利用s1中获取的不同类型数据进行训练，获取训练完成的初始行为决策模型、初始局部决策模型和初始全局决策模型，并将所述对应初始行为决策模型、初始局部决策模型和初始全局决策模型部署到车辆决策系统中；

6、s3：通过交互平台将车辆起始点与目标点输入到初始全局决策模型中，初始全局决策模型根据输入的起始点和目标点，调用初始行为决策模型生成车辆具体状态跳转的决策指令、初始局部决策模型根据具体运行环境和状态跳转的决策指令生成具体的车辆局部运行决策指令，使用控制模块将生成的局部运行决策指令转化为控制信号，控制车辆在局部运行过程执行具体地起步、直行、转弯、掉头、会车、变道、避让和停车动作，并利用初始全局决策模型协调初始行为决策模型和初始局部决策模型在起始点到目标点的所有工作转换流程，保证车辆安全到达目标点；

7、s4：将s3执行完毕的所述初始行为决策模型和初始局部决策模型信息保存并利用车辆运行实时监测数据进行微调优化，执行后续车辆运行中相同状态跳转和执行动作的决策；

8、s5：利用车辆传感器实时监测车辆运行状态和异常情况，并将监测的运行状态和异常情况数据返回到初始全局决策模型、保存的决策信息和远程控制平台中，远程控制平台和初始全局决策模型根据运行状态和异常情况协调初始行为决策模型和初始局部决策模型做出对应的决策调整，同时利用异常情况数据优化保存的决策信息，使其在执行后续运行相同动作时，做出对应动作决策调整。

9、具体地，s1中的实时感知数据包括车辆运行时不同时间点的位置数据，运行环境实时分类检测数据和移动障碍轨迹预测数据；路况实时信息数据包括但不限于实时交通流量数据、道路状况数据和运行位置气象数据；运行环境实时检测数据，采用了一种多目标跟踪检测的策略进行获取，其中，多目标跟踪检测的策略具体步骤包括：

10、s201：基于一次学习原理构建的多目标跟踪检测分类模型，并利用车辆历史行驶视频帧数据中所采集的不同运行环境视频帧序列对所述多目标跟踪模型进行训练，获取预训练的多目标检测分类模型；

11、s202：将预训练的多目标跟踪检测分类模型部署在车载传感器系统中，当车辆运行时通过车载传感器实时拍摄运行环境的视频帧数据，将实时数据利用检测分类模型进行分类并自动标注锚框、标签和对应的id，获取运行环境实时分类检测数据；分类检测数据包括静态障碍和移动障碍及不同障碍对应的id；分类的类别包括静态障碍和移动障碍；

12、s203：将检测的静态障碍和移动障碍以及移动障碍轨迹预测数据反馈给全局决策模型，协调具体行为决策和局部决策的生成；所述移动障碍轨迹预测数据，采用了一种自适应多模态移动障碍轨迹预测策略进行获取，其中，自适应多模态移动障碍轨迹预测策略具体包括：

13、a、基于图论和注意力机制构建自适应多模态车辆轨迹预测模型，并对构建的车辆轨迹预测模型利用无人驾驶车辆及其周围移动障碍的历史行驶视频帧数据进行预训练，获取对应的预测模型，并将预测模型部署在车载传感器系统中；

14、b、将所述s203中检测分类得到的移动障碍、对应的id和车载传感器实时收集到的移动障碍的运行数据输入到预训练模型中，计算得到对应不同移动障碍的预测移动轨迹及其与无人驾驶车辆的碰撞概率pi，并对不同移动障碍的碰撞概率按照降序进行排序，获取最大碰撞概率

15、c、设置碰撞概率指数c碰，当计算得到的最大碰撞概率都小于c碰时，所述初始全局决策模型不对车辆原有的运行状态进行调整；当至少一个对应移动障碍的碰撞概率pi大于或等于c碰时，将大于或等于c碰对应障碍的信息反馈给初始全局决策模型，初始全局决策模型根据反馈障碍的信息，协调初始行为决策模型和初始局部决策模型对车辆运行状态进行调整，使无人驾驶车辆实时保持安全运行状态。

16、具体地，s201中的多目标跟踪检测分类模型，采用了一种目标匹配机制，用于对运动状态和距离相近的移动障碍进行区别检测，具体包括：

17、s301：设为多目标跟踪检测分类模型提取的t时刻视频帧中不同移动障碍目标状态向量组成的矩阵，其中n为同一视频帧中检测障碍的个数；

18、s302：根据矩阵st，计算得到不同障碍物目标状态向量之间的匹配距离，具体公式为：

19、

20、其中，λ表示距离加权系数，表示障碍i和障碍j在t时刻对应目标状态向量和之间的匹配距离，表示障碍i和障碍j在t时刻对应目标状态向量和之间的余弦距离，表示障碍i和障碍j在t时刻对应目标状态向量和之间的马氏距离；

21、s303：设置目标匹配距离阈值d配，当d配小于d配时表示障碍i和障碍j在t时刻对应目标状态向量和为同一个障碍获取，障碍i和障碍j为同一障碍；否则，障碍i和障碍j为不同障碍。

22、具体地，s2中虚拟环境构建的行为决策模型，采用了一种强化学习策略，具体包括：

23、s401：根据收集无人驾驶车辆的历史行驶视频帧数据、实时感知数据、地图数据以及交通规则数据和路况实时信息数据构建对应强化学习的交互环境；构建车辆当前状态其中，和表示无人驾驶车辆在t时刻车辆中心点在oxy坐标轴中的当前状态位置坐标，和表示无人驾驶车辆从当前状态转换到下一状态位置车辆中心点位置在oxy坐标轴上的位置差，ws表示无人驾驶车辆方向盘偏转预设角度与实际偏转角度的误差，表示无人驾驶车辆在t时刻的瞬时行驶速度，表示无人驾驶车辆在t时刻的瞬时加速度，表示无人驾驶车辆在t时刻需要停车的概率，表示无人驾驶车辆在t时刻需要会车的概率，表示无人驾驶车辆在t时刻需要转弯的概率，表示无人驾驶车辆在t时刻需要变道的概率，表示无人驾驶车辆在t时刻需要掉头的概率，表示无人驾驶车辆在t时刻发生故障的概率；构建多变量奖励函数rt，具体包括：

24、

25、rt＝α1rxy+α2rv+α3ra+α4re+α5rd+α6rs+α7rc，

26、其中，rx表示车辆安全到达下一状态位置的奖励函数，rv表示在前方无障碍情况下无人驾驶车辆速度到达预定匀速行驶速度的奖励函数，ra表示无人驾驶车辆加速稳定奖励函数，re表示无人驾驶车辆偏离车道中心奖励函数，rd表示无人驾驶车辆与前车和后车的距离奖励函数，rs表示无人驾驶车辆方向盘偏转抖动偏差的奖励函数，rc表示无人驾驶车辆碰撞惩罚奖励函数，k1，k3，k4依次表示对应奖励的增益系数，表示无人驾驶车辆预定匀速行驶速度，e表示自然数，dd表示无人驾驶车辆传感器最大检测距离，dh表示无人驾驶车辆与前方障碍在无人驾驶车辆行驶车道的投影距离，ws表示无人驾驶车辆方向盘偏转预设角度与实际偏转角度的误差；α1，α2，α3，α4，α5，α6，α7依次表示奖励函数rx、rv、ra、re、rd、rs、rc的比例系数；

27、s402：基于sac算法构建具体的强化学习方法，并将上述构建的交互环境、车辆当前状态、多变量奖励函数，输入到强化学习方法中，输出具体地状态跳转的决策指令，使车辆安全跳转到下一状态位置。

28、具体地，s2中虚拟环境构建的局部决策模型，采用融合bezier曲线的局部路径规划策略，具体包括：

29、s501：设行为决策中车辆从当前状态位置到下一状态位置为一个局部区域，将局部区域采用栅格法进行划分，获取n个局部子区域；

30、s502：将所述当前状态位置作为整体运行路径起始点的一个子起始点，将下一状态位置作为整体运行路径目标点的一个子目标点，利用融合bezier曲线的局部路径算法在子起始点与子目标点之间的子区域中搜索出最佳的局部最优路径，使车辆安全到达子目标点；

31、s503：将子目标点作为下一时刻行为决策的当前状态位置，并利用行为决策模型获取下一时刻子目标点，重复s501-s502搜索不同时刻局部区域的局部最优路径，直到车辆安全到达目标点为止。

32、具体地，控制模块，采用了一种自更新比例积分微分控制策略，具体包括：

33、s601：随机初始化比例积分微分控制算法的参数，将局部运行决策指令转化为控制信号，控制无人驾驶车辆具体地运行，通过实际运行获取实际从当前状态位置到下一状态位置之间车辆的位置偏差与初始局部决策模型规划的局部最优路径位置偏差之间的误差；

34、s602：将误差反馈给初始行为决策模型和比例积分微分控制算法，对初始行为决策模型进行实时调整，同时对比例积分微分控制算法参数进行自适应更新。

35、具体地，s4中微调优化的具体步骤包括：

36、s701：利用车辆在当前时刻局部区域实时运行获取的监测数据对执行完毕的初始行为决策模型和初始局部决策模型的参数依次进行更新，更新完毕上传并保存梯度参数；

37、s702：当车辆获取下一时刻局部区域实时运行数据时，利用该数据覆盖当前时刻所收集到数据，并利用该数据进行s701中的更新和梯度参数的保存。

38、一种无人驾驶车辆的驾驶路线决策系统，包括数据采集与存储模块、感知模块、决策模块、控制模块、决策存储与优化模块、远程通信与交互模块，虚拟训练模块和故障监测与处理模块；

39、数据采集与存储模块，用于通过车载传感器收集无人驾驶车辆的历史行驶数据、实时感知数据、地图数据以及交通规则与路况实时信息数据，并对采集的不同种类数据进行预处理和分片保存；

40、感知模块，用于对无人驾驶车辆进行实时定位以及周围环境的检测和预测；

41、决策模块，用于无人驾驶车辆从出发地成功驾驶到目的地间行驶轨迹的全局及局部路径规划；

42、控制模块，用于根据实时生产的路径行驶策略，对无人驾驶车辆在道路行驶中的位置、速度与行驶状态进行实时控制和调整，保证车辆安全准时到达目的地；

43、决策存储模块与优化模块，用于对生成的决策进行存储，并利用实时采集到的新路径与场景信息进行优化，并生成相似路线场景的决策信息；

44、远程通信与交互模块，用于远程控制平台与车辆的实时通信和车辆与乘客或远程操作员的实时信息交互；

45、虚拟训练模块，用于路线决策全过程策略模型的构架与训练以及历史存储策略的实时优化；

46、故障监测与处理模块，实时监测和感知车辆在行驶过程中出现的自身异常情况和数据传输异常情况，并对出现的异常进行及时修正和上传。

47、具体地，数据采集与存储模块包括数据采集单元和预处理与存储单元；感知模块包括定位单元、场景检测单元和移动障碍轨迹预测单元；决策模块包括行为决策单元、局部决策单元、和全局决策单元；

48、数据采集单元，用于对无人驾驶车辆的历史行驶数据、实时感知数据、地图数据以及交通规则与路况实时信息数据进行采集，并对新采集的不同类型数据进行更新；

49、预处理与存储单元，用于对所述数据采集单元采集的不同数据进行预处理，并按照不同数据类型对采集的数据进行分片保存，并使用更新功能利用新采集的场景数据对对应的历史数据进行更新覆盖；

50、定位单元，用于无人驾驶汽车自身所处环境真实物理位置以及对应静态和动态障碍物位置的定位；

51、场景检测单元，用于无人驾驶汽车对自身所处环境的其他道路交通参与者和交通元素信息的实时检测；

52、移动障碍轨迹预测单元，用于对无人驾驶汽车对自身在所处环境上其他道路交通参与者变化轨迹和交通元素信息变化状态的预测；

53、行为决策单元，用于根据车辆运行环境和道路规则，对车辆行驶状态进行改变，使车辆时刻保持安全驾驶行为状态；

54、局部决策单元，用于根据行为决策单元规划的驾驶行为计算至所需目标行驶状态的可行无碰撞路径及安全速度分布；

55、全局决策单元，用于控制和协调无人驾驶车辆从当前位置到所需目的地的所有局部决策和行为决策，保证车辆按照决策路线到达目的地。

56、具体地，决策存储模块与优化模块包括决策存储单元和动态优化单元；虚拟训练模块包括模型生成单元和优化训练单元；远程通信与交互模块包括远程通信单元和人机交互单元；

57、决策存储单元，用于将计算出的所述行为、局部和全局决策信息存储在数据库中，便于后续分析和优化；

58、动态优化单元，用于对保存到决策存储单元的历史行为决策、局部决策和全局决策，采用实时收集的新数据进行持续更新优化；

59、模型生成单元，用于根据车辆行驶过程中所需进行的动作和决策自动生成对应的决策模型；

60、优化训练单元，用于对生成的决策模型利用存储单元存储的不同种类数据进行实时训练和优化；

61、远程通信单元，用于实现无人驾驶车辆与远程控制中心之间的数据传输和通信；

62、人机交互单元，用于提供车辆与乘客或远程控制员进行交互的界面或操作平台。

63、与现有技术相比，本发明的有益效果是：

64、1.本发明针对现有无人驾驶车辆路线决策方法在局部决策和智能控制方面的不足，基于强化学习构建并训练的初始行为决策模型，时刻控制车辆运行的状态决策转换，同时采用融合bezier曲线的局部路径规划策略的初始局部决策模型，时刻搜索出最优的局部路径，使得车辆在每一时刻都是在最优的决策下运行，并且使用初始全局决策模型来协调初始行为决策模型和初始局部决策模型的具体工作流程，使车辆运行能够在全程最优路径下到达目标点；此外，本发明利用运行过程的异常数据优化行为决策模型，使得车辆可以在遇到异常情况时及时采取应对措施，进一步保证了车辆的行驶安全性和提高了系统的健壮性和可靠性；

65、2.本发明针对在相同环境生成决策导致的决策冗余和系统运行效率低的问题，将执行完毕的决策进行保存并更新，用于执行后续运行过程中出现的相同行为决策和局部决策，这大大减少了系统在运行过程中的工作量，降低了系统参数冗余，提高了系统运行的效率。