对象行驶意图的预测方法和装置、存储介质及电子装置与流程

文档序号:32982313发布日期:2023-01-17 22:13阅读:38来源:国知局
对象行驶意图的预测方法和装置、存储介质及电子装置与流程

1.本技术涉及车辆控制领域,具体而言,涉及一种对象行驶意图的预测方法和装置、存储介质及电子装置。


背景技术:

2.随着汽车制造业的不断发展以及人们对车辆控制需求的不断提高,在车辆驾驶过程中,如何能够更高效的为车辆提供自动驾驶功能逐渐成为车辆领域研究的重点。准确和及时的预测出驾驶环境内其他车辆的驾驶行为是实现自动驾驶的关键技术之一。在自动驾驶系统中,轨迹预测模块是扮演一个承上启下的角色,它一般位于感知模块的后端,也是规划控制模块的前端。该模块接收来自感知模块的障碍物信息,对障碍物进行轨迹预测。预测的结果会发送给下游的规划控制模块。轨迹预测的信息对规划自车行驶路径有很重要的作用。
3.目前,驾驶行为的预测主要有两种解决方案,其中一种是直接预测车辆未来的行驶轨迹,另外一种是先预测车辆的行驶意图(直行,向左变道,向右变道等),再在意图预测的基础上,生成合理的行驶轨迹。例如,预测的结果是向左变道,然后再根据车辆距离左车道中心线的距离和车辆横向速度,计算出变道时间,然后基于此生成轨迹。因此行驶意图的预测也就显得至关重要。相关技术中,通过对待预测行驶意图的车辆的历史行驶参数进行分析,从而对车辆的行驶意图进行预测,但是在车辆的实际行驶过程中,道路上不可能只有一个待预测行驶意图的车辆在行驶,因此这种基于车辆以往行驶数据的行驶预测并不能适用于当前城市道路上的复杂的交通环境,严重影响行驶意图的预测的准确率。
4.针对相关技术中行驶意图预测的准确率较低等问题,尚未提出有效的解决方案。


技术实现要素:

5.本技术实施例提供了一种对象行驶意图的预测方法和装置、存储介质及电子装置,以至少解决相关技术中行驶意图预测的准确率较低等问题。
6.根据本技术实施例的一个实施例,提供了一种对象行驶意图的预测方法,包括:在目标道路上检测所述目标道路上行驶的当前车辆所对应的目标对象,其中,所述目标对象是所述目标道路上允许对所述当前车辆的行驶方式产生影响的对象;在检测到所述目标对象的情况下,获取所述目标对象的第一行驶信息,获取所述目标对象的参考对象的第二行驶信息,并获取所述目标道路的道路信息,其中,所述参考对象是所述目标道路上允许对所述目标对象的行驶方式产生影响的对象,所述第一行驶信息包括所述目标对象在目标时间段内在所述目标道路上的行驶信息,所述第二行驶信息包括所述参考对象在所述目标时间段内在所述目标道路上的行驶信息,所述道路信息包括所述目标道路上允许对所述目标对象的行驶方式产生影响的信息,所述目标时间段包括当前时刻以及所述当前时刻之前的一个或者多个历史时刻;从所述第一行驶信息中提取所述目标对象的第一行驶特征,从所述第二行驶信息
中提取所述参考对象的第二行驶特征,并从所述道路信息中提取道路特征,其中,所述第一行驶特征用于表征所述目标对象在所述目标道路上的第一行驶方式,所述第二行驶特征用于表征所述参考对象在所述目标道路上的第二行驶方式,所述道路特征用于表征在所述目标道路上允许所述目标对象在所述当前时刻之后的时刻采用的行驶方式;根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,其中,所述行驶关系特征用于表征所述目标对象和所述参考对象之间的交互关系;根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,其中,所述行驶意图用于控制所述当前车辆在所述目标道路上行驶。
7.可选的,所述根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,包括:将每条候选车道的车道轨迹特征、所述行驶关系特征和所述第一行驶特征输入至第一目标全连接网络中,得到所述第一目标全连接网络输出的参考概率,其中,所述道路特征包括一条或者多条所述候选车道中每条所述候选车道所对应的车道轨迹特征,所述参考概率用于指示在所述目标时刻所述目标对象将在每条所述候选车道上行驶的概率,所述候选车道为所述目标道路所包括的多条车道中在所述目标时刻允许所述目标对象行驶的车道,所述第一目标全连接网络是使用标注了未来时刻行驶车道的样本集训练的;根据每条所述候选车道对应的所述参考概率预测所述目标对象在所述目标时刻的所述行驶意图,其中,所述行驶意图用于指示所述目标对象在所述目标时刻的车道变换方式。
8.可选的,所述根据每条所述候选车道对应的所述参考概率预测所述目标对象在所述目标时刻的所述行驶意图,包括:使用目标滤波器对每个所述参考概率进行滤波,得到每条所述候选车道对应的目标概率,其中,所述目标滤波器用于调整所述第一目标全连接网络输出的突变结果,所述突变结果是所述参考概率与初始概率之间的差值大于目标阈值的概率,所述初始概率根据使用所述第一目标全连接网络得到的所述目标对象在所述历史时刻在所述候选车道上行驶的概率确定的;将多个所述目标概率中最大的所述目标概率对应的所述候选车道确定为所述目标对象在所述目标时刻所行驶的目标车道作为所述行驶意图。
9.可选的,所述获取所述目标道路的道路信息,包括:在所述每条所述候选车道中截取出所述目标对象待行驶的候选路段,其中,所述候选路段的长度是根据所述目标对象的行驶速度确定的;从每条所述候选路段的路段中心线中确定出目标数量的检测位点;确定每个所述检测位点在所述目标对象的frenet坐标系中的目标位点信息作为所述道路信息,其中,所述目标位点信息用于指示所述候选路段在所述frenet坐标系中的位置参数。
10.可选的,所述从所述道路信息中提取道路特征,包括:将与每个所述候选路段对应的所述目标数量的所述检测位点的所述目标位点信息输入至第一目标卷积网络中,得到所述第一目标卷积网络输出的所述候选路段的路段特征作为所述车道轨迹特征,其中,所述路段特征用于指示所述候选路段中所述目标数量的所述检测位点之间的关联关系。
11.可选的,所述根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,包括:将所述第一行驶特征和所述第二行驶特征输入至目标图神经网络,其中,所述目标图神经网络用于指示目标对象集合中任意两个对象之间的关系,所述目标对象集合包括所述目
标对象和所述参考对象,所述目标图神经网络中包括与所述目标对象集合中每个对象的行驶信息一一对应的目标节点,任意两个目标节点之间通过目标连线连接,所述目标连线用于指示所连接的所述目标节点对应的对象之间的相对位置关系;获取所述目标图神经网络对所述第一行驶特征和所述第二行驶特征进行计算后输出的目标特征作为所述行驶关系特征。
12.可选的,所述从所述第一行驶信息中提取所述目标对象的第一行驶特征,包括:将所述第一行驶信息中所包括的具有时序性的第一参数输入至第二目标卷积网络中得到第一时序性特征,并将所述第一行驶信息中所包括的非时序性的第二参数输入到第二目标全连接网络中得到第一非时序性特征,其中,所述具有时序性的第一参数是在所述目标时间段内采集到的与采集时刻的先后顺序相关的所述目标对象的参数,所述非时序性的第二参数是在所述目标时间段内采集到的与采集时刻的先后顺序无关的所述目标对象的参数;对所述第一时序性特征和所述第一非时序性特征进行融合,得到所述第一行驶特征。
13.可选的,所述从所述第二行驶信息中提取所述参考对象的第二行驶特征,包括:将所述第二行驶信息中所包括的具有时序性的第三参数输入至第三目标卷积网络中得到第二时序性特征,并将所述第二行驶信息中所包括的非时序性的第四参数输入到第三目标全连接网络中得到第二非时序性特征,其中,所述具有时序性的第三参数是在所述目标时间段内采集到的与采集时刻的先后顺序相关的所述参考对象的参数,所述非时序性的第四参数是在所述目标时间段内采集到的与采集时刻的先后顺序无关的所述参考对象的参数;对所述第二时序性特征和所述第二非时序性特征进行融合,得到所述第二行驶特征。
14.可选的,在所述从所述第一行驶信息中提取所述目标对象的第一行驶特征之前,所述方法还包括:构建初始行驶意图预测模型,其中,所述初始行驶意图预测模型包括第一初始全连接网络、第二初始全连接网络、第三初始全连接网络、第一初始卷积网络、第二初始卷积网络、第三初始卷积网络以及初始图神经网络,所述初始图神经网络的输入分别与所述第二初始全连接网络、第三初始全连接网络、第二初始卷积网络以及第三初始卷积网络的输出连接,所述第一初始全连接网络的输入分别与所述第一初始卷积网络、所述第二初始卷积网络以及所述初始图神经网络的输出连接;使用标记了车辆在道路上所行驶的车道的训练样本对所述初始行驶意图预测模型进行训练,得到目标行驶意图预测模型,其中,所述目标行驶意图预测模型包括第一目标全连接网络、第二目标全连接网络、第三目标全连接网络、第一目标卷积网络、第二目标卷积网络、第三目标卷积网络以及目标图神经网络,所述目标图神经网络的输入分别与所述第二目标全连接网络、第三目标全连接网络、第二目标卷积网络以及第三目标卷积网络的输出连接,所述第一目标全连接网络的输入分别与所述第一目标卷积网络、所述第二目标卷积网络以及所述目标图神经网络的输出连接;其中,所述第二目标全连接网络和所述第二目标卷积网络用于从所述第一行驶信息中提取所述目标对象的第一行驶特征,所述第三目标全连接网络和所述第三目标卷积网络用于从所述第二行驶信息中提取所述参考对象的第二行驶特征,所述第一目标卷积网络用于从所述道路信息中提取道路特征,所述目标图神经网络用于根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,所述第一目标全连接网络用于根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图。
15.根据本技术实施例的另一个实施例,还提供了一种对象行驶意图的预测装置,包括:检测模块,用于在目标道路上检测所述目标道路上行驶的当前车辆所对应的目标对象,其中,所述目标对象是所述目标道路上允许对所述当前车辆的行驶方式产生影响的对象;获取模块,用于在检测到所述目标对象的情况下,获取所述目标对象的第一行驶信息,获取所述目标对象的参考对象的第二行驶信息,并获取所述目标道路的道路信息,其中,所述参考对象是所述目标道路上允许对所述目标对象的行驶方式产生影响的对象,所述第一行驶信息包括所述目标对象在目标时间段内在所述目标道路上的行驶信息,所述第二行驶信息包括所述参考对象在所述目标时间段内在所述目标道路上的行驶信息,所述道路信息包括所述目标道路上允许对所述目标对象的行驶方式产生影响的信息,所述目标时间段包括当前时刻以及所述当前时刻之前的一个或者多个历史时刻;提取模块,用于从所述第一行驶信息中提取所述目标对象的第一行驶特征,从所述第二行驶信息中提取所述参考对象的第二行驶特征,并从所述道路信息中提取道路特征,其中,所述第一行驶特征用于表征所述目标对象在所述目标道路上的第一行驶方式,所述第二行驶特征用于表征所述参考对象在所述目标道路上的第二行驶方式,所述道路特征用于表征在所述目标道路上允许所述目标对象在所述当前时刻之后的时刻采用的行驶方式;生成模块,用于根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,其中,所述行驶关系特征用于表征所述目标对象和所述参考对象之间的交互关系;预测模块,用于根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,其中,所述行驶意图用于控制所述当前车辆在所述目标道路上行驶。
16.根据本技术实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述对象行驶意图的预测方法。
17.根据本技术实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述对象行驶意图的预测方法。
18.在本技术实施例中在目标道路上检测所述目标道路上行驶的当前车辆所对应的目标对象,其中,所述目标对象是所述目标道路上允许对所述当前车辆的行驶方式产生影响的对象;在检测到所述目标对象的情况下,获取所述目标对象的第一行驶信息,获取所述目标对象的参考对象的第二行驶信息,并获取所述目标道路的道路信息,其中,所述参考对象是所述目标道路上允许对所述目标对象的行驶方式产生影响的对象,所述第一行驶信息包括所述目标对象在目标时间段内在所述目标道路上的行驶信息,所述第二行驶信息包括所述参考对象在所述目标时间段内在所述目标道路上的行驶信息,所述道路信息包括所述目标道路上允许对所述目标对象的行驶方式产生影响的信息,所述目标时间段包括当前时刻以及所述当前时刻之前的一个或者多个历史时刻;从所述第一行驶信息中提取所述目标对象的第一行驶特征,从所述第二行驶信息中提取所述参考对象的第二行驶特征,并从所述道路信息中提取道路特征,其中,所述第一行驶特征用于表征所述目标对象在所述目标道路上的第一行驶方式,所述第二行驶特征用于表征所述参考对象在所述目标道路上的第二行驶方式,所述道路特征用于表征在所述目标道路上允许所述目标对象在所述当前时刻之后的时刻采用的行驶方式;根据所述第一行驶特征和所述第二行驶特征生成行驶关系特
征,其中,所述行驶关系特征用于表征所述目标对象和所述参考对象之间的交互关系;根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,其中,所述行驶意图用于控制所述当前车辆在所述目标道路上行驶,即在对当前车辆的行驶方式产生影响的目标对象的行驶意图进行预测时,通过获取目标对象的第一行驶信息、对目标对象的行驶方式产生影响的参考对象的第二行驶信息、以及目标车道的道路信息,并分别从上述信息中提取出第一行驶特征、第二行驶特征以及道路特征,由于第一行驶特征和第二行驶特征分别用于表征目标对象和参考对象在目标道路上的行驶方式,因此根据第一行驶特征和第二行驶特征能够生成表征目标对象和参考对象之间的交互关系的行驶关系特征,进而在使用第一行驶特征、行驶关系特征和道路特征对目标对象的行驶意图进行预测,由于,在预测目标对象的行驶意图的过程中不仅仅考虑了目标对象的行驶特征,还考虑了目标对象和能够影响目标对象的行驶的参考对象之间的交互关系以及道路特征,进而预测出的目标车辆的行驶意图更加能够适应目标道路上复杂的行驶环境。采用上述技术方案,解决了相关技术中行驶意图预测的准确率较低等问题,实现了提高行驶意图预测的准确率的技术效果。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
20.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
21.图1是根据本技术实施例的一种对象行驶意图的预测方法的硬件环境示意图;图2是根据本技术实施例的一种对象行驶意图的预测方法的流程图;图3是根据本技术实施例的一种可选的驾驶场景示意图;图4是根据本技术实施例的一种可选的概率预测示意图;图5是根据本技术实施例的一种可选的检测位点的提取示意图;图6是根据本技术实施例的一种可选的车道轨迹特征的提取示意图;图7是根据本技术实施例的一种可选的目标图神经网络示意图;图8是根据本技术实施例的一种可选的第一行驶特征的提取示意图;图9是根据本技术实施例的一种可选的第二行驶特征的提取示意图;图10是根据本技术实施例的一种可选的目标行驶意图预测模型结构图;图11是根据本技术实施例的一种可选的行驶意图预测流程图;图12是根据本技术实施例的一种可选的功能模块示意图;图13是根据本技术实施例的一种可选的目标车辆行驶轨迹示意图;图14是根据本技术实施例的一种可选的目标车辆行驶意图预测结果示意图;图15是根据本技术实施例的另一种可选的目标车辆行驶轨迹示意图;图16是根据本技术实施例的另一种可选的目标车辆行驶意图预测结果示意图图17是根据本技术实施例的一种对象行驶意图的预测装置的结构框图。
具体实施方式
22.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
23.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.本技术实施例所提供的方法实施例可以在计算机终端、设备终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是根据本技术实施例的一种对象行驶意图的预测方法的硬件环境示意图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
25.存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的消息推送的发送方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
26.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(network interface controller,简称为nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(radio frequency,简称为rf)模块,其用于通过无线方式与互联网进行通讯。
27.在本实施例中提供了一种对象行驶意图的预测方法,应用于上述计算机终端,图2是根据本技术实施例的一种对象行驶意图的预测方法的流程图,该流程包括如下步骤:步骤s202,在目标道路上检测所述目标道路上行驶的当前车辆所对应的目标对象,其中,所述目标对象是所述目标道路上允许对所述当前车辆的行驶方式产生影响的对象;
步骤s204,在检测到所述目标对象的情况下,获取所述目标对象的第一行驶信息,获取所述目标对象的参考对象的第二行驶信息,并获取所述目标道路的道路信息,其中,所述参考对象是所述目标道路上允许对所述目标对象的行驶方式产生影响的对象,所述第一行驶信息包括所述目标对象在目标时间段内在所述目标道路上的行驶信息,所述第二行驶信息包括所述参考对象在所述目标时间段内在所述目标道路上的行驶信息,所述道路信息包括所述目标道路上允许对所述目标对象的行驶方式产生影响的信息,所述目标时间段包括当前时刻以及所述当前时刻之前的一个或者多个历史时刻;步骤s206,从所述第一行驶信息中提取所述目标对象的第一行驶特征,从所述第二行驶信息中提取所述参考对象的第二行驶特征,并从所述道路信息中提取道路特征,其中,所述第一行驶特征用于表征所述目标对象在所述目标道路上的第一行驶方式,所述第二行驶特征用于表征所述参考对象在所述目标道路上的第二行驶方式,所述道路特征用于表征在所述目标道路上允许所述目标对象在所述当前时刻之后的时刻采用的行驶方式;步骤s208,根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,其中,所述行驶关系特征用于表征所述目标对象和所述参考对象之间的交互关系;步骤s210,根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,其中,所述行驶意图用于控制所述当前车辆在所述目标道路上行驶。
28.通过上述步骤,在对当前车辆的行驶方式产生影响的目标对象的行驶意图进行预测时,通过获取目标对象的第一行驶信息、对目标对象的行驶方式产生影响的参考对象的第二行驶信息、以及目标车道的道路信息,并分别从上述信息中提取出第一行驶特征、第二行驶特征以及道路特征,由于第一行驶特征和第二行驶特征分别用于表征目标对象和参考对象在目标道路上的行驶方式,因此根据第一行驶特征和第二行驶特征能够生成表征目标对象和参考对象之间的交互关系的行驶关系特征,进而在使用第一行驶特征、行驶关系特征和道路特征对目标对象的行驶意图进行预测,由于,在预测目标对象的行驶意图的过程中不仅仅考虑了目标对象的行驶特征,还考虑了目标对象和能够影响目标对象的行驶的参考对象之间的交互关系以及道路特征,进而预测出的目标车辆的行驶意图更加能够适应目标道路上复杂的行驶环境。采用上述技术方案,解决了相关技术中行驶意图预测的准确率较低等问题,实现了提高行驶意图预测的准确率的技术效果。
29.在上述步骤s202提供的技术方案中,检测目标对象可以是通过安装在当前车辆上的检测设备进行检测的,或者还可以是通过安装在目标道路附近的检测设备检测的,安装在当前车辆上的检测设备可以但不限于包括安装在当前车辆上的雷达、摄像头等等,安装在目标道路附近的检测设备可以单不限于包括按照在道路两侧的雷达、摄像头等等。
30.可选地,在本实施例中,目标对象可以但不限于包括在目标道路上行驶的人力车、汽车、摩托车等交通设备,人力车可以但不限于是两轮人力车、三轮人力车等等,汽车可以是燃油汽车(比如依靠燃烧汽油或柴油为主提供动力的汽车)或者新能源汽车(比如混合动力电动汽车、纯电动汽车、燃料电池电动汽车、其他新能源(如超级电容器、飞轮等高效储能器)汽车等),摩托车可以是燃油摩托车(比如依靠燃烧汽油或柴油为主提供动力的摩托车)或者电动摩托车(依靠电池提供动力的摩托车)。
31.可选地,在本实施例中,目标对象是在目标道路上与当前车辆距离小于目标距离
的对象,和/或,与当前车辆的距离变化率大于目标变化率的对象,本方案对此不做限定。
32.图3是根据本技术实施例的一种可选的驾驶场景示意图,如图3所示,当前车辆行驶在包括3条车道的目标道路上,在当前车辆之前行驶着一辆车,该车辆能够对当前车辆的行驶产生影响,因此该车辆为目标车辆(即目标对象),在目标车辆前行驶着两辆车,这两辆车能够对目标车辆的行驶产生影响,因此这两辆车是目标车辆的参考车辆(参考对象),由于当前车辆也能够对目标车辆的行驶产生影响,因此当前车辆也是目标车辆的参考车辆。
33.在上述步骤s204提供的技术方案中,参考对象可以但不限于包括在目标道路上行驶的人力车、汽车、摩托车等交通设备,人力车可以但不限于是两轮人力车、三轮人力车等等,汽车可以是燃油汽车(比如依靠燃烧汽油或柴油为主提供动力的汽车)或者新能源汽车(比如混合动力电动汽车、纯电动汽车、燃料电池电动汽车、其他新能源(如超级电容器、飞轮等高效储能器)汽车等),摩托车可以是燃油摩托车(比如依靠燃烧汽油或柴油为主提供动力的摩托车)或者电动摩托车(依靠电池提供动力的摩托车)。
34.可选地,在本实施例中,参考对象可以包括当前车辆。
35.可选地,在本实施例中,行驶信息用于指示对象在目标时间段内在目标道路上的行驶状态,行驶信息可以但不限于包括对象的速度信息,加速度信息,位置信息,与左右车道的距离,航向角等。
36.可选地,在本实施例中,道路信息可以是从高精度地图中提取的车道信息,道路信息可以但不限于包括目标道路的车道数量、车道轨迹信息等等,方案对此不做限定。
37.在上述步骤s206提供的技术方案中,从行驶信息中提取行驶特征的方式可以但不限于包括从行驶信息中提取出表征对象在目标道路上行驶方式的信息作为行驶特征,或者还可以是使用特征提取模型对行驶信息进行特征提取得到的,其中,特征提取模型可以但不限于包括使用训练样本训练得到的具有特征提取功能的卷积神经网络,和/或,全连接神经网络,其中,全连接神经网络可用于提取行驶信息中的非时序性特征,卷积神经网络可以用于提取行驶信息中包括的时序性特征。
38.可选地,在本实施例中,道路特征可以是使用特征提取模型对道路信息进行特征提取得到的,道路提取模型可以单不限于包括使用训练样本训练得到的具有特征提取功能的卷积神经网络,和/或,全连接神经网络,其中,全连接神经网络可用于提取道路信息中的非时序性特征,卷积神经网络可以用于提取道路信息中包括的时序性特征。
39.在上述步骤s208提供的技术方案中,行驶关系特征可以是通过使用预先训练的神经网络模型生成的与第一行驶特征和第二行驶特征对应的关系特征,该预先训练的神经网络模型用于发掘特征集合(包括第一行驶特征和第二行驶特征)中任意两个特征之间的交互关系,并确定出目标对象和参考对象之间的交互关系,该神经网络模型可以是图神经网络模型,图神经网络模型中包括多个节点,多个节点中任意两个节点通过连接边连接,每个节点对应一个行驶特征(第一行驶特征或者第二行驶特征),连接边表示节点之间的位置关系。
40.可选地,在本实施例中,行驶关系特征还可以是通过对第一行驶特征和每个第二行驶特征进行计算,从而得到用于指示目标对象和参考对象之间相对位置关系远近的目标数值,目标数值越大,则指示目标对象和参考对象之间的位置关系也就越仅,进而将与目标对象之间的目标数值大于设定阈值的参考对象的第二行驶特征与第一行驶特征进行合并,
得到行驶关系特征。
41.在上述步骤s210提供的技术方案中,行驶意图可以但不限于包括目标对象在目标时刻行驶的车道、目标对象在目标时刻是否发生变道、目标对象在目标时刻是否加速或者是否减速等等,本方案对此不做限定。
42.可选地,在本实施例中,根据第一行驶特征、行驶关系特征和道路特征预测目标对象的行驶意图的方法可以是使用预先训练的预测模型对第一行驶特征、行驶关系特征和道路特征进行预测得到的,该预测模型可以是根据输入的特征输出目标对象在目标时刻行驶在某一条车道上的概率、目标对象在目标时刻发生变道的概率、目标对象在目标时刻行驶的车道、目标对象在目标时刻加速或者减速行驶的概率等等,本方案对此不做限定。
43.可选地,本技术实施例所提供的对象行驶意图的预测方法可以但不限于部署于当前车辆上、或者还可以部署于对车辆行驶状态进行控制的服务器上,当该对象行驶意图的预测方法部署在对车辆行驶状态进行控制的服务器上时,服务器可以通过与车辆进行通讯从而将预测出的目标对象的行驶意图发送给当前车辆,本方案对此不作限定。
44.作为一种可选的实施例,所述根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,包括:将每条候选车道的车道轨迹特征、所述行驶关系特征和所述第一行驶特征输入至第一目标全连接网络中,得到所述第一目标全连接网络输出的参考概率,其中,所述道路特征包括一条或者多条所述候选车道中每条所述候选车道所对应的车道轨迹特征,所述参考概率用于指示在所述目标时刻所述目标对象将在每条所述候选车道上行驶的概率,所述候选车道为所述目标道路所包括的多条车道中在所述目标时刻允许所述目标对象行驶的车道,所述第一目标全连接网络是使用标注了未来时刻行驶车道的样本集训练的;根据每条所述候选车道对应的所述参考概率预测所述目标对象在所述目标时刻的所述行驶意图,其中,所述行驶意图用于指示所述目标对象在所述目标时刻的车道变换方式。
45.可选地,在本实施例中,候选车道是根据目标道路上所包括的车道的车道数量以及目标对象当前所在的车道确定的,比如,目标道路包括三条车道(左车道、中间车道、右车道),目标对象当前在中间车道,则在目标时刻目标对象的候选车道有三条,即左车道、中间车道、右车道,当目标对象当前在左车道的情况下,则目标时刻目标对象的候选车道有两条,即左车道和中间车道。
46.可选地,在本实施例中,每次输入到第一目标全连接网络中的是单条候选车道的车道轨迹特征、行驶关系特征以及第一行驶特征,第一目标全连接网络根据输入数据输出的是目标车辆在目标时刻行驶在候选车道上的概率值。
47.可选地,在本实施例中,根据参考概率预测目标对象的行驶意图可以是从多个参考概率中找到取值最大的参考概率对应的候选车道,并将目标对象在目标时间段内在该候选车道上行驶作为目标对象的行驶意图,或者根据参考概率预测目标对象的行驶意图还可以是从多个参考概率中找到取值最大的参考概率对应的候选车道,并根据目标车辆当前的行驶车道和该候选车道确定目标车辆是否存在转向意图,将该转向意图确定为目标对象的行驶意图。
48.图4是根据本技术实施例的一种可选的概率预测示意图,如图4所示,分别将车道
轨迹特征1、车道轨迹特征2、车道轨迹特征3与行驶关系特征以及第一行驶特征组成3组输入数据,将3组数据分别输入到第一目标全连接网络中,由于车道轨迹特征1、车道轨迹特征2和车道轨迹特征3分别对应3条不同的候选车道则第一目标全连接网络会分别输出3个参考概率,每个参考概率用于指示目标车辆目标时刻在对应车道上行驶的概率。
49.作为一种可选的实施例,所述根据每条所述候选车道对应的所述参考概率预测所述目标对象在所述目标时刻的所述行驶意图,包括:使用目标滤波器对每个所述参考概率进行滤波,得到每条所述候选车道对应的目标概率,其中,所述目标滤波器用于调整所述第一目标全连接网络输出的突变结果,所述突变结果是所述参考概率与初始概率之间的差值大于目标阈值的概率,所述初始概率根据使用所述第一目标全连接网络得到的所述目标对象在所述历史时刻在所述候选车道上行驶的概率确定的;将多个所述目标概率中最大的所述目标概率对应的所述候选车道确定为所述目标对象在所述目标时刻所行驶的目标车道作为所述行驶意图。
50.可选地,在本实施例中,目标滤波器可以根据初始概率对突变的参考概率进行平滑处理,比如将突变的参考概率的取值调整为初始概率,或者将突变的参考概率调解到初始概率所在的预设概率区间范围内,目标滤波器可以还可以将突变的参考概率的取值设置为0,本方案对此不做限定。
51.可选地,在本实施例中,初始概率可以是使用第一目标全连接网络得到的目标对象在多个历史时刻在该候选车道上行驶的概率的最小值、最大值,或者还可以是某一历史时刻在该候选车道上行驶的概率,或者还可以是多个历史时刻在该候选车道上行驶的概率的平均值,本方案对此不做限定。
52.作为一种可选的实施例,所述获取所述目标道路的道路信息,包括:在所述每条所述候选车道中截取出所述目标对象待行驶的候选路段,其中,所述候选路段的长度是根据所述目标对象的行驶速度确定的;从每条所述候选路段的路段中心线中确定出目标数量的检测位点;确定每个所述检测位点在所述目标对象的frenet坐标系中的目标位点信息作为所述道路信息,其中,所述目标位点信息用于指示所述候选路段在所述frenet坐标系中的位置参数。
53.可选地,在本实施例中,目标位点信息可以但不限于包括对应位点在目标对象的frenet坐标系中横向位置、纵向位置、角度、曲率。
54.可选地,在本实施例中,目标数量的检测位点在候选路段上的位置可以是随机的,比如随机在候选路段上选择多个位点作为检测位点,或者目标数量的检测位点在候选路段上的位置还可以是等间距的,或者目标数量的检测位点在候选路段上的位置还可以是根据候选路段的曲率确定的,比如,在曲率大的位置,检测位点间的距离越小,在曲率越小的位置,检测位点间的距离越大,本方案对此不做限定。
55.图5是根据本技术实施例的一种可选的检测位点的提取示意图,如图5所示,目标道路上包括3条候选车道对应的候选路段,分别为左车道、右车道和中心车道,通过检测三条车道的车道中心线,并从各个车道中心线上提取出目标数量个位点作为检测位点,如图5所示,每条候选路段上的检测位点时等间距的。
56.作为一种可选的实施例,所述从所述道路信息中提取道路特征,包括:将与每个所述候选路段对应的所述目标数量的所述检测位点的所述目标位点信息输入至第一目标卷积网络中,得到所述第一目标卷积网络输出的所述候选路段的路段特征作为所述车道轨迹特征,其中,所述路段特征用于指示所述候选路段中所述目标数量的所述检测位点之间的关联关系。
57.可选地,在本实施例中,输入至第一目标卷积网络中的目标位点信息可以但不限于是矩阵的形式,比如目标位点的数量是20个,每个目标位点信息包括对应位点在目标对象的frenet坐标系中横向位置、纵向位置、角度、曲率这4个维度的参数,因此,按照各个检测位点在候选路段上的位置排序构造,即得到一个4*20维的参数。图6是根据本技术实施例的一种可选的车道轨迹特征的提取示意图,如图6所示,对于一条候选车道,从中选出20个目标位点,每个位点包括4个维度的信息(即对应位点在目标对象的frenet坐标系中横向位置、纵向位置、角度、曲率),因此每个候选路段的目标位点信息为4*20维的参数,使用第一目标卷积网络(即cbrp,其中cbrp包括convolution卷积层, batch normalization归一层, relu激活层, pooling池化层)对目标位点信息进行特征提取,该第一目标卷积网络能够提取出候选路段上各个目标位点之间的关联关系,进而得到一个4*8维的初始轨迹特征,对得到的初始轨迹特征进行特征转换(即reshape),得到一个1*32维的车道轨迹特征。
58.作为一种可选的实施例,所述根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,包括:将所述第一行驶特征和所述第二行驶特征输入至目标图神经网络,其中,所述目标图神经网络用于指示目标对象集合中任意两个对象之间的关系,所述目标对象集合包括所述目标对象和所述参考对象,所述目标图神经网络中包括与所述目标对象集合中每个对象的行驶信息一一对应的目标节点,任意两个目标节点之间通过目标连线连接,所述目标连线用于指示所连接的所述目标节点对应的对象之间的相对位置关系;获取所述目标图神经网络对所述第一行驶特征和所述第二行驶特征进行计算后输出的目标特征作为所述行驶关系特征。
59.可选地,在本实施例中,目标节点为对应的对象的行驶特征。图7是根据本技术实施例的一种可选的目标图神经网络示意图,如图7所示,目标图神经网络中包括5个节点,分别是一个目标对象节点和4个参考对象节点,其中每个参考对象节点对应的是参考对象的第二行驶特征,目标对象节点是目标对象的第一行驶特征,参考对象节点和参考对象节点之间、目标对象和参考对象之间通过用于指示各个节点对应的对象之间位置关系的目标连线连接。
60.可选地,在本实施例中,任意两个目标节点之间的目标连线的取值可以是通过如下公式进行计算:其中表示第i辆车和第j辆车的边的值,

p 表示相对位置差,也就是说两辆车的相对位置越近,它的连接关系就越大。
61.可选地,在本实施例中,在定义了目标图神经网络的目标节点和任意两个目标节点之间的目标连线之后,我们按照如下公式进行图卷积运算,使得各个目标节点之间产生
交互关系,每个节点的值在计算后会得到更新其中, , n是目标节点数(目标对象集合中包括的对象数目),d是每个目标节点的行驶特征的向量维度, a 是邻接矩阵(用来表示各目标节点的连接关系),对于函数,本技术采用全连接网络实现,具体如下:其中是非线性函数,代表全连接网络的参数,经过一层运算,每个目标节点与其他目标节点产生交互,每个目标节点的信息都得到更新,即目标对象与参考对象有信息交互,把经过图运算的目标车辆的信息作为目标对象与参考对象交互后的特征(即行驶关系特征)。
62.作为一种可选的实施例,所述从所述第一行驶信息中提取所述目标对象的第一行驶特征,包括:将所述第一行驶信息中所包括的具有时序性的第一参数输入至第二目标卷积网络中得到第一时序性特征,并将所述第一行驶信息中所包括的非时序性的第二参数输入到第二目标全连接网络中得到第一非时序性特征,其中,所述具有时序性的第一参数是在所述目标时间段内采集到的与采集时刻的先后顺序相关的所述目标对象的参数,所述非时序性的第二参数是在所述目标时间段内采集到的与采集时刻的先后顺序无关的所述目标对象的参数;对所述第一时序性特征和所述第一非时序性特征进行融合,得到所述第一行驶特征。
63.可选地,在本实施例中,第二参数可以但不限于是一种或多种类型的参数,如表1是根据本技术可选的第二参数表,表1
在表1中第二参数包括17种不同类型的参数,分别用于表示不同维度的参数特征。在表1中,theta表示目标对象frenet坐标系下目标对象相对于所在车道方向的运动方向偏移角度,lane_l表示目标对象frenet坐标系下目标对象。
64.可选地,在本实施例中,第一参数可以但不限于是一种或多种类型的参数,如表2是本技术可选的第一参数表,表2
在表2中第一参数包括150种不同类型的参数,分别用于表示不同维度的参数特征。
65.图8是根据本技术实施例的一种可选的第一行驶特征的提取示意图,如图8所示,第一行驶信息包括一个167维的参数(其中包括17维的非时序性的第二参数和150维的时序性的第一参数),将第二参数输入至第二目标全连接网络fcn( fully connected network全连接网络),得到一个1*32维的第一非时序性特征,对第二参数进行转换(reshape),得到10*15维的参数,将该参数输入至第二目标卷积网络(cbrp),得到16*4维的时序性特征,并对该时序性特征进行转换得到1*64维的第一时序性特征,通过对第一时序性特征和第一非时序性特征进行合并,得到1*96维的第一行驶特征。
66.作为一种可选的实施例,所述从所述第二行驶信息中提取所述参考对象的第二行驶特征,包括:将所述第二行驶信息中所包括的具有时序性的第三参数输入至第三目标卷积网络中得到第二时序性特征,并将所述第二行驶信息中所包括的非时序性的第四参数输入到第三目标全连接网络中得到第二非时序性特征,其中,所述具有时序性的第三参数是在所述目标时间段内采集到的与采集时刻的先后顺序相关的所述参考对象的参数,所述非时序性的第四参数是在所述目标时间段内采集到的与采集时刻的先后顺序无关的所述参考对象的参数;对所述第二时序性特征和所述第二非时序性特征进行融合,得到所述第二行驶特征。
67.可选地,在本实施例中,第四参数可以但不限于是一种或多种类型的参数,如表3是根据本技术可选的第四参数表,
表3在表3中第四参数包括8种不同类型的参数,分别用于表示不同维度的参数特征。
68.可选地,在本实施例中,第三参数可以但不限于是一种或多种类型的参数,如表4是本技术可选的第三参数表,表4在表4中第二参数包括150种不同类型的参数,分别用于表示不同维度的参数特征。
69.图9是根据本技术实施例的一种可选的第二行驶特征的提取示意图,如图9所示,第一行驶信息包括一个158维的参数(其中包括8维的非时序性的第四参数和150维的时序
性的第三参数),将第四参数输入至第三目标全连接网络fcn( fully connected network,全连接网络),得到一个1*32维的第二非时序性特征,对第三参数进行转换(reshape),得到10*15维的参数,将该参数输入至第二目标卷积网络(cbrp),得到16*4维的时序性特征,并对该时序性特征进行转换得到1*64维的第二时序性特征,通过对第二时序性特征和第二非时序性特征进行合并,得到1*96维的第二行驶特征。
70.作为一种可选的实施例,在所述从所述第一行驶信息中提取所述目标对象的第一行驶特征之前,所述方法还包括:构建初始行驶意图预测模型,其中,所述初始行驶意图预测模型包括第一初始全连接网络、第二初始全连接网络、第三初始全连接网络、第一初始卷积网络、第二初始卷积网络、第三初始卷积网络以及初始图神经网络,所述初始图神经网络的输入分别与所述第二初始全连接网络、第三初始全连接网络、第二初始卷积网络以及第三初始卷积网络的输出连接,所述第一初始全连接网络的输入分别与所述第一初始卷积网络、所述第二初始卷积网络以及所述初始图神经网络的输出连接;使用标记了车辆在道路上所行驶的车道的训练样本对所述初始行驶意图预测模型进行训练,得到目标行驶意图预测模型,其中,所述目标行驶意图预测模型包括第一目标全连接网络、第二目标全连接网络、第三目标全连接网络、第一目标卷积网络、第二目标卷积网络、第三目标卷积网络以及目标图神经网络,所述目标图神经网络的输入分别与所述第二目标全连接网络、第三目标全连接网络、第二目标卷积网络以及第三目标卷积网络的输出连接,所述第一目标全连接网络的输入分别与所述第一目标卷积网络、所述第二目标卷积网络以及所述目标图神经网络的输出连接;其中,所述第二目标全连接网络和所述第二目标卷积网络用于从所述第一行驶信息中提取所述目标对象的第一行驶特征,所述第三目标全连接网络和所述第三目标卷积网络用于从所述第二行驶信息中提取所述参考对象的第二行驶特征,所述第一目标卷积网络用于从所述道路信息中提取道路特征,所述目标图神经网络用于根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,所述第一目标全连接网络用于根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图。
71.可选地,在本实施例中,使用训练样本对初始行驶意图预测模型进行训练的方法可以但不限于包括将训练样本输入至初始行驶意图预测模型,并将初始意图预测模型输出的结果和样本标签构建初始行驶意图预测模型的损失函数,根据损失函数的值对第一初始全连接网络、第二初始全连接网络、第三初始全连接网络、第一初始卷积网络、第二初始卷积网络、第三初始卷积网络以及初始图神经网络的网络参数进行调节,直到模型收敛,得到目标预行驶意图预测模型。图10是根据本技术实施例的一种可选的目标行驶意图预测模型结构图,如图10所示,目标行驶特征预测模型中至少包括第一行驶特征提取模块、第二行驶特征提取模块、道路特征提取模块、目标图神经网络以及第一目标卷积神经网络,其中,第一行驶特征提取模块包括第二目标全连接网络和第二卷积网络,第二目标全连接网络和第二目标卷积网络用于从第一行驶信息中提取目标对象的第一行驶特征;第二行驶特征提取模块包括第三目标全连接网络和第三目标卷积网络,第三目标全连接网络和第三目标卷积网络用于从第二行驶信息中提取参考对象的第二行驶特征;道路特征提取模块包括第一目
标卷积网络,第一目标卷积网络用于从道路信息中提取道路特征;目标图神经网络用于根据第一行驶特征和第二行驶特征生成行驶关系特征,第一目标全连接网络用于根据第一行驶特征,行驶关系特征和道路特征预测目标对象在当前时刻之后的目标时刻的行驶意图。
72.图11是根据本技术实施例的一种可选的行驶意图预测流程图,如图11所示:s1101,通过目标车辆确定模块获取当前时刻驾驶场景内的所有车辆的位置信息,并根据与当前车辆的距离,确定需要预测驾驶意图的目标车辆(即上文中目标对象)。目标车辆可以是家用轿车,也可以是货车,但不包括二轮车和三轮车;这里的与当前车辆的距离阈值设置成向前300米和向后50米,对驾驶场景内的每一个目标车辆,预测装置都会预测其驾驶意图;具体的,这里选取其中的一个目标车辆来解释说明该算法的工作流程。
73.s1102,通过历史信息获取模块获取目标车辆过去1.5秒的第一行驶信息;这里的采样频率为10hz,也就是每0.1秒获取一帧数据,包括:速度信息,加速度信息,位置信息,与左右车道的距离,航向角等;对于目标车辆,总共获取167个维度的信息,以表示,;通过历史信息获取模块,获取目标车辆周围参考车辆(即上文的参考对象)的第二行驶信息对于任意一个目标车辆,我们根据距离的远近,选取出12辆车作为参考车辆;如驾驶环境内,车辆数目不足,我们在相应位置补0替代;这里参考车辆的行驶状态信息与目标车辆的信息稍有不同,对于参考车辆,总共获取158个维度的信息;以表示,。
74.s1103,通过车道信息获取模块,获取目标车辆的当前可行驶的道路信息,车道信息获取模块从高精度地图里提取的道路信息,它主要根据目标车的当前位置,来搜索当前位置的可行驶车道;我们选取车道中心线信息作为道路信息,也可以选取车道左右边界信息作为道路信息。由于获得到的道路信息是连续的线,坐标表示过于密集;对于每条车道中心线,我们均匀的选取20个检测位点来表示道路信息,具体的,每个点包含4个信息:车道点在目标车坐标系下的横向位置,纵向位置,角度和曲率;比如,可行使车道一般包含3条车道,目标车辆当前车道,以及左右相邻车道;当然,当目标车处于最左侧或者最右侧车道时,可行使车道为2条;本实例中,我们以3条车道为例进行说明;车道i的信息可以表示为,,其中,表示车道i第k个离散点的横向位置,纵向位置,角度和曲率;s1104,在获取了目标车辆的第一行驶信息,参考车辆的第二行驶信息和道路信息之后,我们就开始建立人工智能神经网络模型去编码这些原始信息,从而获得更高层次的特征表示(即第一行驶特征、第二行驶特征、道路特征)。相比于传统的数学公式法,人工智能算法具有更好的泛化性能,可以应对更多的场景。在编码这些信息之前,我们先对数据进行归一化,我们以目标车辆当前时刻的位置为坐标原点,更新目标车辆和周围车辆的原始信息。首先对目标车辆,我们总共提取了167维的特征,它的前17个特征表示当前时刻目标车辆的状态,不具有时序性,对于这17个特征,我们采用一层全连接网络fcn( fully connected network,全连接网络)编码;编码后得到32维的特征;对于后150维特征,由于其代表的是过去15帧目标车辆的信息,这些信息具有时序性,我们采用一维卷积神经来编码,
编码后得到的特征是64维;最后,我们把这32维和64维的特征拼接在一起,得到96维的特征向量,该96维的特征作为目标车辆的高级特征(即第一行驶特征)表示;对于参考车辆,每辆车我们提取了158维的特征,我们这里以其中某一辆举例说明,它的前8个特征表示当前时刻参考车辆的状态,不具有时序性,对于这8个特征,我们采用一层全连接网络fcn编码;编码后得到32维的特征;对于后150维特征,由于其代表的是过去15帧参考车辆的信息,这些信息具有时序性,我们采用一维卷积神经来编码,编码后得到的特征是64维;最后,我们把这32维和64维的特征拼接在一起,得到96维的特征向量,该96维的特征作为此参考车辆的高级特征(即第二行驶特征)表示;对于车道特征,我们以某一条车道来举例说明编码过程;对于该车道,我们获取的是4*20维的特征,这些特征也具有连续性,这里我们采用一维卷积神经网络1dcnn(一维卷积神经网络)来编码;编码得到32维的特征向量,该向量作为该车道的高级特征(即车道特征)表示;具体地,以上涉及的fcn和1dcnn中的具体参数,如卷积核大小,卷积核数目以及激活函数等不作具体限制。
75.s1105,图神经网络(graph neural network)在处理交互关系这个任务上被证明有很好的效果;应用图神经网络的基础是定义图神经网络的节点和边;本专利中,为了解决目标车辆与周围车辆的交互关系,我们定义这样一个图,它的节点代表车辆,每辆车都用一个节点表示,节点的值采用该车经过编码后的高级特征;图网络的边用来表示各个节点的连接关系,这里我们采用全连接方式,即任意两辆车都有一条边。该边的值由以下公式定义:,其中第i辆车和第j辆车的边的值,相对位置差,也就是两辆车的相对位置越近,它的连接关系就越大;在定义了图的节点和边之后,我们进行图卷积运算;使得各个节点之间产生交互关系,每个节点的值在计算后会得到更新, , n 是节点数(车辆数目),d是每个节点的特征向量的维度(96), a 是邻接矩阵(用表示各节点的连接关系)对于函数,本专利采用全连接网络实现,具体如下;其中是非线性函数,代表全连接网络的参数;经过一层运算,每个节点与其他节点产生交互,每个节点的信息都得到更新,即目标车会与周围车有信息交互;我们把经过目标图神经网络运算的目标车辆的信息作为目标车辆与参考车辆交互后的行驶关系特征。
76.s1106,在完成原始信息的编码和交互后,我们把第一行驶特征、行驶关系特征、车道特征组合在一起,输入到全连接网络,输出目标车未来在各个车道的概率;具体操作如下,对于候选车道1,把第一行驶特征,车道1的车道特征和目标车与周围车交互后的行驶关系特征拼接在一起,然后输入到全连接网络fcn,输出目标车辆未来在候选车道1的概率 p1;对于候选车道2,把第一行驶特征,车道2的车道特征和目标车与周围车交互后的行驶关系特征拼接在一起,然后输入到全连接网络fcn,输出目标车辆未来在候选车道2的概率 p2;对于候选车道3,把第一行驶特征,车道3的车道特征和目标车与周围车交互后的行驶关系特征拼接在一起,然后输入到全连接网络fcn,输出目标车辆未来在候选车道1的概率 p3;比较p1,p2和p3的大小,输出概率最大的值所对应的车道,该车道即代表目标车辆未来所在的车道。
77.s1107,为保证输出结果的连续性,避免因为数据接收模块的噪声,我们将上述预
测结果输入到长度为5的移动平均窗口滤波器中,对输出结果做平滑处理,滤波器输出的结果将作为最终结果输出给下游模块。
78.为了实现上述行驶意图预测方法,可以在当前车辆上设置具有执行上述操作功能的功能模块,图12是根据本技术实施例的一种可选的功能模块示意图,可以但不限于包括目标车辆确定模块1201,历史信息获取模块1202,车道信息获取模块1203,意图预测模块1204以及滤波平滑模块1205;目标车辆确定模块1201,用于接收上游感知融合的结果,确定当前车辆行车环境包含的障碍物车辆(即目标对象);然后通过计算各个目标车辆(即目标对象)与当前车辆的位置差,确定可能会对当前车辆行驶有影响的障碍物车辆,这些车辆就是需要进行行驶意图预测的目标车辆。
79.历史信息获取模块1202,根据目标车辆确定模块给出的目标车辆id,来获取目标车辆的历史行驶状态和参考车辆(即参考对象)的历史行驶状态;历史信息的长度通常设定为15帧,也就是1.5秒;可选地,该长度可以更改成20帧或30帧;目标车辆的具体状态信息包括位置信息,速度信息,加速信息和航向信息等;参考车辆的信息包含位置信息和朝向信息;所有状态信息需要再转化到目标车坐标系下,避免绝对坐标对模型训练的影响。
80.车道信息获取模块1203,根据历史信息获取模块给出的目标车辆的位置,从高精度地图里取出该位置的车道信息,并生成候选车道;根据目标车辆的当前速度,截取合适长度的道路信息,生成候选车道;再将候选车道的中心线离散化处理成20个均匀分布的点,每个点包含4个信息:目标车坐标系下的横向位置,纵向位置,角度和曲率;行驶意图预测模块1204,接收历史信息获取模块和车道信息获取模块发来的信息,输入到行驶意图预测模型,模型的具体结构如上述表示,模型输出预测结果给下游模块滤波平滑模块1205,接收并储存行驶意图预测模块的预测结果,然后使用一个滑动窗口滤波器对模型输出结果做滤波处理,并将滤波后的结果作为该装置最终的输出,输出到下一模块;考虑到计算的高效性,在支持人工智能加速的硬件上,上述滑动窗口滤波模块采用一维cnn(convolutional neural network,卷积神经网络)实现。
81.可选地,当前车辆行驶上还可以部署人机交互模块,用于展示行驶意图预测结果。以及还可以部署数据传输模块,用于将目标车数据发送到云端,这样云端积累的大数据样本,将促进模型的训练和更新;图13是根据本技术实施例的一种可选的目标车辆行驶轨迹示意图,如图13所示,在目标车辆的frenet坐标系中,目标车辆从左向右行驶,图中实线为目标车辆的行驶轨迹,虚线为候选车道的车道中心线,目标车辆先直行,再变道。
82.图14是根据本技术实施例的一种可选的目标车辆行驶意图预测结果示意图,如图14所示,虚线代表当前车道,实线道边右边车道,在目标车辆按照如图13所示的轨迹行驶时,在行驶过程中,先是保持直行,随后变道;对应图14就是虚线的值前半段是1,表示处在该车道,后半段是0,表示不在该车道;实线的值前半段是0,表示目标车辆不在该车道,后半段变成1,表示目标车辆即将处在该车道。
83.图15是根据本技术实施例的另一种可选的目标车辆行驶轨迹示意图,如图15所示,在目标车辆的frenet坐标系中,目标车辆从左向右行驶,图中实线为目标车辆的行驶轨迹,虚线为候选车道的车道中心线,可以看到,目标车辆一直保持直行。
84.图16是根据本技术实施例的另一种可选的目标车辆行驶意图预测结果示意图,如图16所示,在目标车辆按照如图13所示的轨迹行驶时,在行驶过程中,目标车辆始终保持直行,对应图16就是当前车道的值应该一直是1,但在两个小的阶段,它变成了0,原因是在这两个时刻,目标车有向左运动的趋势,所以模型认为它会变道,对应的,左边车道的值会变成1;这种预测结果符合我们的预期期望。
85.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件和必需的通用硬件平台的方式来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例的方法。
86.图17是根据本技术实施例的一种对象行驶意图的预测装置的结构框图;如图17所示,包括:检测模块1702,用于在目标道路上检测所述目标道路上行驶的当前车辆所对应的目标对象,其中,所述目标对象是所述目标道路上允许对所述当前车辆的行驶方式产生影响的对象;获取模块1704,用于在检测到所述目标对象的情况下,获取所述目标对象的第一行驶信息,获取所述目标对象的参考对象的第二行驶信息,并获取所述目标道路的道路信息,其中,所述参考对象是所述目标道路上允许对所述目标对象的行驶方式产生影响的对象,所述第一行驶信息包括所述目标对象在目标时间段内在所述目标道路上的行驶信息,所述第二行驶信息包括所述参考对象在所述目标时间段内在所述目标道路上的行驶信息,所述道路信息包括所述目标道路上允许对所述目标对象的行驶方式产生影响的信息,所述目标时间段包括当前时刻以及所述当前时刻之前的一个或者多个历史时刻;提取模块1706,用于从所述第一行驶信息中提取所述目标对象的第一行驶特征,从所述第二行驶信息中提取所述参考对象的第二行驶特征,并从所述道路信息中提取道路特征,其中,所述第一行驶特征用于表征所述目标对象在所述目标道路上的第一行驶方式,所述第二行驶特征用于表征所述参考对象在所述目标道路上的第二行驶方式,所述道路特征用于表征在所述目标道路上允许所述目标对象在所述当前时刻之后的时刻采用的行驶方式;生成模块1708,用于根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,其中,所述行驶关系特征用于表征所述目标对象和所述参考对象之间的交互关系;预测模块1710,用于根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,其中,所述行驶意图用于控制所述当前车辆在所述目标道路上行驶。
87.通过以上步骤,在对当前车辆的行驶方式产生影响的目标对象的行驶意图进行预测时,通过获取目标对象的第一行驶信息、对目标对象的行驶方式产生影响的参考对象的第二行驶信息、以及目标车道的道路信息,并分别从上述信息中提取出第一行驶特征、第二行驶特征以及道路特征,由于第一行驶特征和第二行驶特征分别用于表征目标对象和参考对象在目标道路上的行驶方式,因此根据第一行驶特征和第二行驶特征能够生成表征目标对象和参考对象之间的交互关系的行驶关系特征,进而在使用第一行驶特征、行驶关系特
征和道路特征对目标对象的行驶意图进行预测,由于,在预测目标对象的行驶意图的过程中不仅仅考虑了目标对象的行驶特征,还考虑了目标对象和能够影响目标对象的行驶的参考对象之间的交互关系以及道路特征,进而预测出的目标车辆的行驶意图更加能够适应目标道路上复杂的行驶环境。采用上述技术方案,解决了相关技术中行驶意图预测的准确率较低等问题,实现了提高行驶意图预测的准确率的技术效果。
88.可选的,所述预测模型,包括:第一输入单元,用于将每条候选车道的车道轨迹特征、所述行驶关系特征和所述第一行驶特征输入至第一目标全连接网络中,得到所述第一目标全连接网络输出的参考概率,其中,所述道路特征包括一条或者多条所述候选车道中每条所述候选车道所对应的车道轨迹特征,所述参考概率用于指示在所述目标时刻所述目标对象将在每条所述候选车道上行驶的概率,所述候选车道为所述目标道路所包括的多条车道中在所述目标时刻允许所述目标对象行驶的车道,所述第一目标全连接网络是使用标注了未来时刻行驶车道的样本集训练的;预测单元,用于根据每条所述候选车道对应的所述参考概率预测所述目标对象在所述目标时刻的所述行驶意图,其中,所述行驶意图用于指示所述目标对象在所述目标时刻的车道变换方式。
89.可选的,所述预测单元,用于:使用目标滤波器对每个所述参考概率进行滤波,得到每条所述候选车道对应的目标概率,其中,所述目标滤波器用于调整所述第一目标全连接网络输出的突变结果,所述突变结果是所述参考概率与初始概率之间的差值大于目标阈值的概率,所述初始概率根据使用所述第一目标全连接网络得到的所述目标对象在所述历史时刻在所述候选车道上行驶的概率确定的;将多个所述目标概率中最大的所述目标概率对应的所述候选车道确定为所述目标对象在所述目标时刻所行驶的目标车道作为所述行驶意图。
90.可选的,所述获取模块,包括:截取单元,用于在所述每条所述候选车道中截取出所述目标对象待行驶的候选路段,其中,所述候选路段的长度是根据所述目标对象的行驶速度确定的;第一确定单元,用于从每条所述候选路段的路段中心线中确定出目标数量的检测位点;第二确定单元,用于确定每个所述检测位点在所述目标对象的frenet坐标系中的目标位点信息作为所述道路信息,其中,所述目标位点信息用于指示所述候选路段在所述frenet坐标系中的位置参数。
91.可选的,所述提取模块,包括:第二输入单元,用于将与每个所述候选路段对应的所述目标数量的所述检测位点的所述目标位点信息输入至第一目标卷积网络中,得到所述第一目标卷积网络输出的所述候选路段的路段特征作为所述车道轨迹特征,其中,所述路段特征用于指示所述候选路段中所述目标数量的所述检测位点之间的关联关系。
92.可选的,所述生成模块,包括:第三输入单元,用于将所述第一行驶特征和所述第二行驶特征输入至目标图神经网络,其中,所述目标图神经网络用于指示目标对象集合中任意两个对象之间的关系,所述目标对象集合包括所述目标对象和所述参考对象,所述目标图神经网络中包括与所述目标对象集合中每个对象的行驶信息一一对应的目标节点,任意两个目标节点之间通过目标连线连接,所述目标连线用于指示所连接的所述目标节点对应的对象之间的相对位置关系;获取单元,用于获取所述目标图神经网络对所述第一行驶特征和所述第二行驶特征进行计算后输出的目标特征作为所述行驶关系特征。
93.可选的,所述提取模块,包括:第四输入单元,用于将所述第一行驶信息中所包括
的具有时序性的第一参数输入至第二目标卷积网络中得到第一时序性特征,并将所述第一行驶信息中所包括的非时序性的第二参数输入到第二目标全连接网络中得到第一非时序性特征,其中,所述具有时序性的第一参数是在所述目标时间段内采集到的与采集时刻的先后顺序相关的所述目标对象的参数,所述非时序性的第二参数是在所述目标时间段内采集到的与采集时刻的先后顺序无关的所述目标对象的参数;第一融合单元,用于对所述第一时序性特征和所述第一非时序性特征进行融合,得到所述第一行驶特征。
94.可选的,所述提取模块,包括:第五输入单元,用于将所述第二行驶信息中所包括的具有时序性的第三参数输入至第三目标卷积网络中得到第二时序性特征,并将所述第二行驶信息中所包括的非时序性的第四参数输入到第三目标全连接网络中得到第二非时序性特征,其中,所述具有时序性的第三参数是在所述目标时间段内采集到的与采集时刻的先后顺序相关的所述参考对象的参数,所述非时序性的第四参数是在所述目标时间段内采集到的与采集时刻的先后顺序无关的所述参考对象的参数;第二融合单元,用于对所述第二时序性特征和所述第二非时序性特征进行融合,得到所述第二行驶特征。
95.可选的,所述装置还包括:构建模块,用于在所述从所述第一行驶信息中提取所述目标对象的第一行驶特征之前,构建初始行驶意图预测模型,其中,所述初始行驶意图预测模型包括第一初始全连接网络、第二初始全连接网络、第三初始全连接网络、第一初始卷积网络、第二初始卷积网络、第三初始卷积网络以及初始图神经网络,所述初始图神经网络的输入分别与所述第二初始全连接网络、第三初始全连接网络、第二初始卷积网络以及第三初始卷积网络的输出连接,所述第一初始全连接网络的输入分别与所述第一初始卷积网络、所述第二初始卷积网络以及所述初始图神经网络的输出连接;训练模块,用于使用标记了车辆在道路上所行驶的车道的训练样本对所述初始行驶意图预测模型进行训练,得到目标行驶意图预测模型,其中,所述目标行驶意图预测模型包括第一目标全连接网络、第二目标全连接网络、第三目标全连接网络、第一目标卷积网络、第二目标卷积网络、第三目标卷积网络以及目标图神经网络,所述目标图神经网络的输入分别与所述第二目标全连接网络、第三目标全连接网络、第二目标卷积网络以及第三目标卷积网络的输出连接,所述第一目标全连接网络的输入分别与所述第一目标卷积网络、所述第二目标卷积网络以及所述目标图神经网络的输出连接;其中,所述第二目标全连接网络和所述第二目标卷积网络用于从所述第一行驶信息中提取所述目标对象的第一行驶特征,所述第三目标全连接网络和所述第三目标卷积网络用于从所述第二行驶信息中提取所述参考对象的第二行驶特征,所述第一目标卷积网络用于从所述道路信息中提取道路特征,所述目标图神经网络用于根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,所述第一目标全连接网络用于根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图。
96.本技术的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项对象行驶意图的预测方法。
97.可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码在目标道路上检测所述目标道路上行驶的当前车辆所对应的目标对象,其中,所述目标对象是所述目标道路上允许对所述当前车辆的行驶方式产生影响的对象;在检测到所述目标对象的情况下,获取所述目标对象的第一行驶信息,获取所述目标对象的参考对象
的第二行驶信息,并获取所述目标道路的道路信息,其中,所述参考对象是所述目标道路上允许对所述目标对象的行驶方式产生影响的对象,所述第一行驶信息包括所述目标对象在目标时间段内在所述目标道路上的行驶信息,所述第二行驶信息包括所述参考对象在所述目标时间段内在所述目标道路上的行驶信息,所述道路信息包括所述目标道路上允许对所述目标对象的行驶方式产生影响的信息,所述目标时间段包括当前时刻以及所述当前时刻之前的一个或者多个历史时刻;从所述第一行驶信息中提取所述目标对象的第一行驶特征,从所述第二行驶信息中提取所述参考对象的第二行驶特征,并从所述道路信息中提取道路特征,其中,所述第一行驶特征用于表征所述目标对象在所述目标道路上的第一行驶方式,所述第二行驶特征用于表征所述参考对象在所述目标道路上的第二行驶方式,所述道路特征用于表征在所述目标道路上允许所述目标对象在所述当前时刻之后的时刻采用的行驶方式;根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,其中,所述行驶关系特征用于表征所述目标对象和所述参考对象之间的交互关系;根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,其中,所述行驶意图用于控制所述当前车辆在所述目标道路上行驶。
98.本技术的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项对象行驶意图的预测方法实施例中的步骤。
99.可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
100.可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:在目标道路上检测所述目标道路上行驶的当前车辆所对应的目标对象,其中,所述目标对象是所述目标道路上允许对所述当前车辆的行驶方式产生影响的对象;在检测到所述目标对象的情况下,获取所述目标对象的第一行驶信息,获取所述目标对象的参考对象的第二行驶信息,并获取所述目标道路的道路信息,其中,所述参考对象是所述目标道路上允许对所述目标对象的行驶方式产生影响的对象,所述第一行驶信息包括所述目标对象在目标时间段内在所述目标道路上的行驶信息,所述第二行驶信息包括所述参考对象在所述目标时间段内在所述目标道路上的行驶信息,所述道路信息包括所述目标道路上允许对所述目标对象的行驶方式产生影响的信息,所述目标时间段包括当前时刻以及所述当前时刻之前的一个或者多个历史时刻;从所述第一行驶信息中提取所述目标对象的第一行驶特征,从所述第二行驶信息中提取所述参考对象的第二行驶特征,并从所述道路信息中提取道路特征,其中,所述第一行驶特征用于表征所述目标对象在所述目标道路上的第一行驶方式,所述第二行驶特征用于表征所述参考对象在所述目标道路上的第二行驶方式,所述道路特征用于表征在所述目标道路上允许所述目标对象在所述当前时刻之后的时刻采用的行驶方式;根据所述第一行驶特征和所述第二行驶特征生成行驶关系特征,其中,所述行驶关系特征用于表征所述目标对象和所述参考对象之间的交互关系;根据所述第一行驶特征,所述行驶关系特征和所述道路特征预测所述目标对象在所述当前时刻之后的目标时刻的行驶意图,其中,所述行驶意图用于控制所述当前车辆在所述目标道路上行驶。
101.可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、只读存储器(read-only memory,简称为rom)、随机存取存储器(random access memory,简称为ram)、移动硬
盘、磁碟或者光盘等各种可以存储程序代码的介质。
102.可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
103.显然,本领域的技术人员应该明白,上述的本技术的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本技术不限制于任何特定的硬件和软件结合。
104.以上所述仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1