一种无人驾驶汽车对周边车辆切入轨迹预测系统及方法

1.本发明涉及无人驾驶技术领域，特别是涉及基于dr-connect改进的bi-lstm网络框架的一种无人驾驶汽车对周边车辆切入轨迹预测系统及方法。


背景技术：

2.无人驾驶作为未来出行模式的大趋势，在国内外掀起研究热潮。在可以预见的未来，国内外地面交通将长期处于人工驾驶-无人驾驶混驾的复杂环境下。由于人工驾驶车辆行为风格的多样性和不确定性，使得无人驾驶车辆在人机混驾复杂环境中的决策面临着挑战。
3.车辆变道一直被认为是造成交通事故的主要因素之一。在人机混驾的环境中，无人驾驶车辆若能准确预测相邻车道车辆的切入轨迹，就能提前做出决策从而减少交通事故发生。因此，提高无人驾驶车辆对周围车辆切入轨迹预测的准确性成为当前轨迹预测任务的重要目标。
4.目前针对车辆的轨迹预测可大致分为两类：基于车辆运动模型的轨迹预测和基于数据的轨迹预测。文献1(houenou a,bonnifait p,cherfaoui v,etal.vehicle trajectory prediction based on motion model and maneuver recognition[c],2013ieee/rsj international conference on intelligent robots and systems,tokyo,japan.ieee,2014)提出了一种运动模型和机动识别模型相结合的轨迹预测方法，然而由于车辆的轨迹具有高度非线性的特征，运动模型对于短期轨迹预测有着较好的效果，但不适用于长期轨迹预测。文献2(xie g,etc.motion trajectory prediction based on a cnn-lstm sequential model[j].science china-information sciences,2020,63(11).)提出一种结合卷积神经网络(cnn)和lstm网络的模型进行轨迹预测。然而只考虑目标车辆的历史轨迹信息，lstm网络虽然在一定程度上能减轻梯度消失的现象，但对于较长时间段的轨迹预测来说，梯度消失和网络退化等问题仍然存在，且现有的预测方法误差大，预测精度不足。


技术实现要素：

[0005]
本发明的目的是针对上述背景技术中存在的问题，提供能够有效提高车辆轨迹预测精度，为人机混驾环境中的无人驾驶车辆决策提供依据，从而保证交通安全的一种无人驾驶汽车对周边车辆切入轨迹预测系统及方法。本发明基于数据驱动的深度学习策略，通过构建基于dr-connect改进的bi-lstm网络构架，实现无人驾驶汽车对周围车辆切入轨迹的实时长时间准确预测。
[0006]
一种无人驾驶汽车对周边车辆切入轨迹预测系统设有数据集获取模块、模型训练模块和轨迹预测模块；所述数据集获取模块用于获取车辆相关数据并处理融合后构建轨迹数据集，所述模型训练模块用于根据轨迹数据集对基于dr-connect改进的bi-lstm网络预测模型进行训练，所述轨迹预测模块用于通过处理后的数据在线预测获得相邻车辆未来一
段时间内的轨迹，为无人驾驶车辆的决策提供依据；所述数据集获取模块、模型训练模块和轨迹预测模块依次连接。
[0007]
一种无人驾驶汽车对周边车辆切入轨迹预测方法，包括以下步骤：
[0008]
1)数据集获取：通过大规模真实驾驶场景采集驾驶数据，处理并构建训练神经网络所需的轨迹数据集；
[0009]
2)模型训练：构建切入轨迹预测模型，并利用步骤1)所得轨迹数据集进行训练；
[0010]
3)实时车辆切入轨迹预测：通过自车实时采集行驶数据，经过数据处理，用步骤2)训练好的切入轨迹预测模型进行在线预测，即获得相邻车辆未来一段时间内的轨迹预测。
[0011]
在步骤1)中，所述数据集获取的具体方法可为：
[0012]
(1)实车采集数据：利用自车上配备的摄像头、毫米波雷达等车载传感器采集行驶过程中周边车辆的相关数据，自车的数据从车辆的can总线获取；
[0013]
(2)数据预处理：驾驶数据在采集的过程中难免会受到一些特殊因素的影响，导致采集的数据不完整或不准确，因此在使用前必须先将各传感器采集得的数据进行预处理；采取最近邻填补法和插值法对缺失部分进行填补，使用savitzky-golay滤波器对数据进行滤波以消除噪声；
[0014]
(3)融合数据：从各传感器获取所需数据并融合，所需的数据包括但不限于目标车辆的信息、目标车辆与自车的相互作用信息等；选取准则为：选取目标车辆的纵向坐标、横向坐标、速度和加速度，方向角和方向角速度作为目标车辆的信息；目标车辆与自车的相对纵向距离、相对横向距离、相对纵向速度、相对横向速度、相对纵向加速度作为相互作用信息；
[0015]
(4)提取轨迹片段：从上述步骤获得的数据中提取车辆切入和车道保持的轨迹片段；
[0016]
(5)生成离线数据集：采用滑动时窗的方法提取指定长度的轨迹序列，增强轨迹数据的利用率；从两种轨迹片段数据类型中抽取数量相同的序列作为离线数据集且每个类型个数不低于5000个，再采用z-score方法对其进行归一化，并按8︰1︰1的比例将数据集划分为训练集、验证集和测试集。
[0017]
在步骤2)中，所述构建切入轨迹预测模型的具体方法可为：
[0018]
(1)bi-lstm层：lstm是rnn中主要的网络之一，它适合处理时间序列问题；一个bi-lstm层是采用一个前向lstm层和一个反向lstm层进行组合构建的双向lstm层，前向lstm顺时序提取特征，反向lstm逆时序提取体征，最后将前向和反向lstm层的输出进行concat，获得bi-lstm层的输出。
[0019]
(2)resnet与densenet：resnet通过加入shortcut connection的方法，实现梯度的跨步计算，能有效减小梯度消失和网络退化问题的影响；而densenet是一种具有密集连接的卷积神经网络，网络中任意两层之间都有直接的连接，这表明网络中每层的输入都是前面所有层输出的并集，这种方法更加有效地缓解了梯度消失的现象，从而提高模型的预测精度。
[0020]
(3)预测模型的输入：包含目标车辆的信息和相互作用的信息。
[0021]
(4)基于dr-connect改进的bi-lstm网络预测过程：在bi-lstm的基础上加入densenet类似的密集连接，即bi-lstm每一层的输入都由前面所有层的输出拼接而成，以此
缓解梯度消失问题，并引入1层全连接层充当类似resnet中shortcut connection的快捷连接；信息由输入层输入并分为两路：一路通过具有密集连接的多层bi-lstm，另一路通过1层全连接层；将两路得到的输出进行add操作，通过relu激活函数对add结果进行变换，再通过1层全连接层进行线性映射变换在输出层获得预测输出结果，最后对结果进行反归一化获得最终的轨迹输出。
[0022]
(5)预测模型的输出：输出周边切入本车道车辆的位置坐标。
[0023]
在步骤3)中，所述实时车辆切入轨迹预测的具体方法为：无人驾驶车辆行驶过程中实时采集的数据，通过数据处理获得轨迹预测的输入信息序列，把数据输入至切入轨迹预测模型即可预测得相邻车道车辆的切入轨迹。
[0024]
与传统的轨迹预测方法相比，本发明采用基于数据驱动的深度学习的方法，实施起来简单高效；与单纯利用目标车辆状态信息来进行轨迹预测的方法相比，本发明综合考虑车辆间相互作用对于周围车辆切入这一行为的影响，增加了输入信息的特征维度，提高了对模型的训练效果；将densenet和resnet两大类型网络的优点与bi-lstm网络相结合，构建车辆切入轨迹的预测模型，减少了深度神经网络普遍存在的梯度消失和网络退化问题带来的影响，提高了bi-lstm网络的预测能力，进一步提高轨迹预测精度。本发明通过构建基于dr-connect改进的bi-lstm网络构架，实现无人驾驶汽车对周围车辆切入轨迹的实时长时间准确预测，有效提高交通安全。
附图说明
[0025]
图1为本发明系统的原理框图。
[0026]
图2为本发明车辆切入场景示意图。
[0027]
图3为本发明轨迹坐标系示意图。
[0028]
图4为本发明具有密集连接的bi-lstm结构图。
[0029]
图5为本发明轨迹预测模型结构图。
具体实施方式
[0030]
下面结合附图对本发明作进一步的说明。
[0031]
如图1所示，为本发明系统的原理框图，本发明实施例所述无人驾驶汽车对周边车辆切入轨迹预测系统由数据集获取模块、模型训练模块和轨迹预测模块三个部分组成，数据集获取模块用于实车采集数据，并对数据进行预处理和融合，提取轨迹片段后生成离线数据集；模型训练模块用于根据轨迹数据集对基于dr-connect改进的bi-lstm网络进行训练，所述轨迹预测模块用于将处理后的数据输入切轨迹预测模型以获得相邻车辆预测轨迹，为无为无人驾驶车辆的决策提供依据；所述数据集获取模块、模型训练模块和轨迹预测模块依次连接。
[0032]
本发明实施例所述无人驾驶汽车对周边车辆切入轨迹预测方法,包括以下步骤：
[0033]
步骤1：数据集获取模块的实施步骤如下：
[0034]
步骤1.1：实车数据采集：利用试验车上配备的摄像头、毫米波雷达等车载传感器对周边车辆采集获取状态信息，从试验车的can总线获取自车的速度、加速度等状态信息。
[0035]
步骤1.2：数据的预处理：对获得的数据进行缺失值的填补和噪声的处理。由于采
集到的数据与时序相关，因此结合最近邻填补法和插值法对数据的缺失部分进行填补；savitzky-golay滤波器是一种在时域内基于多项式最小二乘法拟合的方法，在滤波的同时可确保信号的形状和宽度不变，使用savitzky-golay滤波器对缺失值填充后的数据进行滤波以消除噪声。
[0036]
步骤1.3：数据的融合：从各传感器获取所需数据并融合；首先定义坐标系以方便描述车辆的位置。图2为本发明车辆切入场景示意图，以图2所示来辅助说明坐标系的设定：以主车辆所在车道的中心线为基准作纵轴x，以垂直于纵轴x的方向作横轴y，过历史观测序列中第一个时间步主车所在轨迹点作垂线垂直车道中心线，以垂点为坐标系的原点，以沿车辆前进的方向为纵轴正方向，以面向车辆前进方向的左侧为横轴的正方向，图3为本发明轨迹坐标系示意图；选取目标车辆的纵向坐标、横向坐标、速度和加速度，方向角和方向角速度作为目标车辆的状态信息，同时考虑车辆间相互作用对切入轨迹的影响，选取目标车辆与自车的相对纵向距离、相对横向距离、相对纵向速度、相对横向速度、相对纵向加速度作为相互作用信息；上述关于车辆坐标信息的确定方法为：通过采集数据可先确定主车的坐标，之后再根据主车与目标车辆的相对距离确定目标切入车辆的坐标位置。
[0037]
步骤1.4：提取轨迹片段：从步骤1.3中数据融合获得的数据中提取车辆切入、车道保持共2类轨迹片段。
[0038]
步骤1.5：生成离线数据集：采用滑动时窗的方法提取指定长度的轨迹序列，增强轨迹数据的利用率；定义车辆在切入点的时刻为t，将时间区间t
±
4s上的轨迹点定义为切入过程点，若提取轨迹序列最后一个采样点为切入过程点，则把该序列标记为切入序列，否则为车道保持序列；从两种轨迹序列中各随机抽取数量相同的序列作为整体数据集，且每个类型个数不低于5000个，再采用z-score方法对其进行归一化，并按8︰1︰1的比例将数据集划分为训练集、验证集和测试集，z-score方法公式如下：
[0039][0040]
式中，x是归一化之前的原始数据，是原始数据的均值，σ是原始数据的标准差，x
*
是归一化之后的数据。
[0041]
步骤2：模型训练模块：图5为本发明轨迹预测模型结构图，训练步骤如下：
[0042]
步骤2.1：模型的输入：模型的输入x由目标车辆的信息和目标车辆和自车的相互作用信息共11个特征构成，如下式：
[0043]
x＝(x1,x2,...,x
t
)
[0044]
x
t
＝(t
t
,i
t
)
[0045][0046]it
＝(δx
t
,δy
t
,δv
x
,δvy,δa
x
)
[0047]
式中，t既是观测历史序列的时间长度，也表示当前时刻；t
t
是目标车辆的信息，i
t
是车辆间相互作用的信息；x
t
、y
t
分别是目标车辆的纵向坐标和横向坐标，v
t
是目标车辆的速度，a
t
是目标车辆的加速度；θ
t
和分别是目标车辆相对于自车的方向角和方向角速度；δx
t
，δy
t
，δv
x
，δvy，δa
x
分别是目标车辆与自车的相对纵向距离、相对横向距离、相对纵向速度、相对横向速度、相对纵向加速度。
[0048]
步骤2.2：基于dr-connect改进的bi-lstm网络处理过程：输入由输入层输入并分为两路：一路通过具有密集连接的多层bi-lstm(结构如图4所示)；另一路通过1层全连接fc层；bi-lstm的第一层的隐藏神经单元个数取128，拥有较大的第一层并在其后跟随较小的层将导致更好的性能，因为第一层可以学习很多低阶的特征，这些较低层的特征可以馈入后续层中，提取出较高阶特征；其余bi-lstm层的隐藏神经单元个数取64，与在每一层中添加更多的神经元相比，添加层数将获得更大的性能提升，bi-lstm层数设置为5层；将两路得到的输出进行add操作，通过relu激活函数对add结果进行变换，再通过1层全连接层fc进行线性映射变换在输出层获得预测输出结果，最后对结果进行反归一化获得最终的轨迹输出，relu函数表达式如下：
[0049][0050]
步骤2.3：模型的输出：输出层的特征数为2，为周车的横向坐标和纵向坐标，如下式：
[0051]
y＝(y
t+1
,y
t+2
,...,y
t+p
)
[0052]yt+p
＝(x
t+p
,y
t+p
)
[0053]
式中，p是预测未来序列的时间长度(p≤t)，x
t+p
、y
t+p
分别是t+p时刻目标车辆的纵向坐标和横向坐标。
[0054]
步骤2.4：训练阶段：训练过程中，采用adam作为优化器，初始学习率0.001，加入系数为0.3的dropout防止过拟合，使用均方误差mse作为损失函数，设定训练epoch为500个，训练过程中每当验证集mse下降即保存模型，在连续20次迭代mse没有下降时，将学习率降低为现有的10％，在模型训练结束后可用测试集对模型的精度进行一个评估。
[0055]
步骤3：轨迹预测模块：对于行驶过程中的无人驾驶车辆，通过自身配备的传感器等数据采集设备采集周车数据，经过步骤1中的数据处理步骤提取历史状态信息序列，将数据序列输入步骤2训练获得的轨迹预测模型进行预测，最终生成周车位置坐标，获得轨迹图，为无人驾驶车辆的决策提供依据。
[0056]
综上所述，本发明形成一种基于dr-connect改进的bi-lstm周车切入轨迹预测系统及方法，可以有效提升模型的精度，采用数据驱动的深度学习来训练预测模型，可利用实时采集的数据为无人驾驶车辆提供快速有效的周车切入轨迹预测，从而为无人驾驶车辆的决策提供有效的依据，在未来交通将长期处于人机混驾模式的环境下，可以很大程度保证交通的安全。
[0057]
以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。