一种基于扩散模型的自动驾驶轨迹预测方法与装置与流程

【】本发明涉及自动驾驶，具体涉及一种基于扩散模型的自动驾驶轨迹预测方法与装置。

背景技术

0、
背景技术：

1、近年来，自动驾驶领域对运动预测技术进行了广泛研究，因为自动驾驶车辆的需求不断增长。这些预测方法通常依赖于包括道路地图和交通参与者历史状态在内的输入数据。早期方法使用卷积神经网络(cnn)将场景上下文栅格化成图像来处理数据。lanegcn(一种运动预测模型，利用新的结构化地图表示地图矢量数据，而非栅格化图片)引入了车道图，以有效捕捉地图拓扑，而vectornet(一种机器学习算法，它可以将原始数据转换为向量，以便于在计算机上进行分析和处理，通过向量化表示编码高精度地图与动态交通参与者)则将道路地图和交通参与者轨迹表示为折线，因其高效性和可扩展性而被广泛采用。一旦对场景上下文特征进行编码，现有方法采用不同策略来建模多模态的未来运动。

2、早期技术生成一组轨迹样本来近似输出分布，而其他方法使用高斯混合模型(gmm)来参数化多模态预测。一些方法通过从预测的热图中采样来生成轨迹。intentnet(一种可学习的端到端模型，用原始传感器数据直接预测意图，能够解决自动驾驶汽车背景下的车辆检测和意图预测)将意图预测视为分类问题，而某些方法提出了基于区域的训练策略。基于目标的方法估计了交通参与者的多个目标点，然后为每个目标生成完整轨迹。

3、近期引入的waymo open motion dataset(womd，自动驾驶训练数据集)解决了长期运动预测的数据挑战。densetnt(end-to-end trajectory prediction from densegoal sets，基于密集目标集的端到端轨迹预测)采用了基于目标的策略，根据密集目标点对轨迹的终点进行分类。其他方法根据编码的交通参与者特征或潜在锚点嵌入直接预测未来轨迹。然而，基于目标的策略因目标候选数目众多而存在效率问题，而直接回归策略由于从相同交通参与者特征预测不同运动模式而收敛较慢。

4、图1是自动驾驶汽车未来轨迹模态随机性示例图。如图1所示，在实际自动驾驶场景的应用中，交通参与者的未来轨迹具有概率学上的不确定性，即模态分布的差异性。当前现有技术无法将该模态随机性进行良好且精确的建模，通常采用高斯混合模型配合非极大值抑制的后处理手段，然而在建模场景时并为真正引入模态分布的随机性。因此，现有技术常常会导致模态崩塌或退化等问题，在实际应用中无法稳定鲁棒地持续有输出多种可能性的合理未来预测及规划。

5、利用专利数据库进行检索，检索到以下相关专利。

6、相关检索结果1：中国专利文献号、cn111091708b，名称：车辆轨迹预测方法及装置，包括：获取预设时段内的多个车辆的历史轨迹数据，对历史轨迹数据进行预处理，得到历史轨迹数据对应的时空图序列，时空图序列包括预设时段内按时间先后顺序排列的每个时刻对应的时空图，其中，时空图包括至少三个车辆对应的节点，将时空图序列输入已训练的预测模型进行处理，得到车辆各自对应的预测行驶轨迹，预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及样本车辆各自对应的样本行驶轨迹对长短期记忆网络lstm训练得到；提高对车辆轨迹预测的精确度和预测模型的灵活性，增强了鲁棒性。技术特点：1、数据预处理：对历史轨迹数据进行预处理，得到历史轨迹数据对应的时空图序列，没有采用向量化表示并使用神经网络进行编码；2、网络模型：使用lstm模型，没有使用扩散模型架构并采用transformer网络。

7、相关检索结果2：美国专利文献号、us11169531b2，名称、trajectory predictionon top-down scenes，摘要、techniques are discussed for determining predictedtrajectories based on a top-down representation of an environment.sensors ofa first vehicle can capture sensor data of an environment,which may includeagent(s)separate from the first vehicle,such as a second vehicle or apedestrian.a multi-channel image representing a top-down view of the agent(s)and the environment and comprising semantic information can be generatedbased on the sensor data.semantic information may include a bounding box andvelocity information associated with the agent,map data,and other semanticinformation.multiple images can be generated representing the environmentover time.the image(s)can be input into a prediction systemconfigured tooutput a heat map comprising prediction probabilities associated withpossible locations of the agent in the future.apredicted trajectory can begenerated based on the prediction probabilities and output to control anoperation of the first vehicle.技术特点：1、数据预处理：对数据进行预处理，生成代表代理和环境的自上而下视图的多通道图像，包括语义信息，没有采用向量化表示并使用神经网络进行编码；2、预测模型：使用与智能体未来可能位置相关的预测概率的热图的预测系统，可以输出基于预测概率生成预测轨迹，没有使用扩散模型架构并采用transformer网络，完成模型构建。

8、本发明针对现有技术无法对自动驾驶模态随机性进行良好且精确的建模，无法稳定鲁棒地持续输出多种可能性的合理未来预测及规划的技术问题，对自动驾驶轨迹预测方法与装置进行了技术改进。

技术实现思路

0、
技术实现要素：

1、本发明的目的是，提供一种准确性高、多模态性强的自动驾驶轨迹预测方法。

2、为实现上述目的，本发明采取的技术方案是一种基于扩散模型的自动驾驶轨迹预测方法，包括以下步骤：

3、s1、将输入的自车和其他交通参与者历史轨迹信息和道路高清地图信息组织为折线矢量，进行有效且高效矢量编码；

4、s2、采用扩散模型控制轨迹生成，通过扩散模型模拟交通参与者未来轨迹多模态随机性噪声生成过程；

5、s3、使用降噪神经网络模型进行扩散模型交通参与者未来轨迹多模态随机性噪声降噪，生成多模态自车预测轨迹。

6、优选地，步骤s1具体包括以下子步骤：

7、s11、将输入的自车和其他交通参与者历史轨迹信息使用密集且统一的折线矢量编码方式，在编码中采用自车中心策略，将所有输入归一化到以自车为中心的坐标系统；

8、s12、将道路高清地图信息处理为包含多个折线矢量的形式；

9、s13、通过pointnet-like的折线编码器对交通参与者历史轨迹信息和道路高清地图信息进行编码，转化为隐藏状态。

10、优选地，所述扩散模型是去噪扩散概率模型。

11、优选地，所述去噪扩散概率模型在训练过程中使用概率性的扩散过程，同时确保预测的准确性，核心思想是将噪声的方差固定通过迭代的扩散过程进行训练。

12、优选地，所述去噪扩散概率模型训练过程包括以下步骤：

13、a、从真实轨迹数据中初始化扩散前状态；

14、b、随机选择一个扩散步骤；

15、c、随机采样一个服从正态分布的噪声；

16、d、计算通过去噪扩散概率模型生成的中间噪声样本；

17、e、通过降噪神经网络模型输入数据编码隐藏状态、当前扩散状态以及扩散步骤进行学习，生成噪声估计；

18、f、根据估计噪声和真实噪声之间的差异，进行降噪神经网络模型反向传播计算损失；

19、g、重复步骤a至步骤f进行迭代训练，不断优化降噪神经网络模型。

20、优选地，所述降噪神经网络模型是降噪transformer神经网络模型。

21、优选地，所述降噪transformer神经网络模型采用了自注意力机制和交叉注意力机制进行网络构建和优化；所述注意力机制用于学习扩散样本输入的内部模式和特征，以及发现自车和其他交通参与者、道路高清地图信息之间的交互作用。

22、本发明的又一目的是，提供一种准确性高、多模态性强的自动驾驶轨迹预测装置。

23、为实现上述又一目的，本发明采取的技术方案是一种基于扩散模型的自动驾驶轨迹预测装置，用于执行上述的一种基于扩散模型的自动驾驶轨迹预测方法。

24、本发明一种基于扩散模型的自动驾驶轨迹预测方法与装置有益效果如下：

25、1、多模态预测处理：采用了扩散模型，成功解决了多模态车辆轨迹预测的挑战；通过应用differentiable diffusion probabilistic models(ddpm，去噪扩散概率模型)，能够明确建模多模态行为，以生成一系列可能的未来轨迹，更好地应对了人类驾驶员决策的多样性；2、模型充分利用历史轨迹数据和道路地图信息，以提高车辆轨迹预测的准确性，采用了强大的vectornet骨干和编码器，这些组件在捕捉空间依赖性和编码上下文信息方面表现出色；3、通过在大规模公共数据集waymo open motion dataset(womd)上进行广泛的实验，验证本发明性能，对本发明有效性和泛化性进行了评估。