基于交互轨迹预测模型的自动驾驶交互仿真方法及系统与流程

1.本发明涉及智慧交通技术领域，尤其涉及一种基于交互轨迹预测模型的自动驾驶交互仿真方法及系统。


背景技术：

2.自动驾驶已经成为汽车行业的发展趋势，对于自动驾驶感知、定位、规划决策及控制等方面的研究正快速进行。但是自动驾驶领域安全事故频发，安全成为自动驾驶领域要解决的本质问题，业界和社会都需要具备更高可靠性的自动驾驶技术来夯实发展基础，其中测试场景、丰富和完善测试技术是提高自动驾驶安全性能的极重要一步。
3.为了保障自动驾驶车辆的安全性，车辆必须要经过数以百万级公里数的测试、验证，故自动驾驶对仿真平台的依赖越来越大。通常，自动驾驶车辆的系统可分为三个模块：一是感知模块，相当于人的眼睛，通过传感器实时采集周边环境状态；二是规划决策模块，相当于人的大脑，规划处驾驶路径，并将规划路径转化为可执行的油门、刹车、转向等指令；三是控制模块，相当于人的手和脚，用于控制车辆进行油门、刹车、转向等操作的执行。
4.现有技术中存在许多自动驾驶仿真平台，然而现有平台通常侧重于对驾驶场景进行仿真设计，忽略了车辆行驶行为的真实性。具体来说，现有技术通常局限于构建真实的车辆模型与渲染道路场景，缺乏对车辆轨迹预测与规划的建模，从而无法提供真实的车辆交互场景。


技术实现要素：

5.本发明提供一种基于交互轨迹预测模型的自动驾驶交互仿真方法及系统，用以解决现有自动驾驶仿真真实性低、难以保证自动驾驶安全性的问题。
6.本发明提供一种基于交互轨迹预测模型的自动驾驶交互仿真方法，包括：
7.获取真实交通数据，基于所述交通数据建立交互轨迹预测模型；
8.基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果；
9.通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果。
10.根据本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，所述获取真实交通数据，基于所述交通数据建立交互轨迹预测模型，具体包括：
11.基于所述交通数据确定交互冲突中的影响者和响应者，并进行区分标注；
12.基于区分标注后的影响者和响应者，通过预设的关系预测网络对交互关系进行预测；
13.将所述交互关系预测抽象为两次轨迹预测，输出交互轨迹预测模型。
14.根据本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，基于所述交通数据确定交互冲突中的影响者和响应者，并进行区分标注，具体包括：
15.所述交通数据包括地图信息和车辆信息，将地图信息和车辆信息中的冲突礼让方确定为响应者，将冲突无需礼让发确定为影响者；
16.通过预设的时空轨迹交错方法对响应者和影响者进行区分标注。
17.根据本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，将所述交互关系预测抽象为两次轨迹预测，输出交互轨迹预测模型，具体包括：
18.通过预设的边际预测模型对影响者轨迹进行预测，生成影响者轨迹预测结果；
19.基于所述影响者轨迹预测结果，通过预设的条件预测模型对响应者的轨迹进行预测，生成响应者轨迹预测结果；
20.基于所述影响者轨迹预测结果和所述响应者轨迹预测结果，针对多智能体进行组合筛选，通过交通数据中的真实轨迹结果作为预测输出的监督损失函数，训练输出交互轨迹预测模型。
21.根据本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果，具体包括：
22.通过所述交互轨迹预测模型输出初始轨迹预测结果；
23.基于所述初始轨迹预测结果通过进阶过程控制算法对车辆行驶轨迹进行状态约束和控制约束，输出优化轨迹预测结果。
24.根据本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果，具体包括：
25.获取实时的交通数据，提取道路地图信息和车辆运动信息，并转化为特定格式文件；
26.通过预设的轨迹与地图要素管理模型对所述特定格式文件进行解析，抽象化为具体对象；
27.将所述具体对象作为原始数据输入至交互轨迹预测模型，输出轨迹预测结果并通过进阶过程控制算法进行优化，得到优化轨迹预测结果；
28.将所述优化轨迹预测结果为当前时段的车辆行为进行更新，更新后的轨迹数据作为新的初始值输入至轨迹与地图要素管理模型进行迭代更新，在设定时间段内进行交通流仿真，生成交通仿真场景；
29.所述轨迹与地图要素管理模型将交通仿真场景按照时间顺序逐帧可视化，发送至预设的可视化平台进行展示。
30.本发明还提供一种基于交互轨迹预测模型的自动驾驶交互仿真系统，所述系统包括：
31.建模模块，用于获取真实交通数据，基于所述交通数据建立交互轨迹预测模型；
32.预测模块，用于基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果；
33.仿真模块，用于通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果。
34.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于交互轨迹预测模型的自动驾驶交互仿真方法。
35.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于交互轨迹预测模型的自动驾驶交互仿真方法。
36.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于交互轨迹预测模型的自动驾驶交互仿真方法。
37.本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法及系统，通过对大规模交通场景数据中的信息进行了学习，使得轨迹预测的过程在利用了大数据先验知识，从而取得了比现有技术更真实的交通仿真结果。因而本发明能够为自动驾驶技术的研发提供大量接近于真实的模拟数据，在节约数据采集成本的同时提高效率。此外，本发明还能为算法的研发提供仿真测试场景，避免研发自动驾驶汽车在真实道路上测试带来的危险性，提升自动驾驶的安全性。
附图说明
38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法的流程示意图之一；
40.图2是本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法的流程示意图之二；
41.图3是本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法的流程示意图之三；
42.图4是本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法的流程示意图之四；
43.图5是本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法的流程示意图之五；
44.图6是本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法的流程示意图之六；
45.图7是本发明提供的一种基于交互轨迹预测模型的自动驾驶交互仿真系统的模块连接示意图；
46.图8是本发明提供的电子设备的结构示意图。
47.附图标记：
48.110：建模模块；120：预测模块；130：仿真模块；
49.810：处理器；820：通信接口；830：存储器；840：通信总线。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.下面结合图1-图6描述本发明的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，包括：
52.s100、获取真实交通数据，基于所述交通数据建立交互轨迹预测模型；
53.s200、基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果；
54.s300、通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果。
55.本发明利用深度神经网络对交互轨迹预测模型进行建模，在采集得到的车辆、行人轨迹数据上进行大规模训练，实现基于数据驱动的、有较好真实场景适应性及可落地性的交互预测轨迹生成。并在交互预测模型的基础上，对仿真环境及相关算法系统化部署相关工程进行支持，开发实现支持多智能体交通场景模拟的自动驾驶仿真平台，通过可视化模块对仿真结果进行可视化。
56.获取真实交通数据，基于所述交通数据建立交互轨迹预测模型，具体包括：
57.s101、基于所述交通数据确定交互冲突中的影响者和响应者，并进行区分标注；
58.s102、基于区分标注后的影响者和响应者，通过预设的关系预测网络对交互关系进行预测；
59.s103、将所述交互关系预测抽象为两次轨迹预测，输出交互轨迹预测模型。
60.本发明中多个十字路口利用车路协同的方式采集得到大规模真实交通数据，并对数据进行处理。处理得到的数据信息包含地图信息与车辆信息。具体来说，地图信息包含红绿灯、车道线、虚实线等信息，而车辆信息则包含车辆位置、速度、方向等物理信息。在此数据基础上，本发明对交互轨迹预测模型进行建模，结合现有的前沿神经网络模型，研究基于数据驱动的、有较好真实场景适应性及可落地性的交互预测轨迹生成。
61.基于所述交通数据确定交互冲突中的影响者和响应者，并进行区分标注，具体包括：
62.s1011、所述交通数据包括地图信息和车辆信息，将地图信息和车辆信息中的冲突礼让方确定为响应者，将冲突无需礼让发确定为影响者；
63.s1012、通过预设的时空轨迹交错方法对响应者和影响者进行区分标注。
64.本发明的交互轨迹预测模型基于m2i网络模型进行构建，将交互冲突中的车辆、道路和行人等主体分为影响者和响应者，响应者定义是冲突中的需要礼让的一方，影响者定义为不需要礼让的一方。在数据标记过程中，模型利用基于时空轨迹交错的方法对现有数据集中的车辆进行影响者和响应者的区分标注。通过区分标注能够分辨出不同的数据类型。
65.将所述交互关系预测抽象为两次轨迹预测，输出交互轨迹预测模型，具体包括：
66.s1031、通过预设的边际预测模型对影响者轨迹进行预测，生成影响者轨迹预测结
果；
67.s1032、基于所述影响者轨迹预测结果，通过预设的条件预测模型对响应者的轨迹进行预测，生成响应者轨迹预测结果；
68.s1033、基于所述影响者轨迹预测结果和所述响应者轨迹预测结果，针对多智能体进行组合筛选，通过交通数据中的真实轨迹结果作为预测输出的监督损失函数，训练输出交互轨迹预测模型。
69.本发明在模型预测过程中，首先利用关系预测网络对交互关系进行预测；之后将交互中的轨迹预测问题抽象成两次轨迹预测，首先利用边际预测模型对影响者轨迹进行预测，并在此基础上利用条件预测模型预测响应者的轨迹。
70.交互预测模型进一步将关系预测拓展到多智能体的关系预测上。针对多智能体，进行成对预测，最终预测结果基于预测的联合可能性进行组合和筛选。上述模型基于预先采集的真实数据进行训练，利用真实轨迹结果作为预测输出的监督损失函数，训练后的交互预测结果能够实现避让等交互行为。
71.基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果，具体包括：
72.s201、通过所述交互轨迹预测模型输出初始轨迹预测结果；
73.s202、基于所述初始轨迹预测结果通过进阶过程控制算法对车辆行驶轨迹进行状态约束和控制约束，输出优化轨迹预测结果。
74.本发明中考虑到预测模块本身容易造成误差积累的现象，在交互预测模型的基础上，引入mpc控制算法(进阶过程控制算法)对交互预测结果进一步控制优化。mpc算法是一种进阶过程控制方法，本发明基于车辆动力学模型，对车辆交互轨迹跟踪状态空间方程进行建模,利用mpc算法,对车辆行驶轨迹进行状态约束和控制约束，求解最优控制结果。输出结果为车辆在未来有限时间步的控制序列。测试结果证明，mpc控制算法能有效约束车辆轨迹，实现跟踪、避障等交互行为。
75.通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果，具体包括：
76.s301、获取实时的交通数据，提取道路地图信息和车辆运动信息，并转化为特定格式文件；
77.s302、通过预设的轨迹与地图要素管理模型对所述特定格式文件进行解析，抽象化为具体对象；
78.s303、将所述具体对象作为原始数据输入至交互轨迹预测模型，输出轨迹预测结果并通过进阶过程控制算法进行优化，得到优化轨迹预测结果；
79.s304、将所述优化轨迹预测结果为当前时段的车辆行为进行更新，更新后的轨迹数据作为新的初始值输入至轨迹与地图要素管理模型进行迭代更新，在设定时间段内进行交通流仿真，生成交通仿真场景；
80.s305、所述轨迹与地图要素管理模型将交通仿真场景按照时间顺序逐帧可视化，发送至预设的可视化平台进行展示。
81.本发明基于交互预测模型，在开源平台commonroad的基础上进一步开发支持多智能体交通场景模拟的自动驾驶仿真平台。
82.commonroad是道路运动规划的可组合基准的开源平台。基准由包含规划问题的道路场景、车辆动力学模型、车辆参数和车辆id等信息组成。该仿真平台具有轻量化和场景泛化性的特点。本发明在此平台的基础上，进一步将上述交互预测模型进行集成，作为平台中的交互预测模块。并在此基础上探究自动驾驶过程中的交互轨迹预测，在构建道路场景控制系统的同时实现交通流的可视化。
83.本发明首先对数据进行格式转化，从原始数据中解析提取出道路地图信息(车道线、红绿灯、车道宽度)与车辆运动信息(车辆id、车辆类型、速度、方向、起始位置坐标)，将上述信息转化为仿真平台支持的xml文件格式。
84.仿真平台首先利用轨迹与地图要素管理模型对上述xml格式的场景信息进行解析，将道路信息与车辆信息分别抽象化为具体对象，将具体对象作为初始数据先送入交互预测网络并经过mpc控制算法进行优化，输出车辆在未来时间段内的轨迹预测输出，利用输出结果为当前时段的车辆行为进行更新，通过车辆动力学模型规划求解车辆运动行为，更新后的轨迹数据作为新的初始值重新送入轨迹与地图要素管理模型，进行迭代更新，实现给定时间段内完整的交通流仿真。
85.对交通仿真场景按照时间顺序逐帧进行可视化，将轨迹与地图要素管理模型与可视化模块进行对接，将车辆可视化为给定id、大小、方向、位置的矩形，并同时将结构化地图元素进行可视化，车道可视化为给定宽度的两组平行线段。
86.实现了基于交互模型的仿真平台搭建，在构建道路场景控制系统的同时实现交通流的可视化，为交互场景下自动驾驶车辆的路径规划和驾驶安全提供平台与方法的支持。
87.本发明利用发展成熟的深度学习方法，对大规模交通场景数据中的信息进行了学习，使得轨迹预测的过程在利用了大数据先验知识，从而取得了比现有技术更真实的交通仿真结果。因而本技术能够为自动驾驶技术的研发提供大量接近于真实的模拟数据，在节约数据采集成本的同时提高效率。此外，本技术还能为算法的研发提供仿真测试场景，避免研发自动驾驶汽车在真实道路上测试带来的危险性。
88.且由于本技术具有轻量化的特点，无需特殊硬件设备的支持，便于安装，可以直接应用到现有的计算设备中进行仿真，可移植性强。
89.参考图7，本发明还公开了一种基于交互轨迹预测模型的自动驾驶交互仿真系统，所述系统包括：
90.建模模块110，用于获取真实交通数据，基于所述交通数据建立交互轨迹预测模型；
91.预测模块120，用于基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果；
92.仿真模块130，用于通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果。
93.建模模块，基于所述交通数据确定交互冲突中的影响者和响应者，并进行区分标注；
94.基于区分标注后的影响者和响应者，通过预设的关系预测网络对交互关系进行预测；
95.将所述交互关系预测抽象为两次轨迹预测，输出交互轨迹预测模型。
96.其中，交通数据包括地图信息和车辆信息，将地图信息和车辆信息中的冲突礼让方确定为响应者，将冲突无需礼让发确定为影响者；
97.通过预设的时空轨迹交错方法对响应者和影响者进行区分标注。
98.通过预设的边际预测模型对影响者轨迹进行预测，生成影响者轨迹预测结果；
99.基于所述影响者轨迹预测结果，通过预设的条件预测模型对响应者的轨迹进行预测，生成响应者轨迹预测结果；
100.基于所述影响者轨迹预测结果和所述响应者轨迹预测结果，针对多智能体进行组合筛选，通过交通数据中的真实轨迹结果作为预测输出的监督损失函数，训练输出交互轨迹预测模型。
101.预测模块，通过所述交互轨迹预测模型输出初始轨迹预测结果；
102.基于所述初始轨迹预测结果通过进阶过程控制算法对车辆行驶轨迹进行状态约束和控制约束，输出优化轨迹预测结果。
103.仿真模块，获取实时的交通数据，提取道路地图信息和车辆运动信息，并转化为特定格式文件；
104.通过预设的轨迹与地图要素管理模型对所述特定格式文件进行解析，抽象化为具体对象；
105.将所述具体对象作为原始数据输入至交互轨迹预测模型，输出轨迹预测结果并通过进阶过程控制算法进行优化，得到优化轨迹预测结果；
106.将所述优化轨迹预测结果为当前时段的车辆行为进行更新，更新后的轨迹数据作为新的初始值输入至轨迹与地图要素管理模型进行迭代更新，在设定时间段内进行交通流仿真，生成交通仿真场景；
107.所述轨迹与地图要素管理模型将交通仿真场景按照时间顺序逐帧可视化，发送至预设的可视化平台进行展示。
108.本发明公开的一种基于交互轨迹预测模型的自动驾驶交互仿真系统，通过对大规模交通场景数据中的信息进行了学习，使得轨迹预测的过程在利用了大数据先验知识，从而取得了比现有技术更真实的交通仿真结果。因而本发明能够为自动驾驶技术的研发提供大量接近于真实的模拟数据，在节约数据采集成本的同时提高效率。此外，本发明还能为算法的研发提供仿真测试场景，避免研发自动驾驶汽车在真实道路上测试带来的危险性，提升自动驾驶的安全性。
109.图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行一种基于交互轨迹预测模型的自动驾驶交互仿真方法，该方法包括：获取真实交通数据，基于所述交通数据建立交互轨迹预测模型；
110.基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果；
111.通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果。
112.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
113.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，该方法包括：获取真实交通数据，基于所述交通数据建立交互轨迹预测模型；
114.基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果；
115.通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果。
116.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的一种基于交互轨迹预测模型的自动驾驶交互仿真方法，该方法包括：获取真实交通数据，基于所述交通数据建立交互轨迹预测模型；
117.基于所述交互轨迹预测模型输出初始轨迹预测结果，通过预设的进阶过程控制算法对所述初始轨迹预测结果进行优化，输出优化轨迹预测结果；
118.通过预设的道路运动规划可组合基准的开源平台对所述优化轨迹预测结果进行自动驾驶仿真，输出可视化仿真结果。
119.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
120.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
121.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。