一种车道线离线数据可视化方法及装置与流程

1.本发明属于自动驾驶控制应用技术领域，具体应用于自动驾驶车辆传感融合车道线数据分析。


背景技术：

2.近几年激光雷达成本逐渐下探、高精度地图基本覆盖全国高速道路，以及摄像头、雷达的芯片算力的提高，得益于这些传感器技术的升级与大规模推广，促进了自动驾驶技术快速提升，也让l3级以上的自动驾驶商业量产变为了可能。
3.但伴随着自动驾驶传感器数量增加以及传感器算力的提升，同时也会生成大量的数据，特别是激光雷达与摄像头，据估算每100km路试会生成1tb的数据。自动驾驶路试所产生的数据包含车辆的信息，激光雷达点云，摄像头图像数据，地图数据等，如何利用好这些数据金矿用于提升自动驾驶系统性能及系统鲁棒性成为了一个新的难题。
4.车道保持功能作为自动驾驶功能中最为基本且重要部分，其功能主要为保证车辆在结构化道路上居中行驶，该功能直接影响整套自动驾驶系统安全性
‑‑‑
横向控偏可能会导致交通事故、舒适性
‑‑‑
车道内晃动会影响乘客体验。
5.而融合车道线输出的好坏直接影响横向控制，若车道线输出航行角（路面车道线与本车相对位置）、车道线输出曲率波动都可能造成横向控制抖动，甚至是撞向车道护栏、碰撞相邻车辆导致严重的交通事故。因此如何提升车道线输出的鲁棒性，直接影响横向（方向盘）控制的有效性以及自动驾驶系统的稳定性。
6.目前车道线主要依赖于前视摄像头、环视摄像头采集图像经过边缘增强、二值化图像处理、提取车道线内侧边缘特征点最后经hough变化拟合出车道线并用多次曲线方程表征（其中， 为车道线曲线方差相关系数）所以本专利提出的可视化方法可以直观分析判断车道线的误检、漏检问题。
7.然而，现有的车道线离线数据分析方法存在以下明显缺陷：1、 只是静态全局（整段离线数据）展示单信号折线图，无法根据时间轴动态展示各时间点信号变化；2、 未加入数值统计模块，不利于开发者发现数据潜在规律。
8.基于数据的分析必须完整地、正确地反映客观情况的全貌，就必须在实事求是的原则的指导下，经过对大量的、丰富的统计资料和数据进行加工制作和分析研究，才能能为后续开发做出指导方向。进行数据处理的过程是一个复杂的过程，这个环节当中，从数据的收集到数据筛选、数据分析都有可能产生错误，因此需要在各个环节中对错误的数据进行甄别，特别是数据处理的阶段，可以很好的对数据进行一个清理的过程。
9.综上所述，对自动驾驶所产生的车道线数据进行可视化动态展示有助于开发人员从路试数据中发现自动驾驶系统中潜在存在的问题，提升系统安全性，同时数值统计模块也可为开发人员提供传感器车道线多维数据，用于优化功能开发提升系统稳健性。


技术实现要素：

10.本发明的目的是为开发人员提供一种基于自动驾驶的车道线数据的分析方法及可视化方法及装置，用于解决开发人员从海量数据中快速、直观，分析定位问题，提高效率、降低问题处理时间。
11.本发明采用的技术方案为：本发明提供了一种车道线离线数据可视化方法，包括：获取并解析各车道线传感器的车道线离线数据包，以得到各车道线传感器的车道线离线数据，再将各传感器的车道线离线数据分别存储到一个第一数据容器中；对各第一数据容器中存储的各传感器的车道线离线数据进行时间同步，再将时间同步后的各第一数据容器中存储的各传感器的车道线离线数据分别加上对应传感器标志位后转存入同一个第二数据容器中；选取目标时间段和待显示的目标车道线系数，从所述第二数据容器中提取所有传感器在所述目标时间段内的目标车道线离线数据；针对每一传感器，分别建立横轴为时间、纵轴为目标车道线曲线系数的笛卡尔坐标系，形成每一传感器的各目标车道线曲线系数在所述目标时间段内随时间变化的第一曲线图；基于每一传感器的各目标车道线曲线系数在所述目标时间段内随时间变化的第一曲线图，计算每一传感器的各目标车道线曲线系数的均值在所述目标时间段内随时间变化的第二曲线图，每一传感器的各目标车道线曲线系数的方差在所述目标时间段内随时间变化的第三曲线图，和/或每一传感器的各目标车道线曲线系数的期望在所述目标时间段内随时间变化的第四曲线图；将每一传感器的各目标车道线曲线系数的均值在所述目标时间段内随时间变化的第二曲线图，每一传感器的各目标车道线曲线系数的方差在所述目标时间段内随时间变化的第三曲线图，和/或每一传感器的各目标车道线曲线系数的期望在所述目标时间段内随时间变化的第四曲线图进行输出展示。
12.本发明还提供了一种车道线离线数据可视化装置，所述装置包括：离线数据解析模块，用于获取并解析各车道线传感器的车道线离线数据包，以得到各车道线传感器的车道线离线数据，再将各传感器的车道线离线数据分别存储到一个第一数据容器中；数据转存模块，用于对各第一数据容器中存储的各传感器的车道线离线数据进行时间同步，再将时间同步后的各第一数据容器中存储的各传感器的车道线离线数据分别加上对应传感器标志位后转存入同一个第二数据容器中；时间流图模块，用于选取目标时间段和待显示的目标车道线系数，从所述第二数据容器中提取所有传感器在所述目标时间段内的目标车道线离线数据；针对每一传感器，分别建立横轴为时间、纵轴为目标车道线曲线系数的笛卡尔坐标系，形成每一传感器的各目标车道线曲线系数在所述目标时间段内随时间变化的第一曲线图；数值分析模块，用于基于每一传感器的各目标车道线曲线系数在所述目标时间段内随时间变化的第一曲线图，计算每一传感器的各目标车道线曲线系数的均值在所述目标时间段内随时间变化的第二曲线图，每一传感器的各目标车道线曲线系数的方差在所述目
标时间段内随时间变化的第三曲线图，和/或每一传感器的各目标车道线曲线系数的期望在所述目标时间段内随时间变化的第四曲线图；可视化模块，用于将每一传感器的各目标车道线曲线系数的均值在所述目标时间段内随时间变化的第二曲线图，每一传感器的各目标车道线曲线系数的方差在所述目标时间段内随时间变化的第三曲线图，和/或每一传感器的各目标车道线曲线系数的期望在所述目标时间段内随时间变化的第四曲线图进行输出展示。
13.本发明的有益效果在于：1、通过引入时间流概念，信号变化可随时间变化动态显示；2、通过提出的可视化方法可以直观分析判断车道线的误检、漏检问题；3、通过加入数据统计分析便于开发者多角度发现传感器车道线数据潜在规律。
附图说明
14.图1为本发明方法的流程图；图2为本发明装置的结构框图。
具体实施方式
15.参照图1与图2，本发明提出了一种自动驾驶车道线离线数据分析可视化装置，包括以下各模块：离线数据解析模块：其用于加载自动驾驶车辆的各车道线传感器（如前视摄像头、环视摄像头）的车道线离线数据包，解析并将解析后得到的各传感器的车道线离线数据分别存入一个独立的数据容器中。
16.本实施例中，该车道线离线数据解析模块具体包括3个组件，分别为：数据加载组件、数据解析组件和数据存储组件。其中，数据加载组件首先加载待处理的车道线离线数据包；再调用数据解析组件对这些车道线离线数据包进行解析，得到各传感器的车道线离线数据，数据解析组件主要实现根据不同协议规则（tpc/udp/can）接收一个周期的车道线离线数据流并解析原始传感器信号。最后，利用数据存储组件将解析后的各车道线传感器的车道线离线数据分别存储到一个第一数据容器中。例如，车道线传感器有n个，则将解析后的n个车道线传感器的车道线离线数据分别存储到第一数据传感器a1至a
n
中。
17.数据转存模块：将各数据容器中存储的各车道线传感器的自动驾驶离线数据进行时间同步后再统一转存到同一个第二数据容器中。同时，该数据转存模块预留有接口，便于对转存到第二数据容器中的自动驾驶离线数据进行数据清洗。
18.数据转存模块包括时间同步组件和数据容器组件，其逻辑关系如下：为避免不同传感器发送周期不同导致的问题，调用时间同步组件对各第一数据容器中的车道线离线数据进行时间同步处理并载入时间戳，数据容器组件再对经过时间同步后的各数据加上对应的传感器标志位，再将经过传感器标志位添加后的所有第一数据容器a1至an中的全部车道线离线数据转存到第二数据容器b中。为适配不同分析人员的需求，该数据转存模块单独留有接口，若需要对第二数据容器b中的数据进行清洗，分析人员只需利用该接口载入筛选规则最后得到需求的数据。
19.时间流图模块：根据开发者预先选取的目标时间段和待显示的目标车道线系数，
从所述第二数据容器中提取所有传感器在所述目标时间段内的目标车道线离线数据。针对每一传感器，分别建立横轴为时间、纵轴为目标车道线曲线系数的笛卡尔坐标系，形成每一传感器的各目标车道线曲线系数在所述目标时间段内随时间变化的第一曲线图。
20.具体来说，时间流图模块：主要包含2个组件，时间窗口组件、绘图组件。其逻辑关系如下：开发者预先选取特定的目标时间段，将包含该目标时间段的所有车道线离线数据流串行流入时间窗口组件。调用时间窗口组件目的是让车道线离线数据流能在笛卡尔坐标系下建立以x为时间，y轴为对应的目标车道线参数的数值的第一曲线图，动态展示每时刻对应的目标车道线数值，能直观的供分析人员观察信号的变化。
21.绘图组件则是为后续可视化留出调用接口。
22.数值分析模块：根据开发者选取的目标车道线系数，以及基于开发者选取对应的统计方法、均值、期望、方差进行处理并传入可视化模块。
23.具体来说，该数值分析模块主要由各统计算法组件构成，并预留接口方便分析人员新增统计方法。该模块主要包含2个组件，统计算法组件（均值组件、方差组件、期望组件）、绘图组件。统计算法组件用于基于每一传感器的各目标车道线曲线系数在所述目标时间段内随时间变化的第一曲线图，计算每一传感器的各目标车道线曲线系数的均值、期望和方差，再利用绘图组件绘图形成每一传感器的各目标车道线曲线系数的均值在所述目标时间段内随时间变化的第二曲线图，每一传感器的各目标车道线曲线系数的方差在所述目标时间段内随时间变化的第三曲线图，和/或每一传感器的各目标车道线曲线系数的期望在所述目标时间段内随时间变化的第四曲线图。
24.可视化模块具有如下功能：1.提供文件载入接口并开启各模块线程；2.将时间流图转存组件、数值分析组件处理后的结果通过数据量在界面显示。3.显示原始视频图像。
25.该可视化模块主要包含2个组件，线程组件、用户界面组件。线程组件分别为上述4个模块服务，启动四个不同线程分别是：离线数据解析与数据转存线程、时间流图线程、数值分析线程、原始视频线程。用户界面组件，分别为上述线程提供控件用于触发信号槽函数打开线程，除此之外还有两个用于显示绘图的终端。
26.现结合实例对本方案中的上述装置进行说明：本实例使用can协议录制的自动驾驶数据包，包含前视摄像头、环视摄像头车道线信息，分别用fc_lane、sc_lane进行代替。
27.1.可视化模块：分析人员在数据加载窗口导入待分析的车道线离线数据包，并调用离线数据解析线程与数据转存线程、时间流图线程、数值分析线程完成初始化。用户使用界面接收下述步骤4、5输出结果分传感器类型进行可视化显示。
28.2.离线数据解析模块：根据步骤1提供的数据路径导入数据至数据加载组件，解析组件根据通信矩阵解析出40ms（周期）内sc_lane、fc_lane信号并分别存入第一数据容器a1、a2中。
29.3.数据清洗转存：先将第二数据容器a1、a2中的数据根据系统当前时间进行同步（时间同步是为了保证接收的各传感器保证同一时刻），再分别将前视摄像头a1、、环视摄像头a2中的车道线离线数据分别加上sc\fc传感器标志位并转存入第二数据容器b中。
30.4.时间流图模块：提取第二数据容器b中fc\sc_lane_c0\c2\c3三次曲线系数分别为三个信号输入量在可视化组件中以笛卡尔坐标系y值，时间戳为x轴绘制，信号变化可随
时间变化动态显示；5.数值分析模块：提取第二数据容器b中fc\sc_lane_c0\c2\c3系数分别进行统计量（均值、方差）迭代计算，在可视化模块中根据时间流实时显示统计数值。
31.通过本发明上述方法，能够实现对车道线离线数据进行可视化分析，帮助开发人员从海量车道线离线数据中快速、直观的定位问题，提高处理效果和降低问题处理时间。