面向地面无人平台辅助遥控驾驶的态势感知方法及系统与流程

1.本发明属于地面无人系统远程操控中的辅助遥控驾驶技术领域，具体涉及一种面向地面无人平台辅助遥控驾驶的态势感知方法及系统。


背景技术：

2.地面无人系统远程操控技术，是一项重要的人机交互技术，借助于无线电通信和视频回传，为驾驶员提供遥控无人平台的环境信息，驾驶员基于回传信息做出驾驶决策，对远程无人平台进行操控。在传统的远程操控过程中，需要驾驶员在有限的视野内人工判断道路的可通行区域，规避林木、路障等静态正障碍物，以及坑洼地等负障碍物，同时对于行人和车辆等动态障碍物进行有效躲闪。现有的地面无人系统远程操控，对驾驶员的驾驶素质要求较高，需要在有限的图像视野和较低的图像分辨率内对驾驶环境进行分析，驾驶体验差，具体体现在以下几个方面：
3.1)受远程操控无线电通信延迟和视频带宽影响，远程视频画面分辨率较低，同时受通信遮挡等因素影响，会出现视频延迟、画面不清晰等问题，人机交互性不佳，影响操控人员的远程驾驶决策。
4.2)视频图像受光照变化的影响较大，特别是在隧道出口、迎光等情况下图像画面模糊，无法使用，对于远程遥控的安全性造成隐患。
5.3)远程操控驾驶员的可见视野受车载镜头影响较大，同时受安装位置影响，车辆近处的和两侧的障碍物容易进入盲区，对驾驶安全造成影响。
6.4)驾驶员需要时刻保持高度紧张的驾驶状态，以便对周围驾驶环境进行分析，特别是防止突然出现的行人和车辆等动态障碍物，容易造成疲劳驾驶。
7.设计辅助遥控驾驶技术，借助于无人平台车载传感器，对周围环境进行自主态势感知，提供危险物标识信息和道路可通行区域，叠加到视频图像上，对于提高远程操控人员的决策力，提高驾驶安全性十分必要。


技术实现要素：

8.(一)要解决的技术问题
9.本发明要解决的技术问题是：如何设计一种面向地面无人平台辅助遥控驾驶的态势感知方法及车载系统，解决现有的仅仅依托于远程操控驾驶员进行环境态势分析的远程操控技术，存在的人机交互性差、驾驶风险性高、对驾驶员素质依赖度高等问题。
10.(二)技术方案
11.为了解决上述技术问题，本发明提供了一种面向地面无人平台辅助遥控驾驶的态势感知方法，该方法利用一种车载系统实现，该系统包括三维激光雷达、彩色摄像机，该方法中，利用所述三维激光雷达获取无人平台行驶环境周围的三维点云信息，对正负障碍物、可通行区域进行检测；并通过三维激光雷达与彩色摄像机的联合标定，将检测结果叠加到视频图像上，为远程操控驾驶员提供障碍物预警信息和可通行区域这些辅助信息；还通过
彩色摄像机获取无人平台行驶环境的视觉信息，利用基于深度学习的模型训练，对行人和车辆等动态障碍物进行识别，并在图像上标注。
12.优选地，其中，基于三维激光雷达的三维点云信息的正障碍物检测，并通过三维激光雷达与彩色摄像机的联合标定，将正障碍物检测结果叠加到视频图像上，具体流程包括：
13.步骤1：获取地面无人平台远程驾驶环境的三维雷达点云数据；
14.步骤2：对三维雷达点云数据进行栅格化处理，将三维雷达点云数据投影到二维俯视栅格地图，统计每个栅格内的点云数量和高度信息；
15.步骤3：设定每个栅格的n邻域为地面高度的参考依据，以n邻域范围内全部点云的最低高度作为该栅格的参考地面高度hr；n为正整数；
16.步骤4：基于高度差的障碍物检测：以每个栅格的参考地面高度hr为依据，计算投影到栅格位置的点云高度与参考地面高度之间的高度差deltah，若deltah》障碍物高度差th，则标注为障碍物点云，反之，标注为非障碍物点云；
17.步骤5：障碍物聚类：设定障碍物聚类的空间距离阈值为r，对所述障碍物点云进行聚类分析，形成障碍物团块；
18.步骤6：对所述障碍物团块进行外轮廓检测，得到障碍物团块的最小包络长方体rmin；
19.步骤7：计算得到每个rmin在水平面方向的左右边界，以及高度方向边界，提取以左右边界和高度边界形成的矩形区域；
20.步骤8：利用三维激光雷达与彩色摄像机联合标定结果，将提取的矩形区域变换到图像坐标系，叠加到视频图像上。
21.优选地，基于三维激光雷达的三维点云信息的可通行区域检测，并通过三维激光雷达与彩色摄像机的联合标定，将可通行区域检测结果叠加到视频图像上，具体流程包括：
22.步骤1：根据“基于三维激光雷达的三维点云信息的正障碍物检测，并通过三维激光雷达与彩色摄像机的联合标定，将正障碍物检测结果叠加到视频图像上”的流程，将障碍物点云投影到二维栅格地图；
23.步骤2：以车体坐标在二维栅格地图上的投影位置为原点，在从车体左侧到右侧的180度范围内，以间隔t度的水平角度分辨率，利用breshman直线算法，计算每个角度方向可通行区域可以延伸的线段最大距离，记录线段终点位置；
24.步骤3：自左向右记录每个角度可以达到的可通行区域末端坐标，形成集合c；
25.步骤4：对集合c围成的区域进行平滑处理，得到集合c2；
26.步骤5：利用三维激光雷达与彩色摄像机联合标定结果，将c2叠加到视频图像上。
27.优选地，基于三维激光雷达的三维点云信息的负障碍检测，并通过三维激光雷达与彩色摄像机的联合标定，将负障碍检测结果叠加到视频图像上，具体流程包括：
28.步骤1：根据三维激光雷达的扫描角度分布，建立三维激光雷达扫描模型；
29.步骤2：计算同一水平角度上相邻雷达线上的点云的水平间距，同时比较高度值；
30.步骤3：对于同时满足相邻雷达线上点云水平间距要求，同时满足高度约束的雷达点云，记为感兴趣点云；
31.步骤4：对感兴趣点云，利用基于密度的噪声空间聚类方法进行聚类，形成聚类团块；
32.步骤5：对所述聚类团块内部的点云，选择分布同一根雷达线上的点云作为代表，计算该雷达线上点云的平均水平间距，若点云的平均水平间距满足预设距离约束，则表明该聚类团块为一个有效的负障碍检测，定义为bvalid；
33.步骤6：负障碍描述：以bvalid中点云的左右边界作为描述负障碍的边界；以bvalid中点云的纵向最远距离作为负障碍最远边界，找到bvalid中点云对应的l+1雷达线上的点云的最近距离作为负障碍的最近边界；
34.步骤7：利用三维激光雷达与彩色摄像机联合标定结果，将负障碍检测结果叠加到视频图像上。
35.优选地，利用基于深度学习的模型训练，对行人和车辆等动态障碍物进行识别，并在图像上标注，具体流程包括：
36.步骤1：采集包含行人和车辆的图像信息；
37.步骤2：对行人和车辆进行样本标注；
38.步骤3：基于卷积神经网络架构，利用深度神经网络训练行人和车辆模型；
39.步骤4：获取彩色摄像机的图像信息；
40.步骤5：利用训练得到的模型进行目标识别；
41.步骤6：设定目标识别率阈值，将达到阈值要求的目标记录为有效检测目标，标注在图像上。
42.优选地，设50米为线段最大距离。
43.优选地，该车载系统还包括车载工控机，用于采集三维激光雷达、彩色摄像机的数据与结果输出，并将结果叠加通过无线链路发布出去。
44.本发明还提供了一种所述方法实现过程中采用的车载系统。
45.本发明还提供了一种所述方法在辅助遥控驾驶技术领域中的应用。
46.本发明还提供了一种所述方法在地面无人系统远程操控技术领域中的应用。
47.(三)有益效果
48.本发明提供了一种面向地面无人平台辅助遥控驾驶的态势感知方法及车载系统，通过在无人平台搭载环境感知传感器，对无人平台的远程驾驶环境进行可通行区域检测和危险物识别等态势感知，并在视频图像上叠加态势感知信息，辅助远程遥控驾驶，提高远程遥控驾驶的安全性保障，减轻操控人员的驾驶疲劳，增强人机交互的友好性，提升无人平台远程操控的驾驶体验。
附图说明
49.图1为本发明的地面无人平台辅助遥控驾驶态势感知车载系统原理框图。
具体实施方式
50.为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
51.本发明提供了一种面向地面无人平台辅助遥控驾驶的态势感知方法及车载系统，利用地面无人平台车载传感器进行环境感知，对可通行区域、正负静态障碍物、动态障碍物等进行检测和图像叠加，为远程操控驾驶员提供态势感知信息，实现驾驶环境的安全预警，
提高远程操控驾驶员的决策效能。
52.为实现以上发明目的，本发明的方案需要实现驾驶环境中的危险要素检测和可通行区域检测，具体包括正负障碍物检测、行人和车辆等动态障碍物检测、可通行区域检测等，同时将以上态势感知信息在视频图像上进行叠加。为实现以上功能需求，参考图1，车载系统的相关硬件设备包括：三维激光雷达、彩色摄像机和车载工控机等。其中，利用三维激光雷达获取无人平台行驶环境周围的三维点云信息，进行特征提取和数据建模，对正负障碍物、可通行区域进行检测；通过三维激光雷达与彩色摄像机的联合标定，将检测结果叠加到视频图像上，为远程操控驾驶员提供障碍物预警信息和可通行区域等辅助信息。通过彩色摄像机获取无人平台行驶环境的视觉信息，利用基于深度学习的模型训练，对行人和车辆等动态障碍物进行识别，并在图像上标注；车载工控机负责传感器数据采集、数据采集与结果输出，并将结果叠加通过无线链路发布出去。
53.其中，基于三维激光雷达的三维点云信息的正障碍物检测，并通过三维激光雷达与彩色摄像机的联合标定，将正障碍物检测结果叠加到视频图像上，具体流程包括：
54.步骤1：获取地面无人平台远程驾驶环境的三维雷达点云数据；
55.步骤2：对三维雷达点云数据进行栅格化处理，将三维雷达点云数据投影到二维俯视栅格地图，统计每个栅格内的点云数量和高度信息；
56.步骤3：进行地平面参考设置，设定每个栅格的n邻域为地面高度的参考依据，以n邻域范围内全部点云的最低高度作为该栅格的参考地面高度hr；
57.步骤4：基于高度差的障碍物检测。以每个栅格的参考地面高度hr为依据，计算投影到栅格位置的点云高度与参考地面高度之间的高度差deltah，若deltah》障碍物高度差th，则标注为障碍物点云，反之，标注为非障碍物点云；
58.步骤5：障碍物聚类。设定障碍物聚类的空间距离阈值为r，对所述障碍物点云进行聚类分析，形成障碍物团块；
59.步骤6：对所述障碍物团块进行外轮廓检测，得到障碍物团块的最小包络长方体rmin；
60.步骤7：计算得到每个rmin在水平面方向的左右边界，以及高度方向边界，提取以左右边界和高度边界形成的矩形区域；
61.步骤8：利用三维激光雷达与彩色摄像机联合标定结果，将提取的矩形区域变换到图像坐标系，叠加到视频图像上。
62.基于三维激光雷达的三维点云信息的可通行区域检测，并通过三维激光雷达与彩色摄像机的联合标定，将可通行区域检测结果叠加到视频图像上，具体流程包括：
63.步骤1：根据上述的正障碍物检测流程，将障碍物点云投影到二维栅格地图，得到障碍物/可通行二值化图；
64.步骤2：以车体坐标在二维栅格地图上的投影位置为原点，在从车体左侧到右侧的180度范围内，以间隔t度的水平角度分辨率，利用breshman直线算法，计算每个角度方向可通行区域可以延伸的最大距离(50米为线段最大距离)，记录线段终点位置；
65.步骤3：自左向右记录每个角度可以达到的可通行区域末端坐标，形成集合c；
66.步骤4：对集合c围成的区域进行平滑处理，得到集合c2；
67.步骤5：利用三维激光雷达与彩色摄像机联合标定结果，将c2叠加到视频图像上。
68.基于三维激光雷达的三维点云信息的的负障碍检测，并通过三维激光雷达与彩色摄像机的联合标定，将负障碍检测结果叠加到视频图像上，具体流程包括：
69.步骤1：根据三维激光雷达的扫描角度分布，建立三维激光雷达扫描模型；
70.步骤2：如公式(4)所示，计算同一水平角度上相邻雷达线上的点云的水平间距，同时比较高度值；
71.步骤3：对于同时满足公式(5)和公式(6)的雷达点云，记为感兴趣点云；
72.步骤4：对感兴趣点云，利用基于密度的噪声空间聚类方法(dbscan)进行聚类，形成聚类团块；
73.步骤5：对所述聚类团块内部的点云，选择分布同一根雷达线上的点云作为代表，计算该雷达线上点云的平均间距，若满足公式(9)，则表明该聚类团块为一个有效的负障碍检测，定义为bvalid；
74.步骤6：负障碍描述。以bvalid中点云的左右边界作为描述负障碍的边界；以bvalid中点云的纵向最远距离作为负障碍最远边界，找到bvalid中点云对应的l+1雷达线上的点云的最近距离作为负障碍的最近边界；
75.步骤7：利用三维激光雷达与彩色摄像机联合标定结果，将负障碍检测结果叠加到视频图像上。
76.利用基于深度学习的模型训练，对行人和车辆等动态障碍物进行识别，并在图像上标注，具体流程包括：
77.步骤1：采集包含行人和车辆的图像信息；
78.步骤2：对行人和车辆进行样本标注；
79.步骤3：基于卷积神经网络架构，利用深度神经网络训练行人和车辆模型；
80.步骤4：获取彩色摄像机的图像信息；
81.步骤5：利用训练得到的模型进行目标识别；
82.步骤6：设定目标识别率阈值，将达到阈值要求的目标记录为有效检测目标，标注在图像上。
83.可以看出，通过本发明提供的面向地面无人平台辅助遥控驾驶的态势感知方法及车载系统，可以辅助远程驾驶，为驾驶员提供正负障碍物、行人和车辆等动态障碍物的安全预警，描述安全可通行区域等态势信息。该发明能够有效降低远程操控人员的工作负担，特别是降低视觉彼劳，提高远程操控的安全性和决策效能和决策准确率，同时提高远程操控的智能化水平。
84.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。