使用RGB-偏振测定图像的自由空间检测的制作方法

背景技术：

1、自主控制的车辆在很大程度上依赖于通过机器学习方法开发的计算机视觉能力。例如，自主车辆的车载控制器可以使用计算机视觉能力来准确估计道路及其周围的驾驶环境。使用一套专门的车载传感器，车辆控制器能够为路径规划和路线执行估计道路表面，以及潜在的障碍物，诸如其他车辆、行人、路边、人行道、树木和建筑物。控制器在接收到来自车载传感器套件的图像数据和其他信息后，可以应用机器学习技术来估计道路和驾驶环境，该信息随后用于控制驾驶事件。

2、通常，由车载传感器套件收集的图像数据包括对应于可驾驶表面区域或自由空间的像素数据。给定图像中的自由空间通常被估计为所收集图像的二进制分割，执行图像分割技术以将可驾驶表面区域与不可驾驶表面的表面区域分开。出于各种原因，单独使用彩色视频来检测自由空间是次优的。例如，铺设的道路表面常常使用与图像中的其他结构或特征(诸如路边或人行道)相似的铺设材料和颜色。因此，一个表面常常容易与另一个表面混淆，这进而可能不利地影响对机载自由空间估计和路径规划功能的性能。

技术实现思路

1、本文描述的解决方案共同涉及使用组合的红、绿、蓝(“rbg”)-偏振测定数据来改进主车辆的整体驾驶体验，其中主车辆在本文被示例为自主控制的机动车辆。需要准确检测自由空间的其他基于地面的移动平台也可以受益于本教导，并且因此本公开不限于机动车辆。

2、如本文所述执行的自由空间检测功能涉及定位和识别与主车辆相关的图像帧内的可驾驶表面区域，并且因此是到自动路径规划和决策制定的必要输入。如上所述，当试图识别所收集的图像中的自由空间时，单独的rgb数据是次优的。虽然激光雷达是为了将可驾驶表面与图像中的其他表面或物体区分开的目的而获取识别几何信息的可能数据源，但是将激光雷达传感器结合到主车辆的架构中是相对昂贵的提议。本方法使用组合的rgb-偏振测定数据解决了这个潜在的问题，如下面详细阐述的。

3、特别地，本公开的方面包括与主车辆一起使用的自由空间估计和可视化系统。该系统的实施例包括摄像机和电子控制单元(“ecu”)。摄像机被配置成收集主车辆的驾驶环境的rgb-偏振测定图像数据，包括其潜在的驾驶路径。与摄像机通信的ecu被配置成从摄像机接收rgb-偏振测定图像数据，并且估计潜在驾驶路径中的自由空间量作为估计的自由空间。这个动作包括经由运行时神经网络来处理rgb-偏振测定图像数据。ecu然后响应于估计的自由空间在主车辆上执行控制动作。

4、在一个或多个实施例中，ecu使用rgb-偏振测定图像数据计算特征集合，并且然后将该特征集合作为输入数据集合通信给运行时神经网络。输入数据集合进而特征在于缺少激光雷达数据。

5、特征集合可以具有六个集合元素，其被确定为来自摄像机的rgb数据、线性偏振角度(“aolp”)数据和线性偏振度(“dolp”)数据的串联。例如，六个集合元素可以包括sin(2·aolp)、cos(2·aolp)、2·dolp-1、2·r-1、2·g-1和2·b-1。

6、在可能的实施方式中，主车辆是具有车身的机动车辆，在这种情况下，摄像机连接到车身。

7、在本公开的一个或多个实施例中，ecu与主车辆的路径规划控制模块通信。在这种实施方式中，路径规划控制模块被配置成规划主车辆的驾驶路径，作为控制动作的至少一部分。

8、本公开的一个方面包括ecu，其与显示屏通信，并被配置成在显示屏上显示估计的自由空间的图形表示。

9、本文还公开了一种用于在主车辆上估计自由空间的方法。根据一个或多个实施例的方法包括分别使用rgb摄像机和激光雷达摄像机收集目标驾驶场景的rgb数据和激光雷达数据，并且然后经由训练计算机的第一神经网络生成伪标签作为目标驾驶场景的地面实况。该方法还包括经由摄像机收集rgb-偏振测定数据，使用rgb-偏振测定数据和伪标签经由训练计算机训练第二神经网络，以及使用主车辆的ecu中的第二神经网络作为运行时神经网络来估计主车辆的潜在驾驶路径中的自由空间量作为估计自由空间。

10、本文还公开了一种主车辆，其具有车身、车轮、摄像机和ecu。摄像机被配置成收集主车辆的驾驶环境的rgb-偏振测定图像数据，驾驶环境包括其潜在的驾驶路径。ecu被配置成从摄像机接收rgb-偏振测定图像数据，估计潜在的驾驶路径中的自由空间量作为估计的自由空间，包括经由运行时神经网络处理rgb-偏振测定图像数据，并且响应于估计的自由空间在主车辆上执行控制动作。

11、本公开提供了以下技术方案：

12、1.一种用于主车辆的自由空间估计和可视化系统，包括：

13、摄像机，其被配置成收集所述主车辆的驾驶环境的红绿蓝(“rgb”)-偏振测定图像数据，所述驾驶环境包括主车辆的潜在驾驶路径；和

14、电子控制单元(“ecu”)，其与所述摄像机通信，并被配置成：

15、从所述摄像机接收所述rgb-偏振测定图像数据；

16、估计所述潜在驾驶路径中的自由空间量作为估计的自由空间，包括经由运行时神经网络处理所述rgb-偏振测定图像数据；以及

17、响应于所述估计的自由空间，在所述主车辆上执行控制动作。

18、2.根据技术方案1所述的系统，其中，所述ecu被配置成使用所述rgb-偏振测定图像数据来计算特征集合，并将所述特征集合作为输入数据集合通信给所述运行时神经网络，所述输入数据集合的特征在于缺少激光雷达数据。

19、3.根据技术方案2所述的系统，其中，所述特征集合具有被确定为来自所述摄像机的rgb数据、aolp数据和dolp数据的串联的六个集合元素。

20、4.根据技术方案3所述的系统，其中，所述六个集合元素包括sin(2·aolp)、cos(2·aolp)、2·dolp-1、2·r-1、2·g-1和2·b-1。

21、5.根据技术方案1所述的系统，其中，所述主车辆是具有车身的机动车辆，并且其中，所述摄像机连接到所述车身。

22、6.根据技术方案1所述的系统，其中，所述ecu与所述主车辆的路径规划模块通信，并被配置成向所述路径规划模块提供估计的自由空间，作为所述控制动作的至少一部分。

23、7.根据技术方案1所述的系统，其中，所述ecu与显示屏通信，并被配置成在所述显示屏上显示估计的自由空间的图形表示。

24、8.一种用于自由空间估计和可视化系统的方法，包括：

25、分别使用红绿蓝(“rgb”)摄像机和激光雷达传感器收集目标驾驶场景的红绿蓝rgb数据和激光雷达数据；

26、经由训练计算机的第一神经网络生成目标驾驶场景的伪标签；

27、经由rgb-偏振测定摄像机收集rgb-偏振测定数据；

28、使用所述rgb-偏振测定数据和所述伪标签来训练所述训练计算机的第二神经网络；

29、使用所述主车辆的电子控制单元(“ecu”)中的第二神经网络作为运行时神经网络来估计所述主车辆的潜在驾驶路径中的自由空间量作为估计的自由空间，包括经由运行时神经网络处理附加的rgb-偏振测定图像数据；和

30、响应于所述估计的自由空间，在所述主车辆上执行控制动作。

31、9.根据技术方案8所述的方法，进一步包括：

32、使用rgb-偏振测定图像数据计算特征集合；以及

33、将所述特征集合作为输入数据集合通信给所述运行时神经网络，其中，所述输入数据集合的特征在于缺少激光雷达数据。

34、10.根据技术方案9所述的方法，其中，使用rgb-偏振测定图像数据计算特征集合包括将具有六个集合元素的特征集合计算为来自摄像机的rgb数据、aolp数据和dolp数据的串联。

35、11.根据技术方案10所述的方法其中，计算具有六个集合元素的特征集合包括sin(2·aolp)、cos(2·aolp)、2·dolp-1、2·r-1、2·g-1和2·b-1作为六个集合元素。

36、12.根据技术方案9所述的方法，其中，所述主车辆是具有车身的机动车辆，所述摄像机是连接到所述车身的安装在车身上的rgb-偏振测定摄像机，并且经由安装在车身上的rgb-偏振测定摄像机收集rgb-偏振测定数据。

37、13.根据技术方案9所述的方法，其中，所述ecu与所述主车辆的路径规划控制模块通信，所述方法还包括：

38、规划所述主车辆的驾驶路径，作为控制动作的至少一部分。

39、14.根据技术方案9所述的方法，其中，所述ecu与显示屏通信，所述方法还包括：

40、在所述显示屏上显示估计的自由空间的图形表示。

41、15.一种主车辆，包括：

42、车身；

43、连接到所述车身的车轮；和

44、自由空间估计和可视化(“fsev”)系统，包括：

45、摄像机，其连接到所述车身，并且被配置成收集所述主车辆的驾驶环境的红绿蓝(“rgb”)-偏振测定图像数据，所述驾驶环境包括其潜在的驾驶路径；和

46、电子控制单元(“ecu”)，其与所述摄像机通信，并被配置成：

47、从所述摄像机接收rgb-偏振测定图像数据；

48、估计所述潜在的驾驶路径中的自由空间量作为估计的自由空间，包括经由运行时神经网络来处理所述rgb-偏振测定图像数据；和

49、响应于所述估计的自由空间，在所述主车辆上执行控制动作。

50、16.根据技术方案15所述的主车辆，其中，所述ecu被配置成使用所述rgb-偏振测定图像数据计算特征集合，并将所述特征集合作为输入数据集合通信给所述运行时神经网络，所述输入数据集合的特征在于缺少激光雷达数据。

51、17.根据技术方案16所述的主车辆，其中，所述特征集合具有六个集合元素，所述六个集合元素被确定为来自所述摄像机的rgb数据、aolp数据和dolp数据的串联。

52、18.根据技术方案17所述的主车辆，其中，所述六个集合元素包括sin(2·aolp)、cos(2·aolp)、2·dolp-1、2·r-1、2·g-1和2·b-1。

53、19.根据技术方案15所述的主车辆，进一步包括：

54、与所述ecu通信的路径规划模块，其中，所述ecu被配置成将所述估计的自由空间通信给所述路径规划模块作为所述控制动作的一部分，并且其中，所述路径规划模块被配置成响应于所述估计的自由空间来规划所述主车辆的驾驶路径。

55、20.根据技术方案15所述的主车辆，进一步包括：

56、与所述ecu通信的显示屏，其中，所述ecu被配置成在所述显示屏上显示所述估计的自由空间的图形表示，作为所述控制动作的至少一部分。

57、当结合随附附图考虑时，本发明的上述特征和优点，以及其他特征和优点，从下面对如所附权利要求中定义的用于实施本教导的一些最佳模式和其他实施例的详细描述中，是显而易见的。