本发明提出一种视觉传感器的自动驾驶车辆可行驶区域检测方法。
背景技术：
自动驾驶技术包括环境感知、决策规划和车辆控制三大部分。可用于智能驾驶环境感知的硬件设备有很多，主要包括相机、激光雷达、毫米波雷达、超声波雷达等。视觉技术多用于智能车辆的车道级定位、识别道路几何结构、检测周边的车辆或行人等障碍物、识别交通灯和交通标志等。
环境感知作为第一环节，处于智能驾驶车辆与外界环境信息交互的关键位置，其关键在于使智能驾驶车辆更好地模拟人类驾驶员的感知能力，从而理解自身和周边的驾驶态势。
自动驾驶功能的开发需要感知系统给出主前方可行驶区域，现有技术方案采用了视觉+地图相结合的方案，技术难度较高。
业界解决这一问题的主流算法有使用纹理特征来提取分割可行驶区域，也有使用基于深度学习的分割模型来分割路面、车辆、人行道等，同样可以用来检测可行使区域。但是基于传统机器视觉的纹理特征检测的泛化性能较差，无法适应多种复杂场景；后者虽然能准确的分割出图像中各种目标，但是计算量大，很难做到实时，速度无法达到需求。
技术实现要素：
本发明的目的是提供一种基于视觉传感器技术的结构化道路可行驶区域检测方案，提出一种单纯基于视觉传感器的道路可行驶区域检测方法，实现结构化道路的车辆可行驶区域的检测方法，以提供给车辆的决策系统进行路径规划。
为实现上述技术目的，本发明提供一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法，其步骤包括：输入视觉传感器的图像步骤，检测所述图像中的可行驶区域步骤，输出可行驶区域的坐标点到车辆决策层步骤，其中：所述输入视觉传感器的图像步骤中的所述图像仅通过视觉传感器获得；所述检测所述图像中的可行驶区域步骤中还包括：(1)图像预处理：对所述图像进行裁减和尺寸调整；(2)图像检测：将预处理后图像输入至网络对其进行前馈，检测障碍物的边界，对于所述预处理后图像按照纵列回归出一个可行驶区域坐标点，所述可行驶区域坐标点为距离拍摄源最近的障碍物的下边缘点，并输出所述可行驶区域坐标点；(3)图像后处理：处理所述网络的所述可行驶区域坐标点，经计算还原出更加准确的坐标值结果，计算出在原所述图像上的可行驶区域。
本发明可仅通过自动驾驶车辆感知系统中的视觉传感器系统，结构化道路车辆的可行驶区域检测，经可行驶区域的表述及其输出给下层，即车辆决策规划模块，进行车辆行驶路径规划。
作为进一步的改进，所述裁减为：将所述图像从1920*1208大小裁剪至1920*640大小，以忽略干扰区域；所述尺寸调整为：对所述裁减后图像下采样2倍到960*320的尺寸。
作为进一步的改进，所述裁减是自所述图像的纵向坐标430开始至纵向坐标1070为止，并保留二者之间的640个点。
作为进一步的改进，按照每16个纵列回归出一个所述可行驶区域坐标点，以压缩输出的信息量并提升速度。
作为进一步的改进，在所述图像检测中通过caffe引擎进行前馈。
作为进一步的改进，在所述图像检测中的所述可行驶区域坐标点为60*20*三维度矩阵，其中：60*20是960*320图像输入尺寸下采样16倍得到，所述三维度矩阵:坐标值、下采样误差值和障碍物分类属性三部分。
作为进一步的改进，所述下采样误差值为原坐标值除以下采样倍数后的余数，以提升输出结果的精确度。
作为进一步的改进，所述障碍物分类属性包括：一般障碍物和路沿，且所述一般障碍物记为1和路沿记为0。
作为进一步的改进，在所述图像后处理中的所述计算为：将输出的坐标值和下采样误差值的结果结合，并根据下采样倍数计算。
本发明提出一种单纯基于视觉传感器的道路可行驶区域检测方法，实现结构化道路的车辆可行驶区域的检测方法，以提供给车辆的决策系统进行路径规划。在行驶过程中，可行驶区域检测模块能够帮助自动驾驶车辆分析基于摄像头捕捉到的图像中路面最安全的行驶区域，并且可以通过检测道路边沿、障碍物、行人等非可行驶区域，为车辆路线规划提供参考信息。
具体实施方式
本发明提供一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法，其步骤包括：输入视觉传感器的图像步骤，检测所述图像中的可行驶区域步骤，输出可行驶区域的坐标点到车辆决策层步骤，其中：所述输入视觉传感器的图像步骤中的所述图像仅通过视觉传感器获得；所述检测所述图像中的可行驶区域步骤中还包括：(1)图像预处理：对所述图像进行裁减和尺寸调整；(2)图像检测：将预处理后图像输入至网络对其进行前馈，检测障碍物的边界，对于所述预处理后图像按照纵列回归出一个可行驶区域坐标点，所述可行驶区域坐标点为距离拍摄源最近的障碍物的下边缘点，并输出所述可行驶区域坐标点；(3)图像后处理：处理所述网络的所述可行驶区域坐标点，经计算还原出更加准确的坐标值结果，计算出在原所述图像上的可行驶区域。
本发明可仅通过自动驾驶车辆感知系统中的视觉传感器系统，结构化道路车辆的可行驶区域检测，经可行驶区域的表述及其输出给下层，即车辆决策规划模块，进行车辆行驶路径规划。
作为进一步的改进，所述裁减为：将所述图像从1920*1208大小裁剪至1920*640大小，以忽略干扰区域；所述尺寸调整为：对所述裁减后图像下采样2倍到960*320的尺寸。
作为进一步的改进，所述裁减是自所述图像的纵向坐标430开始至纵向坐标1070为止，并保留二者之间的640个点。
作为进一步的改进，按照每16个纵列回归出一个所述可行驶区域坐标点，以压缩输出的信息量并提升速度。
作为进一步的改进，在所述图像检测中通过caffe引擎进行前馈。
作为进一步的改进，在所述图像检测中的所述可行驶区域坐标点为60*20*三维度矩阵，其中：60*20是960*320图像输入尺寸下采样16倍得到，所述三维度矩阵:坐标值、下采样误差值和障碍物分类属性三部分。
作为进一步的改进，所述下采样误差值为原坐标值除以下采样倍数后的余数，以提升输出结果的精确度。
作为进一步的改进，所述障碍物分类属性包括：一般障碍物和路沿，且所述一般障碍物记为1和路沿记为0。
作为进一步的改进，在所述图像后处理中的所述计算为：将输出的坐标值和下采样误差值的结果结合，并根据下采样倍数计算。
本发明提出一种单纯基于视觉传感器的道路可行驶区域检测方法，实现结构化道路的车辆可行驶区域的检测方法，以提供给车辆的决策系统进行路径规划。在行驶过程中，可行驶区域检测模块能够帮助自动驾驶车辆分析基于摄像头捕捉到的图像中路面最安全的行驶区域，并且可以通过检测道路边沿、障碍物、行人等非可行驶区域，为车辆路线规划提供参考信息。
车辆的可行驶区域包括了结构化的路面、半结构化的路面、非结构化的路面。结构化的路面一般是有道路边缘线，路面结构单一，比如城市主干道，高速、国道、省道等，这个路面的结构层执行一定的标准，面层的颜色和材质统一。半结构化的路面是指一般的非标准化的路面，路面面层是颜色和材质差异较大，比如停车场，广场等，还有一些分支道路。非结构化的路面没有结构层，天然的道路场景。本发明暂时重点关注结构化路面。
边界和坐标点的算法：
基于“stixelworld”(柱状区域)的思想，将障碍物检测和路面分割问题转换成一个深度学习回归问题，聚焦于障碍物/路沿的边界，对于图像的每一列，回归出一个坐标点，此坐标点为距离拍摄源最近的不可行驶区域(障碍物/路沿)的下边缘点。此坐标位置等价于基于当前帧安全可行驶区域的最远点。并且，此方法因为所需计算量相对较少，速度相对深度学习分割的方法更快，能够做到实时，满足我们的需求。本模块采用的是使用深度学习坐标点回归的方式来解决这一问题。实际车辆测试时，可行驶区域显示。需要指出的是可行驶区域和障碍物之间的边界即是本发明所关注的坐标点，在道路图像中，不可行驶区域(障碍物/路沿)的下边缘点，即为可行驶区域的上边缘点，二者之间共用一条边界。
本发明图像首先输入预处理模块,剪裁出roi区域,调整到网络模型要求的输入尺寸后进入可行驶区域检测模块,回归出网络原始的预测结果后进入后处理模块,后处理模块会利用原始网络原始输出信息计算出在原图上,可行驶区域的坐标点，随后输出到下游模块。
图像预处理：
为了进一步提升速度，首先对输入图像做了裁剪，减少无关区域的冗余计算，从1920*1208输入裁剪至1920*640，忽略图像中过高区域(天空，云彩)，随后对图像做调整大小的处理，下采样2倍到960*320的尺寸；提升速度的另一种途径是压缩输出的信息量：采样每16列回归一个纵列的坐标点。图像预处理子模块对输入图像做剪裁，尺寸变换操作，将输入图像调整至图像检测子模块需要的输入尺寸，可行驶区域检测模块的输入尺寸是960*320，由原图剪裁至1920*640下采样两倍得到。原图是1920*1208尺寸，因为车前部发动机会遮挡一定区域的路面，剪裁至1920*640尺寸时选择的纵坐标起点是430，经过测试，纵坐标430至1070之间的640个点全部为路面，包含信息量最大，忽略两端的图像。
图像检测：
将预处理后的图像输入至网络，通过caffe引擎对图片进行前馈，输出结果分三部分：可行使区域纵坐标点、下采样误差值和当前点分类属性。下采样误差值可以理解为原坐标值除以下采样倍数(n)后的余数，记录下来用来提升输出结果精确度。网络的最终输出结果是一个60*20*3个维度的矩阵。60和20是960和320图像输入尺寸下采样16倍得到，存储在当前尺寸下网络对三个维度信息的预测结果；3个维度分别代表坐标点的位置信息、下采样16倍产生误差的差值信息和该点分类属性。
考虑到下游模块的使用，此模块在回归出可行驶区域边界的坐标点的同时还对每个点的分类属性(路沿、障碍物)做出判断，代表每个点的物理意义。
图像后处理：
模块负责处理网络的原始输出，将输出的纵坐标值和下采样误差值的结果结合、假设下采样倍，按照公式来还原出更加准确坐标值结果。
通过上述方法，检测出车辆前方可行驶区域，用如下数据结构对检测结果进行描述。用double型的x_position，y_position，代表图中的坐标，记录图中所用的柱状图最下端回归处点的位置。另外在特征中定义了整型的point_class参数，0代表路沿，1代表障碍物，后续障碍物的种类扩充，此类别参数的可选值也将会随之增加。
应了解本发明所要保护的范围不限于非限制性实施方案，应了解非限制性实施方案仅仅作为实例进行说明。本申请所要要求的实质的保护范围更体现于独立权利要求提供的范围，以及其从属权利要求。