一种用于车辆的环境感知系统及其控制方法与流程

本发明涉及智能车技术领域，具体涉及一种城市复杂工况智能车环境感知系统及其实现方法。

背景技术

目前车辆要实现智能辅助驾驶和自动驾驶，需要通过传感器探测车辆周围环境，常采用视觉传感器、毫米波雷达传感器和激光雷达传感器。采用激光雷达实现对周围环境的感知，成本高，难以实现量产。采用毫米波雷达，虽然可以检测车辆前后方和四周区域内的目标，但是无法实现对周围环境的认知和学习，在非结构化道路环境下无法实现智能驾驶。

如果能够综合利用现有低成本的毫米波雷达和摄像头，替代激光雷达实现对车辆周围环境的感知，同时对四周环境进行认知和学习，引入深度学习，使得车辆通过离线或者在线训练，学习人类驾驶，实现制动辅助驾驶和自动驾驶，不断提高智能车的智能化水平，加速智能车的产业化。

技术实现要素：

本发明所要解决的技术问题是实现一种采用毫米波雷达和摄像头实现对周围环境的感知，构成一种城市复杂工况智能车环境感知系统及其实现方法。

为了实现上述目的，本发明采用的技术方案为：一种用于车辆的环境感知系统，车辆设有安装在车辆前方获取前方障碍物信息的前方毫米波雷达，以及安装在车辆后方的获取后方障碍物信息的后方毫米波雷达，所述前方毫米波雷达和后方毫米波雷达通过can总线将信号输送至处理器，车辆设有用于感知车辆周围环境的摄像头，所述处理器通过模拟视频输入接口接收每个摄像头的视频数据，所述处理器输出信号至执行单元。

所述摄像头包括：

用于采集和识别前方车辆数据的第一前方摄像头；

用于采集和识别红绿灯数据的第二前方摄像头；

用于采集和识别前方车道线数据的第三前方摄像头；

用于采集和识别前方道路交通标志数据的第四前方摄像头。

所述摄像头还包括：

安装在车辆左侧后视镜位置的左侧前向摄像头和左侧后向摄像头；

安装在车辆右侧后视镜位置的右侧前向摄像头和右侧后向摄像头。

所述摄像头还包括：用于采集和识别后方车辆数据的后方摄像头。

所述处理器为视觉信息处理及深度学习运算平台。

所述执行单元为车内音响、主动制动单元、报警指示灯中的部分或全部。

一种基于所述环境感知系统的控制方法：

前方毫米波雷达和第一前方摄像头用于实时检测车辆正前方运动和静止的目标的相对距离、速度和方位角度；

左侧前向摄像头实时检测前方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；

左侧后向摄像头实时检测后方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；

右侧前向摄像头实时检测前方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；

右侧后向摄像头实时检测后方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；

后方毫米波雷达和后方摄像头用于实时检测车辆正后方运动和静止的目标的相对距离、速度和方位角度；

视觉信息处理及深度学习运算平台用于采集9个摄像头的输入信号和2个毫米波雷达的输出数据，并通过摄像头和雷达的安装位置和车辆坐标系之间的关系计算出目标相对车辆的位置信息以及车道线相对车辆的位置信息；

当视觉信息处理及深度学习运算平台获取的目标相对车辆的位置信息以及车道线相对车辆的位置信息达到报警或干涉阈值，则发出报警或进行主动干涉。

所述前方毫米波雷达和第一前方摄像头还用于实时监测前方纵向距离大于20米的两侧相邻车道内前方运动和静止的目标的相对距离、速度和方位角度；

后方毫米波雷达和后方摄像头还用于实时监测后方纵向距离大于20米的两侧相邻车道内后方接近运动目标的相对距离、速度和方位角度。

所述第二前方摄像头用于红绿灯数据的实时采集和识别；

所述第三前方摄像头用于前方车道线数据的实时采集和识别；

所述第四前方摄像头用于前方道路交通标志数据的实时采集和识别。

本发明的优点在于：

1、系统采用了低成本的摄像头和毫米波雷达，替代了昂贵的激光雷达，克服了智能车传感器系统成本较高的问题。

2、系统采用两侧前、后向摄像头检测路牙，克服了超声波雷达在高速下检测路牙实时性较差的问题。

3、系统引入了人工智能平台，通过自学习，提高智能车的驾驶水平，克服了现有基于规则的智能驾驶在非结构化道路上无法实现自动驾驶的问题，拓展了自动驾驶的应用场景。

附图说明

下面对本发明说明书中每幅附图表达的内容作简要说明：

图1为环境感知系统原理图。

具体实施方式

环境感知系统通过低成本毫米波雷达和摄像头实现智能车周围环境的感知。智能车周围环境的感知范围包括前方150米、左右侧相邻车道以及车辆后方50～60米的区域范围内目标的实时检测。

车辆前方150米的范围通过前视毫米波雷达进行检测，配合前方摄像头对前方区域的目标或者障碍物进行检测和识别，判断其危险程度并进行决策，通过智能车线控制动和线控转向进行危险规避。

车辆两侧相邻车道内目标的检测，由于横向探测距离小于5米，前方纵向距离大于20米的两侧相邻车道内目标检测通过前方毫米波雷达和摄像头进行检测和识别。前方纵向距离小于20米的两侧相邻车道内目标检测通过两侧安装在后视镜位置的前向摄像头进行检测和识别。后方纵向距离大于20米的两侧相邻车道内目标检测通过后方毫米波雷达和摄像头进行检测和识别。后方纵向距离小于20米的两侧相邻车道内目标检测通过两侧安装在后视镜位置的后向摄像头进行检测和识别。

具体来说：

环境感知系统包括前方毫米波雷达；后方毫米波雷达；四个前方摄像头；左侧前、后向摄像头；右侧前、后向摄像头；后视摄像头；视觉信息处理及深度学习运算平台以及can总线组成。

前方毫米波雷达和第一前方摄像头用于实时检测车辆正前方运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆直行是否危险及其危险程度，以及是否采取预警或者制动干预。

前方毫米波雷达和第一前方摄像头，还用于实时监测前方纵向距离大于20米的两侧相邻车道内前方运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向左或者向右变道是否危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。毫米波雷达和视觉信息的融合能够有效提高前方环境感知的准确性和有效性。

第二前方摄像头用于红绿灯数据的采集和识别。

第三前方摄像头用于前方车道线数据的采集和识别。

第四前方摄像头用于前方道路交通标志数据的采集和识别。

安装在车辆左侧后视镜位置的左侧前向摄像头用于检测前方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向左变道是否危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。

安装在车辆左侧后视镜位置的左侧后向摄像头用于检测后方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向左变道时，后方来车是否会发生追尾的危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。

安装在车辆右侧后视镜位置的右侧前向摄像头用于检测前方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向右变道是否危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。

安装在车辆右侧后视镜位置的右侧后向摄像头用于检测后方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向右变道时，后方来车是否会发生追尾的危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。

后方毫米波雷达和后方摄像头用于实时检测车辆正后方运动和静止的目标的相对距离、速度和方位角度，同时还用于实时监测后方纵向距离大于20米的两侧相邻车道内后方接近运动目标的相对距离、速度和方位角度，进一步判断车辆向左或者向右变道时，后方来车是否会发生追尾危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。

前方毫米波雷达、第一前视摄像头、后方毫米波雷达、后视摄像头、左侧前视摄像头、左侧后视摄像头用于辅助本车实现向左安全变道。

前方毫米波雷达、前视摄像头、后方毫米波雷达、后视摄像头、右侧前视摄像头、右侧后视摄像头用于辅助本车实现向右安全变道。

上述九个摄像头用于感知车辆周围环境，建立环境模型，并通过自学习和训练，不断学习人驾驶车辆，提高智能车的驾驶水平。

视觉信息处理及深度学习运算平台用于采集9个摄像头的输入信号和2个毫米波雷达的输出数据，并通过摄像头和雷达的安装位置和车辆坐标系之间的关系计算出目标相对车辆的位置信息以及车道线相对车辆的位置信息。

视觉信息处理及深度学习运算平台通过模拟视频输入接口接收9个摄像头的视频数据。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。