一种基于神经网络的大型汽车安全驾驶方法及系统与流程

本发明涉及大型汽车电子控制技术领域，具体而言，尤其涉及一种基于神经网络的大型汽车安全驾驶方法及系统。

背景技术：

随着近年来经济的发展和人们对生活质量的要求不断提高，人们对交通运输的需求日益增加，进而导致我国汽车保有量逐年增加，从而导致城市交通堵塞严重以及交通事故频繁发生，交通事故频繁发生的主要对象即为大型的货运商运汽车，大型汽车在驾驶的过程中，由于驾驶舱过高会对汽车前方的一部分视野造成遮挡，容易在汽车行驶过程中发生不必要的安全隐患，所以针对大型汽车的安全驾驶问题有待解决。

现有技术中针对大型汽车的安全驾驶至少还存在如下问题：

1、大型汽车由于高车身而产生视觉盲区问题；

2、大型汽车在行驶过程中，出现危险情况时不能有效避免危险的发生，以及由于多变的驾驶情况下神经网络训练集数据模型缺少的问题；

3、昂贵的汽车传感器所带来的经济问题。

技术实现要素：

根据上述提出的技术问题，而提供一种基于神经网络的大型汽车安全驾驶方法及系统。本发明主要利用双目红外线摄像头、超声波传感器等建立起来的环境感知模块来观测环境信息，同时检测汽车当时的行驶状态信息并输入到汽车控制器中进行处理，汽车控制器为基于linux系统上搭建的神经网络模型，最终由汽车控制器输出控制指令，控制汽车的执行机构进行安全辅助驾驶。

本发明采用的技术手段如下：

一种基于神经网络的大型汽车安全驾驶方法，包括如下步骤：

s1、采集实车行驶数据集信息，建立数据库；

s2、搭建汽车控制器，汽车控制器为基于linux系统上搭建的神经网络模型，并利用所述实车行驶数据集信息训练神经网络模型，从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系；

s3、通过环境感知模块采集环境信息以及当前汽车行驶的状态信息，并将其作为输入信息；

s4、汽车控制器接收上述输入信息，并判断汽车所处的当前状态以及环境信息进而将其输出给安全语音提示模块；

s5、安全语音提示模块根据当前的汽车驾驶状态信息设置两个安全距离信息，即结合当前环境信息以及汽车行驶状态信息判断出的将要发生危险状况的距离信息以及汽车可安全避让距离的最小距离信息；

s6、在汽车接收到将要发生危险状况的距离信息后，汽车控制器输出信息给安全语音提示模块，提醒驾驶员作出反应；

s7、若驾驶员此时做出了反应，汽车控制器将驾驶安全避让的驾驶行为数据保存到数据库中，若驾驶员没有做出反应，在达到规定的可安全避让最小危险距离后，汽车控制器控制安全驾驶辅助操控模块通过步骤s2中采集的输入信息做出辅助驾驶操控。

进一步地，所述步骤s7之后还包括：

s8、安全语音提示模块接收汽车控制器传来的信息，通过语音播放器将将要发生危险状况的距离信息提示给驾驶员，并判断在将要发生危险状况的距离至可安全避让距离的最小距离之间，驾驶员有没有做出反应。

进一步地，所述步骤s8之后还包括：

s9、如果驾驶员未在将要发生危险状况的距离至可安全避让距离的最小距离之间做出反应，在汽车达到规定的最小可安全避让距离的最小距离后，汽车控制器会根据当前的环境信息以及汽车状态信息进行判断输出相应的安全避让决策数据信息传送至安全驾驶辅助操控模块，达到安全避让、安全行车。

进一步地，所述通过环境感知模块采集环境信息以及当前汽车行驶的状态信息，具体包括：

采集汽车当前的行驶速度、当前的行驶加速度、当前路面的附着系数、横摆角速度、方向盘转角、航向角、质心坐标以及由摄像头传送来的图像信息；

所述图像信息包括周围的车辆信息，行人信息，交通信号标志，路阻信息以及该车与前方车辆、行人、交通信号标、路阻之间的距离信息；汽车侧方的汽车、道路边缘信息，由超声波传感器检测并传来的汽车两侧的障碍物信息以及距离障碍物之间的距离信息。

进一步地，所述步骤s5中设置两个安全距离信息的具体过程如下：

s51、计算汽车的制动距离，汽车的制动距离包括制动器起作用的阶段和制动器持续制动的阶段，总的制动距离计算公式如下：

式中，s为汽车根据当前的车速的制动距离，amax是汽车的最大制动减速度，μ0为汽车减速时的初始减速度，t1'为由于制动蹄与制动鼓间存在的间隙，制动器所反应的时间，t1”为制动力从零持续增长到最大制动力所需的时间，t1＝t1'+t1”统称为制动器的作用时间，制动器的作用时间在0.2s至0.9s之间；

s52、根据汽车与前方障碍物之间的距离，判断汽车将要发生危险状况的距离d以及汽车可安全避让距离的最小距离信息d之间的关系；

s53、通过环境感知模块中的双目红外线摄像头检测汽车前方的环境信息以及环境中的车辆、行人、交通信号标志、路阻信息，并根据双目测距原理以及三角形相似原理，计算出视差，进而得到深度信息；

s54、通过环境感知模块测得汽车到障碍物之间的距离后，汽车控制器计算出根据当前车速信息以及地面附着系数信息，得出汽车的制动距离，判断汽车是否会发生危险，设置汽车将要发生危险状况的距离d＝3/2s，汽车可安全避让距离的最小距离信息d＝s。

本发明还提供了一种基于神经网络的大型汽车安全驾驶系统，包括环境感知模块、汽车控制器、安全语音提示模块、以及安全驾驶辅助操控模块；

所述环境感知模块包括外界环境信息感知模块和汽车当前驾驶状态信息感知模块；外界环境信息感知模块用于采集汽车外界的环境信息，汽车当前驾驶状态信息感知模块用于实时监测汽车的当前行驶状态信息；

所述安全语音提示模块包括语音播放器和控制器；控制器接收环境感知模块传来的环境信息后，对纵向、横向距离方向的障碍物信息进行检测和距离计算，判断汽车当前所处的运行状态，在汽车接收到将要发生危险状况的距离信息后，控制器输出信息给语音播放器，提醒驾驶员作出反应；

所述汽车控制器为基于linux系统上搭建的神经网络模型，神经网络模型主要包括cnn网络架构以及ssd网络架构，利用所述实车行驶数据集信息训练神经网络模型，从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系；

所述安全驾驶辅助操控模块包括加速踏板执行器、制动踏板执行器、方向盘执行器；加速踏板执行器和制动踏板执行器用于控制制动器踏板、油门踏板的位置；方向盘执行器用于控制方向盘的转向。

进一步地，所述外界环境信息感知模块主要由双目红外线摄像头、两个侧位单目红外线摄像头、超声波传感器组成；

所述双目红外线摄像头安装在车头前方的中部，用于扫描到整个汽车前方的信息；

所述的两个侧位单目红外线摄像头分别安装到汽车的车身两侧后方，用于观测到汽车侧方的环境信息；

所述超声波传感器安装在汽车的车身两侧，用来检测汽车两侧的障碍物信息以及障碍物的距离信息。

进一步地，所述汽车当前驾驶状态信息感知模块主要由方向盘角度传感器、方向盘力矩传感器、车速传感器、车辆加速度传感器、横摆角速度传感器、陀螺仪、侧向加速度传感器、制动踏板角度传感器、油门踏板角度传感器、制动踏板角速度传感器、油门踏板角速度传感器、地面附着系数传感器组成，上述传感器均安装在汽车上相应的位置。

进一步地，所述安全驾驶辅助操控模块还可实现汽车的横向运动与紧急制动。

较现有技术相比，本发明具有以下优点：

1、本发明提供的基于神经网络的大型汽车安全驾驶方法，不仅提高了汽车行驶的安全型，还使得神经网络模型不断在实际中训练，使其更加成熟更加安全；本发明提供的基于神经网络的大型汽车安全驾驶系统，对于大型汽车的安全驾驶问题得到了很大的改进，提高了汽车的纵向横向运动的安全性。

2、本发明提供的基于神经网络的大型汽车安全驾驶系统，通过双目红外线摄像头、超声波传感器等建立起来的环境感知模块来观测环境信息，同时检测汽车当时的行驶状态信息并输入到汽车控制器中进行处理，最终由汽车控制器输出控制指令，控制汽车的执行机构进行安全辅助驾驶，解决了大型汽车由于高车身而产生视觉盲区问题。

3、本发明提供的基于神经网络的大型汽车安全驾驶系统，其汽车控制器为基于linux系统上搭建的神经网络模型，并利用大量的实车行驶数据集信息训练神经网络模型，从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系，解决了大型汽车在行驶过程中，出现危险情况时不能有效避免危险的发生，以及由于多变的驾驶情况下神经网络训练集数据模型缺少的问题。

基于上述理由本发明可在大型汽车电子控制等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明方法一实施例提供的双目测距原理图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本发明提供了一种基于神经网络的大型汽车安全驾驶方法，包括如下步骤：

s1、采集实车行驶数据集信息，建立数据库；

s2、搭建汽车控制器，汽车控制器为基于linux系统上搭建的神经网络模型，并利用所述实车行驶数据集信息训练神经网络模型，从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系；

s3、如图1所示，通过环境感知模块采集环境信息以及当前汽车行驶的状态信息，并将其作为输入信息；作为本发明优选的实施方式，通过环境感知模块采集环境信息以及当前汽车行驶的状态信息，具体包括：

采集汽车当前的行驶速度、当前的行驶加速度、当前路面的附着系数、横摆角速度、方向盘转角、航向角、质心坐标以及由摄像头传送来的图像信息；

图像信息包括周围的车辆信息，行人信息，交通信号标志，路阻信息以及该车与前方车辆、行人、交通信号标、路阻之间的距离信息；汽车侧方的汽车、道路边缘信息，由超声波传感器检测并传来的汽车两侧的障碍物信息以及距离障碍物之间的距离信息。

s4、汽车控制器接收上述输入信息，并判断汽车所处的当前状态以及环境信息进而将其输出给安全语音提示模块；

s5、安全语音提示模块根据当前的汽车驾驶状态信息设置两个安全距离信息，即结合当前环境信息以及汽车行驶状态信息判断出的将要发生危险状况的距离信息以及汽车可安全避让距离的最小距离信息；作为本发明优选的实施方式，设置两个安全距离信息的具体过程如下：

s51、计算汽车的制动距离，汽车的制动距离包括制动器起作用的阶段和制动器持续制动的阶段，总的制动距离计算公式如下：

式中，s为汽车根据当前的车速的制动距离，amax是汽车的最大制动减速度，μ0为汽车减速时的初始减速度，t1'为由于制动蹄与制动鼓间存在的间隙，制动器所反应的时间，t1”为制动力从零持续增长到最大制动力所需的时间，t1＝t1'+t1”统称为制动器的作用时间，制动器的作用时间在0.2s至0.9s之间，本发明实施例选择的制动器的作用时间为0.9s。

s52、根据汽车与前方障碍物之间的距离，判断汽车将要发生危险状况的距离d以及汽车可安全避让距离的最小距离信息d之间的关系；

s53、通过环境感知模块中的双目红外线摄像头检测汽车前方的环境信息以及环境中的车辆、行人、交通信号标志、路阻信息，并根据双目测距原理以及三角形相似原理，计算出视差，进而得到深度信息；如图2所示，p是待检测物体上的一点，or与ot分别为两个相机的光心，点p在两个相机感光器上的成像点分别为p和p'，f为相机焦距，b为两相机中心距，z为本实施例中所求的深度信息，设p和p'的距离为dis，则：

dis＝b-xr-xt

根据三角形相似原理：

可得：

式中，xr-xt为视差，即求出视差就能得到深度信息。

s54、通过环境感知模块测得汽车到障碍物之间的距离后，汽车控制器计算出根据当前车速信息以及地面附着系数信息，得出汽车的制动距离，判断汽车是否会发生危险，设置汽车将要发生危险状况的距离d＝3/2s，汽车可安全避让距离的最小距离信息d＝s。

s6、在汽车接收到将要发生危险状况的距离信息后，汽车控制器输出信息给安全语音提示模块，提醒驾驶员作出反应；

s7、若驾驶员此时做出了反应，汽车控制器将驾驶安全避让的驾驶行为数据保存到数据库中，若驾驶员没有做出反应，在达到规定的可安全避让最小危险距离后，汽车控制器控制安全驾驶辅助操控模块通过步骤s2中采集的输入信息做出辅助驾驶操控。

作为本发明优选的实施方式，所述步骤s7之后还包括：

s8、安全语音提示模块接收汽车控制器传来的信息，通过语音播放器将将要发生危险状况的距离信息提示给驾驶员，并判断在将要发生危险状况的距离至可安全避让距离的最小距离之间，驾驶员有没有做出反应。

作为本发明优选的实施方式，所述步骤s8之后还包括：

s9、如果驾驶员未在将要发生危险状况的距离至可安全避让距离的最小距离之间做出反应，在汽车达到规定的最小可安全避让距离的最小距离后，汽车控制器会根据当前的环境信息以及汽车状态信息进行判断输出相应的安全避让决策数据信息传送至安全驾驶辅助操控模块，达到安全避让、安全行车。

实施例2

在实施例1的基础上，本发明还提供了一种基于神经网络的大型汽车安全驾驶系统，包括环境感知模块、汽车控制器、安全语音提示模块、以及安全驾驶辅助操控模块；

环境感知模块包括外界环境信息感知模块和汽车当前驾驶状态信息感知模块；

外界环境信息感知模块用于采集汽车外界的环境信息，主要由双目红外线摄像头、两个侧位单目红外线摄像头、超声波传感器组成；双目红外线摄像头安装在车头前方的中部，用于扫描到整个汽车前方的信息；两个侧位单目红外线摄像头分别安装到汽车的车身两侧后方，用于观测到汽车侧方的环境信息；超声波传感器安装在汽车的车身两侧，用来检测汽车两侧的障碍物信息以及障碍物的距离信息。

汽车当前驾驶状态信息感知模块用于实时监测汽车的当前行驶状态信息，主要由方向盘角度传感器、方向盘力矩传感器、车速传感器、车辆加速度传感器、横摆角速度传感器、陀螺仪、侧向加速度传感器、制动踏板角度传感器、油门踏板角度传感器、制动踏板角速度传感器、油门踏板角速度传感器、地面附着系数传感器组成，上述传感器均安装在汽车上相应的位置。

安全语音提示模块包括语音播放器和控制器；控制器接收环境感知模块传来的环境信息后，对纵向、横向距离方向的障碍物信息进行检测和距离计算，判断汽车当前所处的运行状态，在汽车接收到将要发生危险状况的距离信息后，控制器输出信息给语音播放器，提醒驾驶员作出反应；

汽车控制器为基于linux系统上搭建的神经网络模型，神经网络模型主要包括cnn网络架构以及ssd网络架构，利用所述实车行驶数据集信息训练神经网络模型，从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系；

安全驾驶辅助操控模块包括加速踏板执行器、制动踏板执行器、方向盘执行器；加速踏板执行器和制动踏板执行器用于控制制动器踏板、油门踏板的位置，进而达到目标位置的速度信息；方向盘执行器用于控制方向盘的转向，从而达到安全避让，安全行驶。安全驾驶辅助操控模块还可实现汽车的横向运动与紧急制动，具体为：

若两个侧位单目红外线摄像头以及超声波传感器检测到汽车两侧的环境信息可以进行横向运动，则汽车进行横向运动；

若汽车两侧有障碍物信息，或者检测到横向运动会使汽车驶出道路发生危险则，汽车采取当前最大制动减速度进行制动。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。