一种危险驾驶识别与预警装置、方法及系统与流程

本发明属于驾驶辅助系统领域，更具体地，涉及一种危险驾驶识别与预警装置、方法及系统。

背景技术：

目前高级驾驶辅助系统(advanceddrivingassistantsystem，adas)的技术提供前车碰撞预警(forwardcollisionwarning，fcw)、车道偏离预警(lanedeparturewarning，ldw)、盲区监测(blindspotdetection，bsd)、行人检测(pedestriancollisionwarning，pcw)及车距监测(headwaymonitoringwarning，hmw)等报警功能。主要以被动式报警为主，当车辆检测到潜在危险时，会发出警报提醒驾车者注意异常的车辆或道路情况，对真正是危险驾驶不能起到有效的干预和预防。

疲劳驾驶预警系统(driverfatiguemonitorsystem，dms)是一种基于驾驶员生理反应特征的驾驶人疲劳监测预警产品，常见装备的疲劳监测系统被称为“疲劳驾驶预警系统”它是基于驾驶员生理图像反应，由电子控制单元(electroniccontrolunit，ecu)和摄像头两大模块组成，利用驾驶员的面部特征、眼部信号及头部运动性等推断驾驶员的疲劳状态，并进行报警提示和采取相应措施的装置。驾驶员疲劳驾驶预警系统是一种用于提醒司机避免疲劳驾驶的预警系统。应用人脸检测算法采集驾驶人员的视频图像，通过面部生物特征模式技术的检测、分析和判别，主要能检测司机疲劳驾驶(如打瞌睡、打哈欠)、分心驾驶(如：左顾右盼、抽烟、打电话、玩手机等)、不良驾驶行为，并发出不同的语音提醒司机，对真正的疲劳驾驶会产生误判，不能有效的甄别危险(疲劳)驾驶。

目前判断危险(疲劳)驾驶的方法比较单一，对疲劳驾驶界定不够准确，很容易对疲劳驾驶引起误判或漏判等类似问题。因此上述两种方法都不能够全面有效的界定危险(疲劳)驾驶。

目前检测疲劳驾驶最准确的方式是：直接检测，其是基于驾驶员生理参数检测，包括：脑电图、心电图、肌电图及眼电图信号检测；脉搏跳动、汗液成分、唾液成分、等检测和声音频率、呼吸频率检测。这种方式虽然检测准确度高，但该方法不仅成本高，检测方法复杂还耗时间，实现比较困难。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提出了一种危险驾驶识别与预警装置、方法及系统，由此解决目前通过单一的adas或dms来实现对危险进行判定存在的准确率低及生理参数检测存在的成本高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种危险驾驶识别与预警装置，包括：数据接收模块、数据处理模块及预警提示模块；

所述数据接收模块，用于接收云端服务器发送的目标数据，其中，所述目标数据包括由adas主机获取的第一图像信息及由dms主机获取的第二图像信息；

所述数据处理模块，用于根据所述第一图像信息提取驾驶行为特征，根据所述第二图像信息提取驾驶员的动作特征，对所述驾驶行为特征及所述动作特征进行数据融合，得到融合特征，并利用神经网络模型对所述融合特征进行识别，在识别出有危险驾驶行为时，确定所述危险驾驶行为的危险程度，并向所述预警提示模块发送预警指令，其中，所述预警指令包括所述危险驾驶行为的危险程度；

所述预警提示模块，用于接收所述预警指令，并根据所述预警指令所指示的内容进行预警提示。

优选地，所述装置还包括：神经网络模型训练模块；

所述神经网络模型训练模块，用于根据云端服务器中的样本数据对所述神经网络模型进行训练，以识别出危险驾驶行为及危险驾驶行为的危险程度。

优选地，所述神经网络模型训练模块包括：样本获取模块、特征提取模块、融合模块及训练模块；

所述样本获取模块，用于从所述云端服务器中获取样本数据，其中，所述样本数据包括由adas主机发送的图像信息及由dms主机发送的图像信息；

所述特征提取模块，用于对由所述adas主机发送的图像信息提取驾驶行为特征，对由所述dms主机发送的图像信息提取驾驶员的动作特征；

所述融合模块，用于对所述驾驶行为特征及所述动作特征进行数据融合，得到融合特征；

所述训练模块，用于根据所述融合特征对所述神经网络模型进行训练，以识别出危险驾驶行为及危险驾驶行为的危险程度。

优选地，所述预警提示模块包括音频输出模块及显示模块；

所述音频输出模块，用于播放危险驾驶语音；

所述显示模块，用于提示驾驶对象所处的危险驾驶行为的危险程度，和/或，与所述危险程度对应的所述驾驶对象执行的目标动作信息。

按照本发明的另一方面，提供了一种危险驾驶识别与预警方法，包括：

接收云端服务器发送的目标数据，其中，所述目标数据包括由adas主机获取的第一图像信息及由dms主机获取的第二图像信息；

根据所述第一图像信息提取驾驶行为特征，根据所述第二图像信息提取驾驶员的动作特征，对所述驾驶行为特征及所述动作特征进行数据融合，得到融合特征，并利用神经网络模型对所述融合特征进行识别，在识别出有危险驾驶行为时，确定所述危险驾驶行为的危险程度；

输出预警提示信息，其中，所述预警提示信息包括所述危险行为的危险程度。

优选地，在所述接收云端服务器发送的目标数据之前，所述方法还包括：

根据云端服务器中的样本数据对所述神经网络模型进行训练，以识别出危险驾驶行为及危险驾驶行为的危险程度。

优选地，所述根据云端服务器中的样本数据对所述神经网络模型进行训练，以识别出危险驾驶行为及危险驾驶行为的危险程度，包括：

从所述云端服务器中获取样本数据，其中，所述样本数据包括由adas主机发送的图像信息及由dms主机发送的图像信息；

对由所述adas主机发送的图像信息提取驾驶行为特征，对由所述dms主机发送的图像信息提取驾驶员的动作特征；

对所述驾驶行为特征及所述动作特征进行数据融合，得到融合特征；

根据所述融合特征对所述神经网络模型进行训练，以识别出危险驾驶行为及危险驾驶行为的危险程度。

优选地，所述输出预警提示信息，包括：

播放危险驾驶语音；

输出显示信息，其中，所述显示信息包括驾驶对象所处的危险驾驶行为的危险程度，和/或，与所述危险程度对应的所述驾驶对象执行的目标动作信息。

按照本发明的另一方面，提供了一种危险驾驶识别与预警系统，包括：adas主机、dms主机、云端服务器及危险驾驶识别与预警装置；

所述adas主机，用于在检测到第一危险行为时，将与所述第一危险行为对应的第一图像信息发送至所述云端服务器；

所述dms主机，用于在检测到第二危险行为时，将与所述第二危险行为对应的第二图像信息发送至所述云端服务器；

所述危险驾驶识别与预警装置，用于接收所述云端服务器发送的所述第一图像信息及所述第二图像信息；根据所述第一图像信息提取驾驶行为特征，根据所述第二图像信息提取驾驶员的动作特征，对所述驾驶行为特征及所述动作特征进行数据融合，得到融合特征，并利用神经网络模型对所述融合特征进行识别，在识别出有危险驾驶行为时，确定所述危险驾驶行为的危险程度；并输出预警提示信息，其中，所述预警提示信息包括所述危险行为的危险程度。

优选地，所述系统还包括语音机器人；

所述语音机器人，用于根据所述危险驾驶识别与预警装置下发的指令，对驾驶员进行电话提醒。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明融合了adas和dms的功能，并加入了人工智能神经网络算法，对车辆运行状态和对驾驶员的行为动作表象特征进行了智能分析识别，从而识别出危险驾驶行为，和危险驾驶行为的危险程度，并进行人工智能干预驾驶员的危险驾驶行为。准确高效的对危险驾驶行为状态进行精准识别判断。

附图说明

图1是本发明实施例提供的一种危险驾驶识别与预警装置的结构示意图；

图2是本发明实施例提供的一种危险驾驶识别与预警方法的流程示意图；

图3是本发明实施例提供的一种危险驾驶识别与预警系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明结合adas+dms技术，提供一种危险驾驶识别与预警装置。车辆行驶过程中，adas系统的前向摄像头可以检测前方车辆、行人和车道，当系统感知到潜在碰撞危险或车道偏离事件时，通过4g网络将存在危险的图像信息传输至云端服务器；dms系统中的人脸摄像头可以检测驾驶员异常的面部状态，如闭眼、打哈欠、姿态异常、抽烟、打电话以及未检测到驾驶员等，系统检测到异常事件时，会触发图片或短视频，并通过4g网络将存在异常的图像信息传输至云端服务器；云端服务器将adas和dms图像信息传输至危险驾驶识别与预警装置做智能化处理甄别危险驾驶，并通过语音机器人提醒驾驶员注意行车安全。从而实现智能化处理危险驾驶，对驾乘者给予主动智能的安全保障。

如图1所示，本发明实施例提供的一种危险驾驶识别与预警装置，包括：数据接收模块、数据处理模块及预警提示模块；

数据接收模块，用于接收云端服务器发送的目标数据，其中，目标数据包括由adas主机获取的第一图像信息及由dms主机获取的第二图像信息；

在本发明实施例中，adas主机用于提供车道偏离、前车碰撞等报警信息上传到云端服务器，再由云端服务器将图像信息下发到危险驾驶识别与预警装置，dms主机监测到驾驶员打哈欠、闭眼睛、低头、分神等报警信息，并将异常图像信息上传到云端服务器，再由云端服务器将这些图像信息下发到危险驾驶识别与预警装置。

数据处理模块，用于根据第一图像信息提取驾驶行为特征，根据第二图像信息提取驾驶员的动作特征，对驾驶行为特征及动作特征进行数据融合，得到融合特征，并利用神经网络模型对融合特征进行识别，在识别出有危险驾驶行为时，确定危险驾驶行为的危险程度，并向预警提示模块发送预警指令，其中，预警指令包括危险驾驶行为的危险程度；

在本发明实施例中，危险驾驶行为至少包括以下任一项或其组合：疲劳驾驶行为、超速驾驶行为及危险变道行为等，本发明实施例不做唯一性限定。

在本发明实施例中，将驾驶员的动作特征与驾驶行为特征进行了有效融合，生成更为有效的危险驾驶行为特征向量作为融合特征，可以比较全面的反映驾驶员的驾驶状态行为，提高识别的准确率。

在本发明实施例中，危险程度可以包括轻度危险、中度危险及重度危险。

在本发明实施例中，可以通过以下方式确定危险程度：

设置危险驾驶行为及影响行车安全的因素的权重；统计存在危险驾驶行为以及存在影响行车安全的因素的次数；

根据危险驾驶行为及影响行车安全的因素的权重，和存在危险驾驶行为及存在影响行车安全的因素的次数，对驾驶员的驾驶安全等级进行评估，以确定危险程度。

在本发明实施例中，可以通过以下方式确定危险程度：

根据预设时间段内危险驾驶行为的发生次数确定待检测对象的疲劳程度。

若确定出预设时间段内驾驶员的危险驾驶行为的发生次数在第一预设次数与第二预设次数之间，则确定危险程度为轻度；

若确定出预设时间段内驾驶员的危险驾驶行为的发生次数在第二预设次数与第三预设次数之间，则确定危险程度为中度；

若确定出预设时间段内驾驶员的危险驾驶行为的发生次数大于等于第三预设次数，则确定危险程度为重度。

预警提示模块，用于接收预警指令，并根据预警指令所指示的内容进行预警提示。

在本发明实施例中，该装置还包括：神经网络模型训练模块；

神经网络模型训练模块，用于根据云端服务器中的样本数据对神经网络模型进行训练，以识别出危险驾驶行为及危险驾驶行为的危险程度。

在本发明实施例中，神经网络模型训练模块进行用户行为建模、驾驶风险评估：通过大数据分析，在驾驶过程中在识别到相关危险行为前做出预警，提醒用户规范驾驶，避免导致车祸发生。具体神经网络模型预测为通过大量样本跟踪，将由adas主机及dms主机发送的图像信息进行整理，将这些数据分为训练样本和测试样本，对神经网络模型进行训练。

具体地，神经网络模型训练模块包括：样本获取模块、特征提取模块、融合模块及训练模块；

样本获取模块，用于从云端服务器中获取样本数据，其中，样本数据包括由adas主机发送的图像信息及由dms主机发送的图像信息；

特征提取模块，用于对由adas主机发送的图像信息提取驾驶行为特征，对由dms主机发送的图像信息提取驾驶员的动作特征；

融合模块，用于对驾驶行为特征及动作特征进行数据融合，得到融合特征；

训练模块，用于根据融合特征对神经网络模型进行训练，以识别出危险驾驶行为及危险驾驶行为的危险程度。

在本发明实施例中，预警提示模块包括音频输出模块及显示模块；

音频输出模块，用于播放危险驾驶语音；

显示模块，用于提示驾驶对象所处的危险驾驶行为的危险程度，和/或，与危险程度对应的驾驶对象执行的目标动作信息。

如图2所示，本发明实施例提供的一种危险驾驶识别与预警方法，包括：

s1：接收云端服务器发送的目标数据，其中，目标数据包括由adas主机获取的第一图像信息及由dms主机获取的第二图像信息；

s2：根据第一图像信息提取驾驶行为特征，根据第二图像信息提取驾驶员的动作特征，对驾驶行为特征及动作特征进行数据融合，得到融合特征，并利用神经网络模型对融合特征进行识别，在识别出有危险驾驶行为时，确定危险驾驶行为的危险程度；

s3：输出预警提示信息，其中，预警提示信息包括危险行为的危险程度。

在本发明实施例中，各步骤的具体实施方式可以参考上述实施例的描述，本发明实施例将不再复述。

如图3所示，本发明实施例提供的一种危险驾驶识别与预警系统，包括：adas主机、dms主机、云端服务器及危险驾驶识别与预警装置；

adas主机，用于在检测到第一危险行为时，将与第一危险行为对应的第一图像信息发送至云端服务器；

dms主机，用于在检测到第二危险行为时，将与第二危险行为对应的第二图像信息发送至云端服务器；

危险驾驶识别与预警装置，用于接收云端服务器发送的第一图像信息及第二图像信息；根据第一图像信息提取驾驶行为特征，根据第二图像信息提取驾驶员的动作特征，对驾驶行为特征及动作特征进行数据融合，得到融合特征，并利用神经网络模型对融合特征进行识别，在识别出有危险驾驶行为时，确定危险驾驶行为的危险程度；并输出预警提示信息，其中，预警提示信息包括所述危险行为的危险程度。

在本发明实施例中，该系统还包括语音机器人；

语音机器人，用于根据危险驾驶识别与预警装置下发的指令，对驾驶员进行电话提醒。

可选地，在中度或重度危险驾驶的情况下，可以通过下发指令给语音机器人直接电话提醒驾驶员注意当前行车安全。

在本发明的另一实施例中，还提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现如上述任一所述的危险驾驶识别与预警方法。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。