驾驶员异常行为状态的智能图像分析方法和告警系统与流程

本发明涉及一种驾驶员异常行为状态的智能图像分析方法和告警系统。

背景技术：

在机车驾驶过程中，驾驶员可能存在着驾驶过程中接打手机、查看短信、微信聊天、QQ聊天、疲劳驾驶、离开驾驶位置、回头与他人说话交谈、寻找物品等不良驾驶习惯，这些都是酿成车祸的重要因素，在现有技术中，对驾驶员不规范的驾驶行为，有的采用超速告警，当车辆驾驶速度超过设定速度限制时进行告警提醒，有的采用人为监控方式，即通过摄像头监控驾驶员的驾驶状态，当发现有不规范的驾驶行为时，对其进行告警，其监控任务比较繁重，同时，对于监督者而言，必须保持实时的监控状态，如果稍有疏忽，则可能酿成大错，并不能有效的控制驾驶员的不规范驾驶行为。

因此，本领域的专业技术人员迫切需要解决的一个技术问题是，如何创新的提出一种措施，实现对驾驶员不规范驾驶行为的有效分析和告警，智能辅助分析判断告警系统，并对驾驶员不规范驾驶行为进行分析、存储、回放，达到智能化的防范驾驶员不规范驾驶行为的目的，有效降低机车事故的发生。

技术实现要素：

本发明实施例所要解决的一个技术问题是：提供一种驾驶员异常行为状态的智能图像分析方法和告警系统，实现对驾驶员不规范驾驶行为的有效分析和告警，智能辅助分析判断告警系统，并对驾驶员不规范驾驶行为进行分析、存储、回放，达到智能化的防范驾驶员不规范驾驶行为的目的，有效降低机车事故的发生概率。

根据本发明实施例的一个方面，提供的一种驾驶员异常行为状态的智能图像分析方法，包括：

摄像装置对机车驾驶室内的驾驶员进行图像采集，对机车驾驶室内的驾驶员图像采集主要采集驾驶员的人脸图像、手上动作图像、驾驶位置图像和驾驶员大幅度的动作图像；

图像分析设备对采集的图像进行智能分析计算，通过智能分析计算，解析驾驶员的驾驶状态，建立驾驶员规范操作模型，所述驾驶员规范操作模型包括规范动作的机车驾驶员状态模型和不规范动作的机车驾驶员状态模型；

将采集图像与机车驾驶员状态模型比对，检索不规范动作的视频图像和事件点图片，通过逐帧比对检索分析的方法，识别出机车驾驶员在驾驶过程中的每一个不规范动作，设定检索视频图像时间阈值，自动检索出不规范动作的检索视频图像时间阈值内的视频图像，对于机车驾驶员在驾驶过程中的每一个不规范动作，自动采集不规范动作的事件点图片；

分析主机判断驾驶员处于不规范的驾驶状态时进行声光告警；

将不规范动作视频图像、事件点图片及事件日志，生成不规范动作视频文件。

基于上述方法的另一个实施例中，所述不规范动作的机车驾驶员状态模型包括：

驾驶员玩手机的状态模型，是指驾驶员双手或单手处于持手机状态，眼睛脱离机车行驶正前方，并超过设定时间阈值的状态；

驾驶员长时间不动、假寐的状态模型，是指驾驶员眼睛闭合、身体保持静止，并超过设定时间阈值的状态；

驾驶员离岗状态模型，是指驾驶员离开驾驶员座位超过设定时间阈值的状态；

驾驶员大幅度动作状态模型，是指驾驶员身体大幅度扭曲、眼睛脱离机车行驶正前方，并超过设定时间阈值的状态。

基于上述方法的另一个实施例中，所述设定检索视频图像时间阈值可以自定义。

基于上述方法的另一个实施例中，所述将不规范动作视频图像、事件点图片及事件日志，生成不规范动作视频文件数据库包括：

事件名称、事件时间、事件发生的车型车次、事件图片的文件名、源文件名，数据库采用标准数据库。

根据本发明实施例的另一个方面，提供的一种驾驶员异常行为状态的告警系统，包括：图像采集器、电源设备、分析主机、存储设备、告警输出模块；

所述图像采集器用于采集机车驾驶室内驾驶员的图像信息，所采集的驾驶员图像信息包括：驾驶员的人脸图像、手上动作图像、驾驶位置图像和驾驶员大幅度的动作图像；

所述电源设备为分析主机提供电力供应；

所述分析主机通过对图像采集器采集的视频图像与驾驶员规范操作模型的视频图像进行逐帧对比，分析驾驶员的不规范动作，并自动检索不规范动作的视频图像，采集不规范动作的事件点图片，对不规范动作进行告警，对不规范动作的视频图像、事件点图片及事件日志进行存储；

所述存储设备对分析主机生成的视频文件进行存储；

所述告警输出模块是接收分析主机对采集的视频图像进行自动分析计算结果，判断驾驶员是否处于不规范的驾驶状态，对于不规范的驾驶状态，进行声光告警。

所述图像采集器采集到驾驶员视频图像以后，将视频图像发送至分析主机，分析主机对采集的视频图像进行自动分析计算，判断驾驶员是否处于不规范的驾驶状态，对不规范的驾驶状态，进行告警，并自动检索不规范动作的视频图像，采集不规范动作的事件点图片，对不规范动作的视频图像、事件点图片及事件日志以后，上传至存储设备，电源设备为分析主机提供电力供应。

基于上述系统的另一个实施例中，所述驾驶员规范操作模型包括：规范动作的机车驾驶员状态模型和不规范动作的机车驾驶员状态模型；

所述不规范动作的机车驾驶员状态模型包括：

驾驶员玩手机的状态模型，是指驾驶员双手或单手处于持手机状态，眼睛脱离机车行驶正前方，并超过设定时间阈值的状态；

驾驶员长时间不动、假寐的状态模型，是指驾驶员眼睛闭合、身体保持静止，并超过设定时间阈值的状态；

驾驶员离岗状态模型，是指驾驶员离开驾驶员座位超过设定时间阈值的状态；

驾驶员大幅度动作状态模型，是指驾驶员身体大幅度扭曲、眼睛脱离机车行驶正前方，并超过设定时间阈值的状态。

基于上述系统的另一个实施例中，所述对不规范动作的视频图像、事件点图片及事件日志包括：

事件名称、事件时间、事件发生的车型车次、事件图片的文件名、源文件名。

本发明实施例提供的一种驾驶员异常行为状态的智能图像分析方法和告警系统，通过图像采集设备实时采集驾驶员图像信息，通过分析主机对采集的视频图像进行自动分析计算，判断驾驶员是否处于不规范的驾驶状态，对不规范的驾驶状态，进行告警，并自动检索不规范动作的视频图像，采集不规范动作的事件点图片，对不规范动作的视频图像、事件点图片及事件日志以后，上传至存储设备，对驾驶员的不规范驾驶行为进行分析、存储、回放、告警，达到智能化的防范驾驶员不规范驾驶行为的目的，有效降低机车事故的发生概率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明驾驶员异常行为状态的智能图像分析方法的一个实施例的流程图。

图2为本发明驾驶员异常行为状态的告警系统的一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本发明驾驶员异常行为状态的智能图像分析方法的一个实施例的流程图，如图1所示，该实施例的驾驶员异常行为状态的智能图像分析方法包括：

10，摄像装置对机车驾驶室内的驾驶员进行图像采集，对机车驾驶室内的驾驶员图像采集主要采集驾驶员的人脸图像、手上动作图像、驾驶位置图像和驾驶员大幅度的动作图像；

20，图像分析设备对采集的图像进行智能分析计算，通过智能分析计算，解析驾驶员的驾驶状态，建立驾驶员规范操作模型，所述驾驶员规范操作模型包括规范动作的机车驾驶员状态模型和不规范动作的机车驾驶员状态模型；

30，将采集图像与机车驾驶员状态模型比对，检索不规范动作的视频图像和事件点图片，通过逐帧比对检索分析的方法，识别出机车驾驶员在驾驶过程中的每一个不规范动作，设定检索视频图像时间阈值，自动检索出不规范动作的检索视频图像时间阈值内的视频图像，对于机车驾驶员在驾驶过程中的每一个不规范动作，自动采集不规范动作的事件点图片；

40，分析主机判断驾驶员是否处于不规范的驾驶状态时进行声光告警；

50，不规范动作视频图像、事件点图片及事件日志，生成不规范动作视频文件数据库。

所述不规范动作的机车驾驶员状态模型包括：

驾驶员玩手机的状态模型，是指驾驶员双手或单手处于持手机状态，眼睛脱离机车行驶正前方，并超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定；

驾驶员长时间不动、假寐的状态模型，是指驾驶员眼睛闭合、身体保持静止，并超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定；

驾驶员离岗状态模型，是指驾驶员离开驾驶员座位超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定；

驾驶员大幅度动作状态模型，是指驾驶员身体大幅度扭曲、眼睛脱离机车行驶正前方，并超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定。

所述设定检索视频图像时间阈值可以自定义。

所述将不规范动作视频图像、事件点图片及事件日志，生成不规范动作视频文件数据库包括：

事件名称、事件时间、事件发生的车型车次、事件图片的文件名、源文件名，数据库采用标准数据库。

根据本发明实施例的另一个方面，提供的一种驾驶员异常行为状态的告警系统，图2为本发明驾驶员异常行为状态的告警系统的一个实施例的结构示意图，如图2所示，所述驾驶员异常行为状态的告警系统包括：图像采集器1、电源设备2、分析主机3、存储设备4，告警输出模块5；

所述图像采集器1用于采集机车驾驶室内驾驶员的图像信息，所采集的驾驶员图像信息包括：驾驶员的人脸图像、手上动作图像、驾驶位置图像和驾驶员大幅度的动作图像；

所述电源设备2为分析主机提供电力供应；

所述分析主机3通过对图像采集器1采集的视频图像与驾驶员规范操作模型的视频图像进行逐帧对比，分析驾驶员的不规范动作，并自动检索不规范动作的视频图像，采集不规范动作的事件点图片，对不规范动作进行告警，对不规范动作的视频图像、事件点图片及事件日志；

所述存储设备4对分析主机3生成的视频文件进行存储；

所述告警输出模块5是接收分析主机3对采集的视频图像进行自动分析计算结果，判断驾驶员是否处于不规范的驾驶状态，对于不规范的驾驶状态，进行声光告警。

所述图像采集器1采集到驾驶员视频图像以后，将视频图像发送至分析主机3，分析主机3对采集的视频图像进行自动分析计算，判断驾驶员是否处于不规范的驾驶状态，对不规范的驾驶状态，通过警输出模块5进行告警，并自动检索不规范动作的视频图像，采集不规范动作的事件点图片，对不规范动作的视频图像、事件点图片及事件日志以后，上传至存储设备4，电源设备2为分析主机3提供电力供应。

所述驾驶员规范操作模型包括：规范动作的机车驾驶员状态模型和不规范动作的机车驾驶员状态模型；

所述不规范动作的机车驾驶员状态模型包括：

驾驶员玩手机的状态模型，是指驾驶员双手或单手处于持手机状态，眼睛脱离机车行驶正前方，并超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定；

驾驶员长时间不动、假寐的状态模型，是指驾驶员眼睛闭合、身体保持静止，并超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定；

驾驶员离岗状态模型，是指驾驶员离开驾驶员座位超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定；

驾驶员大幅度动作状态模型，是指驾驶员身体大幅度扭曲、眼睛脱离机车行驶正前方，并超过设定时间阈值的状态，所述功能设置方式包括：系统推荐设定、单位统一设定、驾驶员设定，不规范动作持续时间阈值设定。

所述对不规范动作的视频图像、事件点图片及事件日志包括：

事件名称、事件时间、事件发生的车型车次、事件图片的文件名、源文件名。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。