一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统与流程

本发明属于轨道交通控制领域，特别涉及一种基于kinect的轨道列车驾驶员状态的实时监测和预警方法与系统。

背景技术：

列车行驶过程中，列车驾驶员的生理状态对列车的安全运行有很大的影响。列车驾驶员的生理状态主要包括生理健康状态和疲劳状态。根据交通事故统计年鉴，约15-20％的铁路交通事故和驾驶疲劳有关，疲劳驾驶严重影响列车驾驶员的警觉性、应变性及安全驾驶能力。为了防范疲劳驾驶带来的轨道列车安全隐患，驾驶室里的司机脚下有一个按钮，要求司机在一定时间内就得踩一次，一旦超出规定时间没有踩，该按钮就会发出警示，提示司机做出反应。如果司机在几秒之内没有做出回应，列车就会自动减速停车。轨道列车操作繁琐，信号种类多，司机常常要手眼口并用，因此必须集中高度的注意力，现有的装置要求司机在一定的时间内对警示装置做出反应，容易分散司机的注意力。同时随着高速铁路规模的扩大，驾驶员工作强度增大，对驾驶员的生理健康监测引起了人们越来越大的重视。

列车驾驶员工作强度大，注意力要求高度集中，为了避免司机误操作，当遇上车门开关、开车、停车、通过车站、遇上速度限制和识别不同的铁路信号时，司机使用相关操作手势并说出对应指令。这种方式虽然在一定程度让司机减少误判情况，但是缺少纠错机制和反馈机制，不能从根本上完全消除误判情况。

技术实现要素：

本发明提供了一种基于kinect的轨道列车驾驶员状态的实时监测和预警方法与系统，其目的在于，利用kinect传感器阵列采集驾驶员的综合驾驶状态，从根本上完全消除司机看错误判信号和指令的情况，实现了对轨道列车驾驶员驾驶状态的识别、监测和预警。

一种基于kinect的轨道列车驾驶员状态的实时监测和预警方法，包括以下步骤：

步骤1：利用设置于驾驶室前方的kinect传感器阵列采集驾驶员工作状态信息；

所述驾驶员工作状态信息包括驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；

步骤2：对驾驶员工作状态信息进行数据处理；

对采集到的驾驶员彩色图像进行驾驶员心率检测；

对采集到的驾驶员彩色图像进行面部特征提取，采用欧拉视频放大方法，读取每帧面部特征图像的rgb代表像素，利用带通滤波器对rgb代表像素进行滤波处理，并对滤波后的像素进行pca分析(主元分析)和光谱分析，读取驾驶员心率，并将心率数据发送给心率监测预警模块和疲劳监测预警模块；

对采集到的驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占总测试时间的比例perclos值；

kinect传感器面部图像处理模块对驾驶员面部特征进行提取，对驾驶员的身份识别，记录同一驾驶员的驾驶时间，并发送给kinect传感器疲劳监测模块。同时，提取驾驶员的眼部区域，识别闭眼动作，计算perclos值(闭眼时间占总测试时间的比例)，并发送给疲劳监测预警模块。

利用驾驶员的身份识别，精准的提取了同一驾驶员的所有相关信息，避免了误检。

对采集到的驾驶员骨骼数据和深度图像进行手势识别与匹配，获得驾驶员发出的手势指令信号；

kinect传感器手势识别模块对采集到的驾驶员骨骼数据和手部的深度图像进行手势识别，并在手势模型数据库中的手势内容匹配，手势模型数据库包括上述“轨道弯道、道岔、进路、信号”对应的安全确认的标准动作手势。与手势模型数据库中匹配得到对应的指令信号信息，并发送给误判监测预警模块。

对采集到的驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动作进行特征融合匹配，获取驾驶员发出的语音指令信号；

所述kinect传感器语音识别模块对采集到的驾驶员语音进行识别，提取语音关键词，语音关键词包括“轨道弯道、道岔、进路、信号”。对采集到的驾驶员面部图像检测，识别唇部区域，通过对唇部特征提取和分析，识别出唇部动态动作，对唇部动作和语音进行特征融合，读取驾驶员语音信息及其对应的信号指令内容，并发送给误判监测预警模块。

步骤4：对步骤3的数据处理结果进行预警；

若驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；

利用驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值输入驾驶员疲劳驾驶状态模型，得到驾驶员疲劳状态，若驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；

若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。

进一步地，所述kinect传感器采集阵列由3组相同的kinect传感器组成，3组kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。

使3组kinect传感器视角边界和语音有效范围彼此重叠，将驾驶室环境分为3个工作区域，实现kinect传感器对轨道列车司机室图像和语音采集的全覆盖；

进一步地，所述驾驶员疲劳驾驶状态模型的构建过程如下：

将采集的历史数据中的至少1000组驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值和对应的驾驶员疲劳状态作为训练数据，以驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值作为神经网络中输入层神经元，以驾驶员的疲劳状态作为输出层神经元，预设隐藏层神经元个数，不断的对神经网络进行训练，自适应调整神经网络权值，获得驾驶员疲劳驾驶状态模型。

一种基于kinect的轨道列车驾驶员状态的实时监测和预警系统，包括：

kincet传感器采集阵列，用于采集驾驶员工作状态信息并将采集的信息发送至数据处理模块；

所述驾驶员工作状态信息包括驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；

数据处理模块，用于对采集的驾驶员工作状态信息进行检测和识别，同时将检测和识别结果发送至预警装置；

所述处理处理模块包括kinect传感器心率检测模块、kinect传感器面部图像处理模块、kinect传感器手势识别模块及kinect传感器语音识别模块；

所述检测和识别结果包括驾驶员心率、身份识别结果、闭眼时间占总测试时间的比例perclos值、手势指令信号和语音指令信号；

预警装置，用于依据数据处理模块得到的检测和识别结果数据进行预警；

若驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；

利用驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值输入驾驶员疲劳驾驶状态模型，得到驾驶员疲劳状态，若驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；

若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。

进一步地，所述kinect传感器采集阵列由3组相同的kinect传感器组成，将3组kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。

进一步地，所述处理模块对采集的信息处理过程如下：

所述kinect传感器心率检测模块对采集到的驾驶员彩色图像进行驾驶员心率检测；

所述kinect传感器面部图像处理模块对采集到的驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占总测试时间的比例perclos值；

所述kinect传感器手势识别模块对采集到的驾驶员骨骼数据和深度图像进行手势识别与匹配，获得驾驶员发出的手势指令信号；

所述kinect传感器语音识别模块对采集到的驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动作进行特征融合匹配，获取驾驶员发出的语音指令信号。

有益效果

本发明提供了一种基于kinect的轨道列车驾驶员状态的实时监测和预警方法与系统，该方法通过对kinect传感器进行巧妙的设置，综合利用kinect传感器的各项检测功能，充分发挥和利用kinect传感器内置的三轴加速度计、彩色摄像头、红外线摄像头和麦克风阵列功能，只使用一种kinect传感器，实现了列车启动检测、驾驶员心率监测、疲劳监测、误判监测多种功能，利用kinect传感器获取的彩色图像数据、深度图像数据、骨骼图像数据和语音数据进行数据处理，同时通过kinect传感器采集阵列，能在驾驶员不同头部姿态任意角度获取心率数据；融合使用各项检测数据，结合轨道列车驾驶员语音信息、驾驶员手势信息、列车指令信号信息特征融合的方法，从技术方案上直接避免司机看错误判信号和指令的情况；加入驾驶员的驾驶时间的先验知识(铁路司机驾驶时间规定)，提高对驾驶员疲劳状态评估的正确率；该系统结构简单、操作方便，大大的降低了监测和预警系统的成本，且具有准确的监测和预警效果。

附图说明

图1为本发明所述方法的流程示意图；

图2为本发明中所使用的kinect传感器采集阵列结构示意图。

具体实施方式

下面将结合附图和实例对本发明做进一步地说明。

如图1所示，一种基于kinect的轨道列车驾驶员状态的实时监测和预警方法，包括以下步骤：

步骤1：利用设置于驾驶室前方的kinect传感器阵列采集驾驶员工作状态信息；

所述驾驶员工作状态信息包括驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；

步骤2：对驾驶员工作状态信息进行数据处理；

对采集到的驾驶员彩色图像进行驾驶员心率检测；

对采集到的驾驶员彩色图像进行面部特征提取，采用欧拉视频放大方法，读取每帧面部特征图像的rgb代表像素，利用带通滤波器对rgb代表像素进行滤波处理，并对滤波后的像素进行pca分析(主元分析)和光谱分析，读取驾驶员心率，并将心率数据发送给心率监测预警模块和疲劳监测预警模块；

对采集到的驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占总测试时间的比例perclos值；

kinect传感器面部图像处理模块对驾驶员面部特征进行提取，对驾驶员的身份识别，记录同一驾驶员的驾驶时间，并发送给kinect传感器疲劳监测模块。同时，提取驾驶员的眼部区域，识别闭眼动作，计算perclos值(闭眼时间占总测试时间的比例)，并发送给疲劳监测预警模块。

对采集到的驾驶员骨骼数据和深度图像进行手势识别与匹配，获得驾驶员发出的手势指令信号；

kinect传感器手势识别模块对采集到的驾驶员骨骼数据和手部的深度图像进行手势识别，并在手势模型数据库中的手势内容匹配，手势模型数据库包括上述“轨道弯道、道岔、进路、信号”对应的安全确认的标准动作手势。与手势模型数据库中匹配得到对应的指令信号信息，并发送给误判监测预警模块。

手势模型数据库是针对大量的铁路中信号指令手势建立；

对采集到的驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动作进行特征融合匹配，获取驾驶员发出的语音指令信号；

所述kinect传感器语音识别模块对采集到的驾驶员语音进行识别，提取语音关键词，语音关键词包括“轨道弯道、道岔、进路、信号”。对采集到的驾驶员面部图像检测，识别唇部区域，通过对唇部特征提取和分析，识别出唇部动态动作，对唇部动作和语音进行特征融合，读取驾驶员语音信息及其对应的信号指令内容，并发送给误判监测预警模块。

kinect麦克风阵列捕获的音频数据流通过音频增强效果算法处理来屏蔽环境噪声。在轨道列车司机室内，即使驾驶员离麦克风一定的距离，也能够进行语音命令的识别。kinect阵列技术包含有效的噪声消除和回波抑制算法，同时采用波束成形技术通过每个独立设备的响应时间确定音源位置，并尽可能避免司机室环境噪声的影响。

步骤4：对步骤3的数据处理结果进行预警；

若驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；

利用驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值输入驾驶员疲劳驾驶状态模型，得到驾驶员疲劳状态，若驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；

若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。

如图2所示，所述kinect传感器采集阵列由3组相同的kinect传感器组成，3组kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上，在图2中1,2,3分别表示三组kinect传感器，xoy平面为水平面。

使3组kinect传感器视角边界和语音有效范围彼此重叠，将驾驶室环境分为3个工作区域，实现kinect传感器对轨道列车司机室图像和语音采集的全覆盖；

所述驾驶员疲劳驾驶状态模型的构建过程如下：

将采集的历史数据中的至少1000组驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值和对应的驾驶员疲劳状态作为训练数据，以驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值作为神经网络中输入层神经元，以驾驶员的疲劳状态作为输出层神经元，预设隐藏层神经元个数，不断的对神经网络进行训练，自适应调整神经网络权值，获得驾驶员疲劳驾驶状态模型。

一种基于kinect的轨道列车驾驶员状态的实时监测和预警系统，包括：

kincet传感器采集阵列，用于采集驾驶员工作状态信息并将采集的信息发送至数据处理模块；

所述驾驶员工作状态信息包括驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；

数据处理模块，用于对采集的驾驶员工作状态信息进行检测和识别，同时将检测和识别结果发送至预警装置；

所述处理处理模块包括kinect传感器心率检测模块、kinect传感器面部图像处理模块、kinect传感器手势识别模块及kinect传感器语音识别模块；

所述检测和识别结果包括驾驶员心率、身份识别结果、闭眼时间占总测试时间的比例perclos值、手势指令信号和语音指令信号；

预警装置，用于依据数据处理模块得到的检测和识别结果数据进行预警；

若驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；

利用驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的perclos值输入驾驶员疲劳驾驶状态模型，得到驾驶员疲劳状态，若驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；

若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。

所述kinect传感器采集阵列由3组相同的kinect传感器组成，将3组kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。

所述处理模块对采集的信息处理过程如下：

所述kinect传感器心率检测模块对采集到的驾驶员彩色图像进行驾驶员心率检测；

本发明采用kinect传感器采集阵列，扩展了kinect传感器功能，同时通过kinect传感器采集阵列采集图像数据，能在驾驶员不同头部姿态任意角度获取心率数据；

所述kinect传感器面部图像处理模块对采集到的驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占总测试时间的比例perclos值；

所述kinect传感器手势识别模块对采集到的驾驶员骨骼数据和深度图像进行手势识别与匹配，获得驾驶员发出的手势指令信号；

所述kinect传感器语音识别模块对采集到的驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动作进行特征融合匹配，获取驾驶员发出的语音指令信号。

综上所述，本发明只采用一种kinect传感器实现了对列车驾驶员的全状态监测和预警，结构简单，实现了对列车驾驶员生理状态、疲劳状态和操作状态的监测，明显提高轨道列车的运营安全性。

以上内容是本发明具体实施方式的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为本发明由所提交的权利要求书确定的专利保护范围。