一种列车在途状态智能联动检测系统及方法

本发明涉及人工智能技术领域，特别是涉及一种列车在途状态智能联动检测系统及方法。

背景技术：

铁路轨道交通的快速发展，极大地方便了人民日常生活，促进了经济发展，同时也对列车的运营安全提出了更高的要求。目前，提高列车安全性的主要措施包括使用高度自动化的列车运行控制系统控制列车运行、研发智能化的监测装备监督列车运行状态，但对列车司机的驾驶风险几乎没有监督防护措施。铁路轨道交通列车一般采用单司机驾驶，如果在驾驶列车过程中发生司机注意力下降、打瞌睡等状况时，容易造成安全事故。因此，对列车司机驾驶状态以及室内环境进行实时监测和管理，已成为保障列车运行安全的必要手段。

现有技术中对司机状态的检测技术主要包括基于运行状态的监测技术、面向列车司机生理信号的监测技术，其中，基于运行状态的监测技术是根据车体运行状态，间接监测司机驾驶状态的方法，通过安装在车上的各种传感器监测车体运行时的相关状态指标，例如从加速度、档位、运行车道、方向盘转向角等状态的更新来推断司机的状态，由于列车运行在特定的轨道上，所以该方式不适合对铁路轨道交通列车司机的驾驶状态进行监测；面向列车司机生理信号的监测技术，主要依据生理指标来分析司机的状态，包括获取司机的脑电信号、心电信号等，虽然该方法可靠性更高，但一般需通过接触式传感器采集生理信号，适应性受限。

总的来说，上述的监测方法由于手段单一，准确率不高，不适用于城市轨道交通列车司机驾驶状态的监测。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种列车在途状态智能联动检测系统及方法，以实现列车在途状态的实时监控。

为达上述目的，本发明提出一种列车在途状态智能联动检测系统，包括：

图像采集装置，用于实时采集列车驾驶室内司机的脸部图像；

服务器，用于获取图像采集装置采集司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；获取环境监测装置实时采集的环境数据，根据环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制；

环境检测装置，用于实时采集列车驾驶室内的环境数据，并传送至服务器；

语音装置，用于接收所述服务器的告警提醒信息，并将接收到的告警提醒信息通过语音播放设备进行语音播放，以对司机进行提醒；

数据传输装置，用于图像采集装置、环境检测装置、语音装置与服务器之间的无线通信。

优选地，所述图像采集装置、环境检测装置、语音装置、数据传输装置为设置于列车驾驶室内的前端设备。

优选地，服务器进一步包括：

图像预处理单元，用于对采集的图像进行滤波降噪处理和光照补偿处理；

人脸粗定位单元，用于利用高斯肤色模型对预处理后的图像中的人脸区域进行预分割，得到肤色区域与非肤色区域分离的人脸候选图像；

人脸检测单元，用于对人脸候选图像利用adaboost算法进行人脸精准检测，采用积分图法快速得到图像的矩形特征，并通过adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，通过将弱分类器组合形成层叠的强分类器，对人脸候选图像做出判决，筛选出人脸和非人脸，确定人脸区域；

人眼区域定位单元，用于根据确定的人脸区域，运用先验知识初步确定人眼位置，然后利用模板匹配法准确定位人眼区域；

注意力判断单元，用于根据定位的人眼区域识别司机眼睛的睁闭状态，并结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。

告警提醒单元，用于根据所述注意力判断单元的判断结果产生告警提醒信息至语音装置，以通过语音装置产生告警语音提醒司机；

环境数据处理单元，用于对获取的环境数据，根据环境数据产生相应的设备控制信号，以对驾驶室内的环境实现智能控制。

优选地，所述图像预处理单元利用非线性的中值滤波法去除所采集图像中的噪声，并利用直方图均衡化处理对所采集的图像进行光照补偿。

优选地，所述人脸粗定位单元具体用于：

将预处理后的图像从rgb颜色空间转换到hsv颜色空间；

根据hsv颜色空间中h分量的阈值获取图像中的肤色区域；

通过单高斯肤色模型将所述hsv颜色空间的图像转换为肤色似然图像，对肤色似然图像进行二值分割。

获取二值分割后的肤色似然图像和所述图像的肤色区域的共同部分，排除非肤色区域，得到肤色区域和非肤色区域分离的人脸候选图像。

优选地，所述人眼区域定位单元在人脸区域运用先验知识缩小眼睛的理论位置范围，将左右眼睛的位置估计出来，然后进行模板匹配，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来确定候选区域是否为人眼区域，当相关系数大于预先设定好的阈值时判断该区域为人眼区域，否则则不是人眼位置。

优选地，所述注意力判断单元还将确定的司机状态发送至监控中心，以于监控中心输出显示司机当前状态。

优选地，所述环境数据处理单元还将获取的环境数据发送至监控中心，以于监控中心实时输出列车当前环境数据。

优选地，所述数据传输装置包括车载无线通信主机，车载无线信道单元及天线，所述车载无线通信主机为所述数据传输装置的核心，根据信息传输优先级确定传输机制，对故障告警信息采用最高优先级实时传输方式，对车辆和乘客实时状态信息采用实时传输或周期传输方式，对低优先级信息采用静止信道大容量传输方式。

为达到上述目的，本发明还提供一种列车在途状态智能联动检测方法，包括如下步骤：

步骤s1，实时利用图像采集装置采集列车驾驶室内司机的脸部图像，利用环境监测装置采集驾驶室内的环境数据，并通过数据传输装置传送至服务器；

步骤s2，服务器实时获取图像采集装置采集的司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；

步骤s3，根据获取的环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。

与现有技术相比，本发明一种列车在途状态智能联动检测系统及方法通过驾驶室内的各个环境因素进行实时监控，极大的保障了列车司机驾驶的环境需求，同时通过对列车司机的精神状态进行实时监控，减少了列车司机精神状态对列车行驶造成的危险因素，极大地保障了乘客们乘坐列车出行的人生安全，能够有效地减少列车事故发生的频率。

附图说明

图1为本发明一种列车在途状态智能联动检测系统的系统架构图；

图2为本发明具体实施例中车载无线传输平台的结构图；

图3为本发明一种列车在途状态智能联动检测方法的步骤流程图；

图4为本发明实施例中列车在途状态智能联动检测系统的工作流程图；

图5为本发明实施例中列车驾驶过程中系统监测示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种列车在途状态智能联动检测系统的系统架构图。如图1所示，本发明一种列车在途状态智能联动检测系统，包括：

图像采集装置10，用于采集列车驾驶室内司机的脸部图像，并通过数据传输装置传送至服务器20。在本发明具体实施例中，图像采集单元10采用近红外摄像头采集司机的脸部图像，以确保在不同光照条件下都能得到高质量的脸部图像，近红外摄像头可设置于司机位置的正上方，以采集司机的正面人脸图像。

服务器20，用于获取图像采集装置10采集司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；获取环境监测装置实时采集的环境数据，根据环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。

在本发明具体实施例中，服务器20进一步包括：

图像预处理单元201，用于对采集的图像进行滤波降噪处理和光照补偿处理。在本发明具体实施例中，图像预处理单元201用非线性的中值滤波法去除所采集图像中的噪声，同时，利用直方图均衡化处理对所采集的图像进行光照补偿。由于滤波降噪处理和光照补偿等预处理技术采用的均为现有技术，在此不予赘述。

人脸粗定位单元202，用于利用高斯肤色模型对预处理后的图像中的人脸区域进行预分割，得到肤色区域与非肤色区域分离的人脸候选图像。

在本发明具体实施例中，利用高斯肤色模型进行人脸区域预分割的过程如下：

首先，将预处理后的图像从rgb颜色空间转换到hsv颜色空间。

由于在rgb颜色空间中，三个颜色分量都包含亮度信息且存在相关性，对亮度适应性差，hsv颜色空间中色度、亮度、饱和度可很好地分离，且与非肤色点重叠的较少，因此在本发明中，为更好地实现人脸区域检测，将图像从rgb颜色空间转换到hsv颜色空间。

其次，根据hsv颜色空间中h分量的阈值获取图像中的肤色区域。

由于hsv颜色空间中h分量对图像的肤色区域聚合程度较好，与人感受颜色的方式一致，可以更准确地反映目标的色彩性质，能降低图像对亮度变化的敏感性，因此，在本发明中，根据hsv颜色空间中h分量的阈值获取图像中的肤色区域。在本发明具体实施例中，分离图像在hsv颜色空间的三个分量，选择h分量作为肤色分割特征，得到去除非肤色区域的图像i1，h分量满足阈值范围h∈[a,b]，则认为是肤色区域，否则是非肤色区域，其中a,b为经验值。

然后通过单高斯肤色模型将所述hsv颜色空间的图像转换为肤色似然图像，对肤色似然图像进行二值分割，得到图像i2。

最后，获取二值分割后的肤色似然图像和所述图像的肤色区域的共同部分，排除非肤色区域，得到肤色区域和非肤色区域分离的人脸候选图像。

人脸检测单元203，用于对人脸候选图像利用adaboost算法进行人脸精准检测，采用积分图法快速得到图像的矩形特征(haar特征)，并通过adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，通过将弱分类器组合形成层叠的强分类器，对人脸候选图像做出判决，筛选出人脸和非人脸，确定人脸区域。

adaboost算法自提出后就在机器学习领域受到了极大的关注，自将其引入人脸检测问题后，国内外许多学者在此基础上对其作了研究和改进，使其人脸检测更加迅速和准确，从而现在adaboost算法已成为人脸检测的主流算法，其具体过程在此不予赘述。

人眼区域定位单元204，用于根据确定的人脸区域，运用先验知识初步确定人眼位置，然后利用模板匹配法准确定位人眼区域。

模板匹配方法的主要思路就是在图像灰度层次上直接比较目标模板和候选图像区域之间的相关性，计算二者之间的相关系数。在本发明具体实施例中，人脸检测单元104已通过adaboost算法找到人脸区域，因此可在此基础上运用先验知识缩小眼睛的理论位置范围，将左右眼睛的位置估计出来，然后进行模板匹配，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来确定候选区域是否为人眼区域，当相关系数大于预先设定好的阈值时判断该区域为人眼区域，否则则不是人眼位置。

注意力判断单元205，用于根据定位的人眼区域识别司机眼睛的睁闭状态，并结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。在本发明具体实施例中，注意力判断单元205通过计算眼睛长宽比(ear，eyeaspectratio)确定司机眼睛的睁开度，并根据睁开度的变化判断司机的状态，一般来说，当人眼睁开时，ear在某个值上下波动，当人眼闭合时，ear迅速下降，理论上会接近于零，睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算最长闭眼时间(可用帧数来代替)、闭眼次数为进入闭眼、进入睁眼的次数，并通过设定单位时间内闭眼次数、闭眼时间的阈值判断人是否已经疲劳。

优选地，注意力判断单元205还将确定的司机状态发送至监控中心，以于监控中心输出显示，便于监控中心工作人员监控，例如注意力判断单元205判断出当前司机正处于清醒驾驶的状态之中，则将其状态传送至监控中心，于监控中心显示“状态良好”，若判断出当前司机精神状态萎靡，注意力不集中等状态，则于监控中心显示“状态差”。

告警提醒单元206，用于根据注意力判断单元205的判断结果产生告警提醒信息至语音装置40，以通过语音装置40产生告警语音提醒司机。

环境数据处理单元207，用于对获取的环境数据，根据环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。例如当获取的环境数据中温度超过预设阈值时，则产生控制信号至驾驶室内的空调，以调节降低驾驶室内的温度，同时，环境数据处理单元207还将获取的环境数据发送至监控中心，以于监控中心输出显示，便于监控中心工作人员监控。

环境检测装置30，用于实时采集列车驾驶室内的温度、湿度、烟雾浓度等环境数据，并通过数据传输装置传送至服务器20。

在本发明具体实施例中，环境检测装置30通过温度传感器、湿度传感器以及烟雾传感器等传感器实时采集环境数据，将采集的环境数据通过数据传输装置传输至服务器。

语音装置40，用于接收服务器20的告警提醒信息，并将接收到的告警提醒信息通过语音播放设备进行语音播放，以对司机进行提醒。例如当注意力判断单元205判断出当前司机的精神状态不集中，则告警提醒单元206产生告警提示信息“你已疲劳驾驶，请更换司机驾驶”进行告警提醒，所述告警提示信息可以是预先设置的信息，也可以是告警提醒单元206接收监控中心工作人员的提醒信息，在此不做限制。

数据传输装置50，用于图像采集装置10、环境检测装置30、语音装置40与服务器20之间的无线通信。

在本发明具体实施例中，如图2所示，数据传输装置50由车载无线通信主机，车载无线信道单元及天线组成，其中车载无线信道单元及天线包括车载实时信道单元、车载实时信道天线、车载静止信道单元和车载静止天线。车载无线通信主机是整个数据传输装置的核心，它根据信息传输优先级确定传输机制，对故障告警信息采用最高优先级实时传输方式，对车辆和乘客实时状态信息采用实时传输或周期传输方式，对低优先级信息采用静止信道大容量传输方式。对需要传输的数据进行打包和缓存，并分发到相应的信道单元，对实时信道单元、静止信道单元进行控制，自动均衡实时无线信道与大容量静止信道的传输资源，实现列车在途状态信息向地面监控中心的实时传输。

图3为本发明一种列车在途状态智能联动检测方法的步骤流程图。如图3所示，本发明一种列车在途状态智能联动检测方法，包括如下步骤：

步骤s1，实时利用图像采集装置采集列车驾驶室内司机的脸部图像，利用环境监测装置采集驾驶室内的环境数据，并通过数据传输装置传送至服务器。

在本发明具体实施例中，图像采集装置采用近红外摄像头采集司机的脸部图像，以确保在不同光照条件下都能得到高质量的脸部图像，近红外摄像头可设置于司机位置的正上方，以采集司机的正面人脸图像。

环境检测装置30通过温度传感器、湿度传感器以及烟雾传感器等传感器实时采集环境数据，将采集的环境数据通过数据传输装置传输至服务器。

步骤s2，服务器实时获取图像采集装置采集的司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒。

具体地，步骤s2进一步包括：

步骤s200，对采集的图像进行滤波降噪处理和光照补偿处理。在本发明具体实施例中，利用非线性的中值滤波法去除所采集图像中的噪声，同时，利用直方图均衡化处理对所采集的图像进行光照补偿。由于滤波降噪处理和光照补偿等预处理技术采用的均为现有技术，在此不予赘述。

步骤s201，利用高斯肤色模型对预处理后的图像中的人脸区域进行预分割，得到肤色区域与非肤色区域分离的人脸候选图像。

在本发明具体实施例中，利用高斯肤色模型进行人脸区域预分割的过程如下：

首先，将预处理后的图像从rgb颜色空间转换到hsv颜色空间。

由于在rgb颜色空间中，三个颜色分量都包含亮度信息且存在相关性，对亮度适应性差，hsv颜色空间中色度、亮度、饱和度可很好地分离，且与非肤色点重叠的较少，因此在本发明中，为更好地实现人脸区域检测，将图像从rgb颜色空间转换到hsv颜色空间。

其次，根据hsv颜色空间中h分量的阈值获取图像中的肤色区域。

由于hsv颜色空间中h分量对图像的肤色区域聚合程度较好，与人感受颜色的方式一致，可以更准确地反映目标的色彩性质，能降低图像对亮度变化的敏感性，因此，在本发明中，根据hsv颜色空间中h分量的阈值获取图像中的肤色区域。在本发明具体实施例中，分离图像在hsv颜色空间的三个分量，选择h分量作为肤色分割特征，得到去除非肤色区域的图像i1，h分量满足阈值范围h∈[a,b]，则认为是肤色区域，否则是非肤色区域，其中a,b为经验值。

然后通过单高斯肤色模型将所述hsv颜色空间的图像转换为肤色似然图像，对肤色似然图像进行二值分割，得到图像i2。

最后，获取二值分割后的肤色似然图像和所述图像的肤色区域的共同部分，排除非肤色区域，得到肤色区域和非肤色区域分离的人脸候选图像。

步骤s202，对人脸候选图像利用adaboost算法进行人脸精准检测，采用积分图法快速得到图像的矩形特征(haar特征)，并通过adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，通过将弱分类器组合形成层叠的强分类器，对人脸候选图像做出判决，筛选出人脸和非人脸，确定人脸区域。

步骤s203，根据确定的人脸区域，运用先验知识初步确定人眼位置，然后利用模板匹配法准确定位人眼区域。

模板匹配方法的主要思路就是在图像灰度层次上直接比较目标模板和候选图像区域之间的相关性，计算二者之间的相关系数。在本发明具体实施例中，步骤s202已通过adaboost算法找到人脸区域，因此可在此基础上运用先验知识缩小眼睛的理论位置范围，将左右眼睛的位置估计出来，然后进行模板匹配，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来确定候选区域是否为人眼区域，当相关系数大于预先设定好的阈值时判断该区域为人眼区域，否则则不是人眼位置。

步骤s204，根据定位的人眼区域识别司机眼睛的睁闭状态，并结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。在本发明具体实施例中，通过计算眼睛长宽比(ear，eyeaspectratio)确定司机眼睛的睁开度，并根据睁开度的变化判断司机的状态，一般来说，当人眼睁开时，ear在某个值上下波动，当人眼闭合时，ear迅速下降，理论上会接近于零，睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算最长闭眼时间(可用帧数来代替)、闭眼次数为进入闭眼、进入睁眼的次数，并通过设定单位时间内闭眼次数、闭眼时间的阈值判断人是否已经疲劳。

优选地，当判断出司机的注意力集中程度后，还将确定的司机状态发送至监控中心，以于监控中心输出显示，便于监控中心工作人员监控，例如判断出当前司机正处于清醒驾驶的状态之中，则将其状态传送至监控中心，于监控中心显示“状态良好”，若判断出当前司机精神状态萎靡，注意力不集中等状态，则于监控中心显示“状态差”。

步骤s205，用于根据步骤s204的判断结果产生告警提醒信息至语音装置，以通过语音装置产生告警语音提醒司机。

步骤s3，根据获取的环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。

实施例

在本实施例中，在列车司机室内安装有红外高清摄像头、语音装置、环境检测装置以及数据传输装置等前端设备，如图4所示，系统利用红外高清摄像头对司机的面部，行为动作进行图像采集以及利用环境检测装置，例如温度、湿度、烟雾传感器采集司机室内的温度、湿度、烟雾浓度等数据，并将这些数据实时传输至服务器，服务器将会对传输来的数据进行分析，根据采集到的司机面部、行为动作等数据对司机的精神状态得出判断结果，同时通过交换机将结果反应到监控大厅，以达到对司机精神状态实时监控的目的。

在驾驶过程中，如图5所示，系统会时刻记录判断驾驶司机的精神状态，并将状态判断实时反馈显示在监控大厅上，在行使过程中，如果司机以精神饱满的状态进行驾驶，系统会在监控中心显示“状态良好”表示此时司机正处于清醒驾驶的状态之中，如果此时司机的精神状态萎靡，出现疲劳，注意力不集中等状态时，系统便会在监控中心显示“状态差”表示此时司机的精神状态并不适合驾驶列车，同时驾驶室内的语音系统也会对司机发出语音提醒，警告司机此时应该需要换人驾驶，及时休息，以此保证司机在驾驶过程中的精神状态，极大的保障了乘客们的生命安全。

系统还通过环境监测装置对司机室内的环境进行监控，以达到司机室内的一个环境舒适要求，同时，系统还可对司机室内的环境进行智能控制，例如链接空调等设备，将室内的温度、达到一个舒适的要求状态，进而可以保证为司机驾驶提供一个舒适的环境。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。