一种基于多视图热成像的驾驶疲劳状态检测方法

本发明涉及驾驶疲劳状态检测方法，具体涉及一种基于多视图热成像的驾驶疲劳状态检测方法。

背景技术：

1、热成像技术是指利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应，将物体发出的不可见红外能量转变为可见的热图像。热图像上面的不同颜色代表被测物体的不同温度。借助热图上的颜色可以看到温度的分布，红色、粉红表示比较高的温度，蓝色和绿色表示了较低的温度。

2、飞行员、高铁司机、动车司机，轿车司机等众多关键驾驶岗位与社会安全息息相关，疲劳驾驶会对社会安全产生严重危害。当疲劳驾驶时，新陈代谢明显的下降，消耗会有所下降，呼吸频率会有所减慢。同时疲劳驾驶时，身体可能处于放松和安静状态，血液流动速度可能会减慢，体温比正常情况下降低，亦有可能身体感冒发烧，产生的疲劳症状导致体温升温影响驾驶。

3、因此，如何精准快速的实时检测驾驶员的驾驶疲劳状态是重中之重。但当前驾驶场景普遍受到环境光场变化的干扰，例如明暗光、强光照射或者夜间无光源驾驶条件等，除此之外，个体差异使得检测难以推广使用。

技术实现思路

1、本发明目的是提供一种基于多视图热成像的驾驶疲劳状态检测方法，以解决当前驾驶场景普遍受到环境光场变化的干扰，且个体差异大，导致疲劳驾驶难以评估的技术问题。

2、为了达到上述目的，本发明采用如下技术方案：

3、一种基于多视图热成像的驾驶疲劳状态检测方法，其特殊之处在于，包括以下步骤：

4、步骤1、实时采集驾驶员的驾驶状态视图数据，通过人脸检测算法将驾驶状态视图数据划分为眼部区域、呼吸区域和面部区域，分别获取三个区域内的温度数值，组成温度数值矩阵；并分别提取三个区域内的原始视图，完成热成像信息预处理；

5、步骤2、基于生成对抗网络的热成像图像迁移单元transfer提升步骤1提取的各个原始视图的区分度，获取各个视图的图像特征信息；

6、步骤3、将步骤2获取的图像特征信息以及步骤1组成的温度数值矩阵分别传入多视图时序监测单元mlstm进行学习记忆，获得眼部区域、呼吸区域、面部区域以及温度的决策系数；

7、步骤4、将步骤3获得的所有决策系数进行决策融合，输出驾驶疲劳状态检测结果。

8、进一步地，步骤4中：

9、所述决策融合的标准是依据眼部区域的注视状态检测、呼吸区域的呼吸频率检测、面部区域温度分布检测以及温度数值矩阵检测完成。

10、进一步地，步骤4具体为：

11、通过集成学习算法对步骤3获得的眼部区域、呼吸区域、面部区域以及温度的决策系数进行计算，获取最优权重分配；基于对应权重将步骤3获得的所有决策系数进行决策融合，输出驾驶疲劳状态检测结果。

12、进一步地，其特征在于，步骤1具体为：

13、通过热成像设备实时采集驾驶员面部的驾驶状态视图数据，并将其输入计算机视觉库dlib中，通过视觉库dlib中的dlib-68库的人脸检测算法将驾驶状态视图数据分割为三个区域，分别为特征点37至40与43至46的眼部区域、特征点32至36的呼吸区域以及包含整体68个特征点的面部区域，分别获取三个区域内的温度数值，组成温度数值矩阵，所述温度数值包含各个区域内的最高温度，最低温度与平均温度；并从驾驶状态视图数据中分别提取三个区域内的原始视图，完成热成像信息预处理。

14、进一步地，步骤2具体为：

15、获取风格迁移目标图像，利用生成对抗网络的风格迁移机制，在输入端将各个原始视图与风格迁移目标图像传入generator模块，通过discriminator模块进行迭代优化并输出风格迁移后的图像特征矩阵，获取各个视图的图像特征信息。

16、进一步地，步骤2中，所述迭代优化计算过程如下：

17、

18、其中，g代表generator模块，d代表discriminator模块，x是输入热成像向量，z是高斯白噪声向量，为generator模块生成，pdata(x)为输入热成像图像分布，pz(z)为高斯白噪声向量分布，x～pdata(x)为输入热成像图像数据，z～pz(z)为高斯白噪声向量数据，ex～pdata(x)为输入热成像图像分布的数学期望，ez～pz(z)为随机噪声分布的数学期望，log为对数函数。

19、进一步地，步骤3具体为：

20、将步骤2获取的图像特征矩阵和步骤1组成的温度数值矩阵组成时序单元输入参数，将时序单元输入参数传入多视图时序监测单元mlstm，多视图时序监测单元mlstm中的长短时记忆网络的输入门接收时序单元输入参数，并进行学习记忆，之后通过长短时记忆网络的遗忘门筛选后保留特征数据，然后通过长短时记忆网络的输出门，输出决策系数，包含眼部区域、呼吸区域、面部区域以及温度的决策系数。

21、本发明的有益效果：

22、1、本发明提供的一种基于多视图热成像的驾驶疲劳状态检测方法，在可见光难以获取特征的情况下，借助热成像技术实现对面部区域的实时捕捉，使用多视图热成像信息预处理进行区域分割，从多角度进行安全信息评估，其评估结果更精准。

23、2、本发明中热成像图像迁移单元transfer用于增强热成像视图的区分度，提取特征信息更加直观，便于网络模型分析；多视图时序监测单元mlstm专门用于捕获热成像图像数据中的全局时间依赖性，可以结合个体驾驶员之前产生过疲劳的特征变化进行学习记忆，解决个体差异问题，进行时序监测，异常时进行预警。

24、3、本发明实现了三个不同视图维度融合探究，利用神经网络算法端对端的实时处理，能够迅速给出疲劳驾驶检测结果；基于多视图的模块，先后通过热成像图像迁移单元transfer与多视图时序监测单元mlstm单元处理，获得眼部区域、呼吸区域、面部区域以及温度的决策系数，再将所有决策系数一同进行决策融合，检测结果更加客观真实。

技术特征：

1.一种基于多视图热成像的驾驶疲劳状态检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多视图热成像的驾驶疲劳状态检测方法，其特征在于，步骤4中：

3.根据权利要求2所述的基于多视图热成像的驾驶疲劳状态检测方法，其特征在于，步骤4具体为：

4.根据权利要求1或2或3所述的基于多视图热成像的驾驶疲劳状态检测方法，其特征在于，步骤1具体为：

5.根据权利要求4所述的基于多视图热成像的驾驶疲劳状态检测方法，其特征在于，步骤2具体为：

6.根据权利要求5所述的基于多视图热成像的驾驶疲劳状态检测方法，其特征在于，步骤2中，所述迭代优化计算过程如下：

7.根据权利要求6所述的基于多视图热成像的驾驶疲劳状态检测方法，其特征在于，步骤3具体为：

技术总结
本发明公开了一种基于多视图热成像的驾驶疲劳状态检测方法，以解决当前驾驶场景普遍受到环境光场变化的干扰，且个体差异大，导致疲劳驾驶难以评估的问题，具体包括：步骤1、实时采集驾驶员的驾驶状态视图数据，通过人脸检测算法将其划分为眼部区域、呼吸区域和面部区域，分别获取三个区域内的温度数值，组成温度数值矩阵；并分别提取各区域内的原始视图；步骤2、基于生成对抗网络的热成像图像迁移单元Transfer提升各个原始视图的区分度，获取各视图的图像特征信息；步骤3、将图像特征信息及温度数值矩阵分别传入多视图时序监测单元MLSTM进行学习记忆，获得相应的决策系数；步骤4、将所有决策系数进行决策融合，输出驾驶疲劳状态检测结果。

技术研发人员：王荃,朱飞宇,党若琛,胡炳樑
受保护的技术使用者：中国科学院西安光学精密机械研究所
技术研发日：
技术公布日：2024/5/29