一种基于注意力估计的多信息融合疲劳检测方法与流程

本发明主要涉及疲劳检测领域，具体涉及一种基于注意力估计的多信息融合疲劳检测方法。

背景技术：

1、空中战场环境复杂多变，飞行员面临复杂多变的作战任务，需要关注的信息量显著增加，因此人机界面系统正在向多通道融合交互方向发展，且军机对于飞行任务要求更为严苛，对于飞行员的专注度有极高的要求，所以如何准确的检测飞行员疲劳状态就变得十分迫切。

2、目前成熟的疲劳检测手段和标准多应用于地面交通，如大众蔚来等一些车型辅助疲劳驾驶检测系统以提升驾驶安全性和体验度，但在航空领域仍缺乏简单的适用于复杂飞行环境下准确检测人体疲劳程度的有效措施，因此实现军机飞行员疲劳状态的快速准确检测具有重要意义。

3、疲劳状态检测及预警对于提高驾驶的安全性具有重大意义，目前主流的疲劳检测方法大致分为三类：基于生理信号，基于操作行为和车辆特征以及基于视觉特征这三种检测方法。

4、基于生理信号检测方法被称为是目前最精确、最可靠的检测方式，但是由于穿戴麻烦，成本昂贵，不利于普遍开发使用，同时穿戴设备可能会对驾驶员的操作产生一定影响，不适用于狭小空间及高危场景使用。

5、基于操作行为和车辆特征检测方法不需要驾驶员佩戴入侵式设备，但是受其他因素的影响也比较大，普适性较差，并不适用于飞行疲劳检测。

6、基于视觉特征检测方法是目前主流的疲劳检测方法，但是准确性和实时性都有待提高,并且目前在军机领域并没有有效的疲劳检测手段.研究发现，在打哈欠等疲劳症状出现前，会有一段时间的注意力分散阶段，针对于此，我们设计了一种基于注意力的多信息融合疲劳检测方法，对当前疲劳状态进行检测，同时适应特殊的疲劳检测场景，提高疲劳检测的准确性。

技术实现思路

1、1.发明要解决的问题

2、本发明的提供了一种基于注意力估计的多信息融合疲劳检测方法，用于解决上述背景技术中提到的疲劳检测准确性不足的技术问题。

3、2.技术方案

4、为达到上述目的，本发明提供的技术方案为：一种基于注意力估计的多信息融合疲劳检测方法，包括如下步骤：

5、步骤1.通过人脸检测算法进行人脸检测。

6、步骤2.在捕捉人脸基础上，由人脸特征点评估的方法进行特征点对齐。

7、步骤3.根据特征点分别提取眼部和嘴部特征点，计算眼睛纵横比和嘴巴纵横比，判断开合状态。

8、步骤4.根据凝视估计判断注视方向，结合仪表板形成注意力判别机制。

9、步骤5.综合眼睛纵横比，嘴巴纵横比和注意力判别机制分别符合疲劳阈值下的帧数在单位时间内占总帧数的比例，加权相加，与疲劳判定阈值进行对比，做出疲劳判断。

10、进一步的，所述人脸检测算法基于回归树集合的面部特征点检测算法得到了68个驾驶员面部特征点。

11、进一步的，所述眼睛纵横比的原始数据包括有p1、p2、p3、p4、p5和p6，其具体计算公式如下：

12、

13、式中p1和p6为面部特征点的二维坐标向量，分子计算的是上眼睑与下眼睑之间的垂直距离，分母计算是眼角之间的水平距离。

14、进一步的，所述嘴巴纵横比的原始数据包括有m1、m2、m3、m4、m5、m6、m7和m8，其具体计算公式如下：

15、

16、式中m1-m8为嘴部形状中的内轮廓点的二维向量坐标，分子计算的是上嘴唇与下嘴唇之间的垂直距离，分母计算是嘴角之间的水平距离。

17、进一步的，所述仪表板上分别划分有编号为1、2、3、4和5的五个区域，其中区域1和2为注意力集中状态，剩余区域3、4和5定义为注意力不完全状态。

18、进一步的，还包括有如下参数：

19、l1为眼部疲劳帧数：

20、

21、l2为嘴部疲劳帧数：

22、

23、l3为注意力疲劳帧数：

24、

25、进一步的，所述疲劳检测函数具体如下：

26、

27、其中α、β、γ分别为l1、l2、l3所占权重，根据场景可设置不同参数，使检测具有针对性。

28、进一步的，所述l1基于国际perclos疲劳判断标准，其具体如式：

29、

30、式中frameclose为被检测视频中，驾驶员眼睛闭合的帧数，framesum为单位时间内视频中获取的总帧数。

31、进一步的，所述l2的嘴部疲劳帧数通过设定阈值mar的打哈欠检测方法对每个人的数据集打哈欠视屏进行打哈欠检测，比较实际打哈欠情况，对mar阈值做出判断与调整。

32、进一步的，所述l3的注意力疲劳帧数为注意力不完全与注意力分散综合，其中l3＝0.4fi+fs，fi为单位时间内注意力不完全的帧数，fs为单位时间内注意力分散的帧数，当单位时间内f(x)大于我们设定的阈值时，我们判定此时为疲劳状态，同时触发预警。

33、3.有益效果

34、采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

35、本发明提供了一种基于注意力估计的多信息融合疲劳检测方法，基于注意力机制的多信息融合疲劳检测系统，相比于单一信息和眼睛嘴巴两种信息检测拥有更高的准确度，此外由于注意力机制的加入，可以在疲劳哈欠眯眼前进行初步检测，提高驾驶安全性，初步满足飞行驾驶及模拟驾驶训练疲劳检测。

36、该装置中未涉及部分均与现有技术相同或可采用现有技术加以实现。

技术特征：

1.一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述人脸检测算法基于回归树集合的面部特征点检测算法得到了68个驾驶员面部特征点。

3.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述眼睛纵横比的原始数据包括有p1、p2、p3、p4、p5和p6，其具体计算公式如下：

4.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述嘴巴纵横比的原始数据包括有m1、m2、m3、m4、m5、m6、m7和m8，其具体计算公式如下：

5.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述仪表板上分别划分有编号为1、2、3、4和5的五个区域，其中区域1和2为注意力集中状态，剩余区域3、4和5定义为注意力不完全状态。

6.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：还包括有如下参数：

7.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述疲劳检测函数具体如下：

8.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述l1基于国际perclos疲劳判断标准，其具体如式：

9.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述l2的嘴部疲劳帧数通过设定阈值mar的打哈欠检测方法对每个人的数据集打哈欠视屏进行打哈欠检测，比较实际打哈欠情况，对mar阈值做出判断与调整。

10.根据权利要求1所述的一种基于注意力估计的多信息融合疲劳检测方法，其特征在于：所述l3的注意力疲劳帧数为注意力不完全与注意力分散综合，其中l3＝0.4fi+fs，fi为单位时间内注意力不完全的帧数，fs为单位时间内注意力分散的帧数，当单位时间内f(x)大于我们设定的阈值时，我们判定此时为疲劳状态，同时触发预警。

技术总结
本发明提供一种基于注意力估计的多信息融合疲劳检测方法，包括如下步骤：步骤1.通过人脸检测算法进行人脸检测；步骤2.在捕捉人脸基础上，由人脸特征点评估的方法进行特征点对齐；步骤3.根据特征点分别提取眼部和嘴部特征点，计算眼睛纵横比和嘴巴纵横比，判断开合状态；步骤4.根据凝视估计判断注视方向，结合仪表板形成注意力判别机制；步骤5.综合眼睛纵横比，嘴巴纵横比和注意力判别机制分别符合疲劳阈值下的帧数在单位时间内占总帧数的比例，加权相加，与疲劳判定阈值进行对比，做出疲劳判断，基于注意力机制的多信息融合疲劳检测系统，可以在疲劳哈欠眯眼前进行初步检测，提高驾驶安全性，解决疲劳检测准确性不足的技术问题。

技术研发人员：仝文超,章小兵,王凯旋
受保护的技术使用者：中航华东光电有限公司
技术研发日：
技术公布日：2024/1/15