一种潜艇艇员警觉性监测方法、设备和系统与流程

本发明属于人机交互设备领域，具体涉及一种潜艇艇员警觉性监测方法、设备和系统。

背景技术：

1、警觉性即作业人员执行典型任务过程中，长时间维持注意监控是否出现异常目标或异常情况，并及时对异常目标或异常情况的性质与紧急程度作出判断的能力。

2、潜艇长航过程中，潜艇艇员需要长期战备值班，艇员警觉性随着出航时间出现呈现衰减趋势，且单次值班过程中艇员警觉性也会随着值班时间下降，并对艇员持续作业效能发挥造成不利影响，在执行任务过程中，通过非干扰的方式监测艇员警觉性，并根据艇员警觉性状态进行提示，对指导艇员警觉性干预调节、艇员维持潜艇人机工效具有重要意义。目前已有的警觉性意测量范式主要包括认知测试、主观测评、行为监测(眼部行为、面部表情)、神经生物信号监测(眼电、脑电、心电、皮电等)。其中，认知测试与主观评估需要打断受测者的当前执行的任务，不适用于实际执行任务过程中的人员警觉性监测；脑电、心电、皮电信号测量需要长时间佩戴专用数据采集设备，会导致艇员生理不适。基于眼部行为、面部表情、操作行为的行为监测信号已经用于驾驶员、飞行员警觉性监测，但是潜艇艇员与驾驶员、飞行员的任务环境与任务特征均存在一定差异。但是，潜艇显控台上下屏幕布局使得艇员的头动和眼部行为特征与驾驶员、飞行员眼部行为以及头动噪声均呈现出不同特征，且现有的商用和科研用眼动仪主要针对水平视角展开，无法适用于纵向屏幕或者上下屏幕等纵向广角较大的监测情境，导致不能应用现有眼动和面部表情监测模型和工具对艇员警觉性进行监测。

3、基于眼动特征的警觉性监测方法，通常使用眼睛式、桌面式、条带式眼动仪采集作业人员眼动特征数据，但是眼睛式的眼动仪对人员有一定的干扰，而桌面式与条带式的眼动仪可监测的纵向广角无法满足上下屏幕的纵向大广角监测需求。基于脑电的警觉性监测方法通过监测作业人员脑电信号对作业人员的警觉性和疲劳程度监测存在对作业人员和任务干扰强、信号易受外界干扰对环境要求高、不适用于长时间持续监测等问题。

4、此外，上述方法均属于单一类型的指标监测，其准确性较低。

技术实现思路

1、为解决上述技术问题，本发明提供一种潜艇艇员警觉性监测方法、设备和系统，基于多源生理特征监测，实现从上下多屏幕多广角采集艇员生理特征数据，通过融合敏感性的指标实现艇员警觉性的有效监测。

2、本发明的目的是通过以下技术方案实现的，一种潜艇艇员警觉性监测方法，包括以下步骤：

3、步骤1、采集潜艇艇员执行任务过程中多视角下的眼动行为、面部表情、心率信号特征数据；

4、步骤2、对步骤1采集到的特征数据进行预处理，提取对警觉性敏感的特征指标；

5、步骤3、根据步骤2得到的警觉性敏感特征数据，分别计算眼动行为警觉性疲劳分数、面部表情警觉性疲劳分数和心率信号警觉性疲劳分数；

6、步骤4、根据步骤3的计算结果，计算警觉性疲劳综合监测分数。

7、优选的，步骤2中，眼动行为和面部表情对应的警觉性敏感特征指标提取至少包括以下步骤：

8、步骤2.1、通过三维仿真建模，整合采集的眼动行为和面部表情原始图像，得到整合图像：

9、步骤2.1.1、对采集的眼动行为数据和面部表情数据进行预处理；

10、步骤2.1.2、时间同步，通过时间戳校准或同步信号应用，使所有眼动行为采集数据在时间上保持一致，并使所有面部表情采集数据在时间上保持一致；

11、步骤2.1.3、空间校准，将不同视角下采集的眼动行为和面部表情图像数据对齐至统一的坐标系中；

12、步骤2.1.4、基于机器学习算法进行对眼动行为和面部表情图像数据进行数据融合，构建三维仿真模型，获得整合后的眼部行为整合图像和面部表情整合图像；

13、步骤2.2、从实时获取的眼动行为整合图像和面部表情整合图像中，提取眼动行为警觉性敏感性特征和面部表情警觉性敏感性特征。

14、优选的，步骤2中，心率信号警觉性敏感特征提取至少包括以下步骤：

15、心率数据采集通过实时采集ppg信号实现，对于实时采集的ppg信号，采用最大不重叠小波分解的方法对其进行分解，去除体动伪影，使用带通滤波、中值滤波完成信号预处理，提取心率信号周期特征，根据心率信号周期特征进行心率警觉性敏感性特征提取。

16、优选的，步骤3中，眼动行为警觉性疲劳分数asi通过下式计算：

17、asi＝a-aw1iavi+aw2iadi

18、式中，a为常量，aw1i、aw2i为眼动移动速度和平均瞳孔直径的权重；avi为眼动移动速度，adi为平均瞳孔直径。

19、优选的，步骤3中，面部表情警觉性疲劳分数bsi采用下式计算：

20、bsi＝b+bw1ib1i+bw2ib2i...+bwnibni

21、式中，b为常量，bw1i……bwni为面部表情敏感性特征的权重，各权重值可以为正，也可以为负，n表示面部表情敏感性特征值的数量。

22、优选的，步骤3中，心率信号警觉性疲劳分数csi通过下式计算：

23、csi＝c+cw1ic1i+cw2ic2i…+cwnicni

24、式中，c为常量，cw1i……cwni为心率信号敏感性特征的权重，各权重值可以为正，也可以为负，n表示心率信号敏感性特征值的数量。

25、优选的，步骤4中，警觉性疲劳综合监测分数ssi通过下式计算：

26、

27、式中，wai为眼动行为警觉性疲劳分数权重、wbi为面部表情行为警觉性疲劳分数权重、wci为心率信号警觉性疲劳分数权重。

28、本发明除了提供一种潜艇艇员警觉性监测方法，还提供一种用于实现上述警觉性监测方法的设备，该设备包括：

29、多个眼动行为采集设备，设置在眼部采集区域内不同方位。

30、多个面部表情采集设备，设置在面部表情采集区域内不同方位。

31、心率信号采集终端，实时采集艇员心率数据。

32、数据处理终端，与眼动行为采集设备、面部表情采集设备和心率信号采集终端有线或无线连接，接收上述设备采集的原始数据，根据预制程序，对原始数据进行特征提取与融合，并计算得到警觉性疲劳综合监测分数。

33、显示终端，设置在舱室内部，实时显示数据处理终端得到的警觉性疲劳综合监测分数。

34、优选的，眼动行为采集设备和面部表情采集设备在对应采集区域内设置的方位至少包括：左上、右上、左中、右中、左下和右下。

35、本发明还提供一种潜艇艇员警觉性监测系统，用于实现上述潜艇艇员警觉性监测方法，该系统包括：

36、警觉性生理行为特征采集模块，获取警觉性生理行为采集设备采集的眼动行为、面部表情、心率信号特征数据，输出至警觉性敏感性特征提取融合模块。

37、警觉性敏感性特征提取融合模块，接收输入的眼动行为、面部表情、心率信号特征数据，进行特征提取与融合，提取对警觉性敏感的特征，输出至警觉性状态提示模块。

38、警觉性状态提示模块，根据输入的警觉性敏感的特征，计算警觉性疲劳综合监测分数，并输出至显示终端，根据监测分数给予对应提示。

39、与现有技术相比，本发明具备以下优点：

40、本发明提供的一种潜艇艇员警觉性监测方法、设备和系统，通过多源眼动行为终端和面部表情行为终端采集使用纵向屏幕和上下屏的潜艇艇员执行任务过程中的眼动行为数据，并通过三维方正建模获得整合的眼动行为和面部表情图像，基于整合的眼动行为和面部表情图像进行警觉性敏感性特征提取，实现了从上下多屏幕多广角采集艇员生理特征数据采集，提升了艇员警觉性的监测有效性。本发明采用眼动行为、面部表情及心率信号灯对艇员及其正在执行的任务进行无干扰监测，实现了长时间非干扰监测，通过多源眼动、多源面部表情融合心率信号的多源指标融合互补，提升了警觉性监测准确性。