基于非接触式眼动信号的驾驶脑力负荷预测方法及系统

本发明属于辅助驾驶，具体涉及基于非接触式眼动信号的驾驶脑力负荷预测方法及系统。

背景技术：

1、车辆驾驶系统是由驾驶员、车辆及交通环境构成的高度耦合的人机交互系统，驾驶员在长时驾驶过程中需要付出大量的认知资源来维持良好的驾驶表现。持续的认知资源付出容易产生脑力负荷；而随着驾驶时间的延长，脑力负荷很容易进入到过载的水平，进而引起大脑疲劳，注意力涣散，容易增加驾驶安全风险，诱发交通事故。因此，如何评估和预测驾驶人员在长时驾驶过程中的脑力负荷变化对保障驾驶安全有重要作用。由于脑力负荷可以通过多种模态的生理信号进行表征，通过融合驾驶人员驾驶过程中的生理数据，建模机器学习测评模型，是目前最为主流的驾驶人员脑力负荷评估方法。这些基于实验数据建立的方法具有较好的可靠性、可信度和鲁棒性，为驾驶安全及交通安全研究提供理论及方法基础。然而，这些方法技术仍普遍存在以下几个重要缺点。

2、首先，现有技术普遍使用多种生理模态进行建模评估，且多通过穿戴式传感器采集数据，导致数据获取困难，计算难度大。例如，专利号为“cn200910093545.0”的名为“汽车驾驶员驾驶工作负荷测量方法”的中国发明专利中，该方案利用驾驶员生理、心理和驾驶行为来表征驾驶员驾驶工作负荷。此发明需要采集驾驶员的脑电、心电、呼吸、皮肤等生理信号，并以此来构建脑力负荷评估模型。专利号为“cn113627740a”的名为“一种驾驶负荷评价模型构建系统及构建方法”的中国发明专利中，该方案通过采集驾驶人员的生理信号、车辆操纵信号和驾驶行为信号，基于这些信号指标去构建驾驶人员的脑力负荷评估模型。尽管将可以表征脑力负荷的生理模态数据都加入模型中训练可以提高评估准确率，但各种生理信号需要通过繁杂的穿戴式传感器获取，数据处理也十分复杂。其中，数据获取使得驾驶人员必须佩戴较多的生理信号采集设备，会造成接触式侵入，这些设备集合在一起较为笨重，在实际驾驶过程中会影响驾驶操作和舒适性，造成安全风险，因此不能得到有效应用。例如，驾驶人员在佩戴脑电信号采集设备时，多电极的脑电信号采集可能会干扰驾驶员的舒适度和活动自由，带来安全问题；其次外部环境和头部运动的干扰会降低信号的清晰度和可靠性。

3、其次，现有技术基本都是基于静态视角对驾驶人员的脑力负荷进行评估，未考虑长时驾驶过程中脑力负荷的时变特征(即，随着时间脑力负荷会因人员状态、任务和环境状态的改变而动态变化)，表征脑力负荷的生理指标与脑力负荷的关系也会发生变化，这导致在静态视角下建立的脑力负荷评估模型在实际的动态驾驶应用过程中出现可靠性不足、准确性降低等问题。例如，现有技术多通过使用较短时期的驾驶数据训练相关的模型，以此来预测驾驶人员的脑力负荷。但是在现实生活中驾驶人员往往执行的是长时驾驶任务，在经过长时驾驶任务后，脑力负荷与生理信号的对应关系相对于早期可能已经发生了一定的变化。但若还是使用早期数据训练的模型进行脑力负荷评估，显然会造成评估结果的准确性降低。因此在构建模型时，考虑时间因素作为修正因子是有必要的。

4、最后，现有技术通常采用分类模型来评估驾驶员的脑力负荷，这种分类模型存在测评精度不高的问题，难以满足对脑力负荷更为精细化测评的实际需求。分类模型中的分类等级仅表示脑力负荷处于某个范围内，而分类模型对该范围内的最低值与最高值输出相同的结果，但实际上这两个值代表的脑力负荷存在一定差异，这在现实的驾驶领域应用中很容易误导驾驶人员，从而导致驾驶人对自身是否适合继续驾驶做出不恰当的判断。

5、因此，本发明提出一种基于非接触式眼动信号的长时驾驶脑力负荷动态预测方法，本方法采用回归预测方法，并通过引入时序信息考虑脑力负荷的时变特征，能够构建更加精细的脑力负荷回归预测模型，能够实现更为精确的脑力负荷评估，在实际应用中有更好的灵敏度和精确度，继而解决上述现有技术存在的问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了基于非接触式眼动信号的驾驶脑力负荷预测方法及系统，本方法采用眼动信号这一单一模态进行长时驾驶脑力负荷动态预测，建立的脑力负荷回归预测模型能对脑力负荷进行精确预测，克服了现有脑力负荷评估方法和系统对设备和计算资源需求大的缺点，解决了现有脑力负荷预测方法中存在的数据获取困难、计算难度大、基于静态视角对驾驶人员的脑力负荷进行评估、未考虑长时驾驶过程中脑力负荷的时变特征以及测评精度不高等问题。

3、(二)技术方案

4、为实现上述对脑力负荷进行精确预测的目的，本发明提供如下技术方案：

5、本发明提供第一种方案：基于非接触式眼动信号的驾驶脑力负荷预测方法，包括：

6、步骤1：采集驾驶员的眼动时序数据；

7、步骤2：对采集的眼动时序数据进行预处理及时序信号特征提取，并考虑脑力负荷的时变特征，提取时序信息作为特征变量；

8、其中：眼动时序信号包括眼动点、注视点、瞳孔以及眨眼指标；

9、步骤3：构建脑力负荷回归预测模型

10、基于眼动信号特征和时序信息特征使用线性回归、神经网络和高斯过程回归的机器学习回归算法分别对驾驶员的脑力负荷进行预测，并确定高斯过程回归模型作为脑力负荷回归预测模型；

11、步骤4：利用脑力负荷回归预测模型计算脑力负荷预测值，并通过驾驶辅助决策模块提醒驾驶员脑力负荷水平及提出对应驾驶建议。

12、作为本发明优选的实施方式之一，眼动点处理过程包括：

13、(1)数据插值：设最大间隔长度为75ms，小于该最大间隔的信号缺失通过线性插值的方法进行数据补偿，线性插值公式为：

14、

15、其中，坐标(x1,y1)与(x0,y0)为插值区间两端点的值，坐标(x,y)代表需要插值区间的各个插值点；

16、(2)数据降噪：使用滑动均值滤波方法进行数据降噪。

17、作为本发明优选的实施方式之一，注视点提取过程包括：

18、(1)设置角速度计算窗口长度为20ms，角速度阈值为30°/s。角速度大于30°/s时归类为眼跳，小于或等于30°/s时归类为注视点；

19、(2)设置注视点间最大时间阈值为75ms、注视点间最大角速阈值为0.5°；当两个相邻注视点间的间隔低于75ms、间隔角度低于0.5°时，将两个相邻的注视点合并为一个；

20、(3)设置最短注视时间阈值为60ms，将注视时长低于该阈值的注视点删除。

21、作为本发明优选的实施方式之一，瞳孔处理过程包括：

22、(1)数据插值：设定最小瞳孔直径为2mm，将小于该最小瞳孔直径的数据定义为异常值并进行剔除，异常值剔除后使用线性插值的方法进行线性插值处理；

23、(2)数据降噪：使用滑动均值滤波方法进行数据降噪。

24、作为本发明优选的实施方式之一，眨眼处理的过程包括：

25、(1)设置最大时间阈值为350ms，最小时间阈值为75ms；当左右眼同时闭合，且闭合时间长度在75ms-350ms之间的，归类为眨眼；

26、(2)完成眼动数据的预处理后，使用相关系数法获取与脑力负荷相关度高的眼动特征；

27、在使用相关系数法获取与脑力负荷相关度高的眼动特征的过程中：考虑脑力负荷的时变特征，将提取的眼动信号进行时序标记，并将该时序信息作为补充特征变量；该时序信息通常默认为是采集眼动数据时的驾驶时长。

28、作为本发明优选的实施方式之一，在步骤3中，在使用线性回归、神经网络和高斯过程回归的机器学习回归算法对驾驶员的脑力负荷进行预测时，分别通过比较线性回归模型、神经网络模型和高斯过程回归模型的决定系数r2、均方根误差rmse和平均绝对误差mae确定最优模型，其中：

29、

30、其中，为脑力负荷的预测值，y为脑力负荷的观测值，为脑力负荷观测值的平均值，n为样本数量。

31、作为本发明优选的实施方式之一，在建立线性回归模型、神经网络模型和高斯过程回归模型前，需进行对步骤2提取的眼动输入特征进行特征转换，特征转换的方法具体为：

32、

33、其中：x为输入的特征；xmean为特征的均值；xstddev为特征的标准差；xstd为标准化后的结果。

34、作为本发明优选的实施方式之一，高斯过程回归模型的构建过程包括：

35、步骤3.4.1：设输入训练集x与输出y的函数f(x)具有高斯分布的随机过程；

36、其中，高斯分布由一个均值函数m(x)和一个协方差函数k(x,x')指定；

37、步骤3.4.2：通过计算已获取的训练数据的后验分布获取x*，该后验分布式为：

38、p(f(x*)|x,y,x*)＝n(f(x*)u*,∑*)

39、其中，μ*和∑*分别为后验分布的均值和协方差，由下式给出：

40、

41、其中，k(x*,x)、k(x,x)、k(x*,x*)分别表示x*与x、x与x、x*与x*之间的协方差矩阵，为观测噪声方差；

42、步骤3.4.3：使用协方差计算方法，协方差计算方法选用matern5/2函数，matern5/2函数的数学表达式为：

43、

44、式中，表示xi与xj之间的欧几里得距离，σl为特征长度尺寸，σf为信号的标准差。

45、本发明提供第二种方案：基于非接触式眼动信号的驾驶脑力负荷预测系统，包括：

46、数据采集模块，用于进行驾驶员的眼动时序数据的采集；

47、数据处理模块，用于对数据采集模块采集的眼动信号进行数据预处理和眼动时序信号特征提取；

48、脑力负荷回归预测模型模块，用于在长时动态环境下进行脑力负荷动态预测；

49、辅助决策模块，用于提醒驾驶员脑力负荷水平及提出对应驾驶建议。

50、其中，所述数据采集模块、数据处理模块和脑力负荷回归预测模型模块用于实现基于非接触式眼动信号的驾驶脑力负荷预测方法。

51、(三)有益效果

52、与现有技术相比，本发明提供了基于非接触式眼动信号的驾驶脑力负荷预测方法及系统，具备以下有益效果：

53、1.本方法仅采集眼动信号，通过非接触方式进行获取，不会干扰驾驶过程。相关采集设备轻便，且与车辆的安装兼容性良好；解决了现有方案需要采集的生理信号较为繁杂，导致驾驶员需要佩戴多个生理信号采集设备，这些设备组合起来较为笨重，影响驾驶操作的问题；

54、2.本方法将脑力负荷的时变特征纳入考虑，通过引入时序因素来改进建模过程，从而提高了模型对时变特征的兼容性和预测准确性；解决了现有方案未考虑在长时间驾驶中脑力负荷表征指标可能发生的变化，因此仅基于短期数据构建的模型在长时间驾驶任务中预测脑力负荷的精度会降低的问题；

55、3.本方法提出了一种精细的脑力负荷回归预测模型，在长时动态环境下能够得到一个0-100分之间的脑力负荷预测值，实现更加精确的脑力负荷评估，在实际应用中有更好的灵敏度和准确性；解决了现有技术方案中，驾驶人员脑力负荷评估大多依赖于分类模型。这种方法可能导致在脑力负荷差异较大的情况下，输出结果却相同，在实际驾驶应用中容易误导驾驶人员，使其对自身是否适合继续驾驶做出不恰当的判断的问题。