基于红外热成像的非接触式认知负荷评估方法

本发明涉及信号处理，具体涉及一种基于红外热成像的非接触式认知负荷评估方法。

背景技术：

1、个体在认知过程中会产生认知负荷，认知过程越复杂，产生的认知负荷水平越高。适度的认知负荷能够促进工作或学习的进程，过高或过低的认知负荷都会降低个体的工作或学习效率。实现认知负荷的评估，可以为制定合理的工作或学习策略提高数据支撑，在信息化时代有着重要的现实意义。

2、目前评估认知负荷的方法主要有三种，分别是任务绩效法、主观量表法和生理评估法。任务绩效法需要根据任务类型设定具体的绩效指标，当任务变化时，就需要重新设定绩效指标，不具有普适性。主观量表法实施简单，要求测试者回顾任务过程中的主观感受来评判，主观性过强。生理评估法具备准确性和客观性，但是需要测试者佩戴接触式设备来采集生理信号，会给测试者带来不适感，不利于长时间的认知负荷监测。

3、呼吸作为一种生理信号，是评估认知负荷的有效指标。常用的呼吸信号非接触式测量技术中，成像式光电容积标记技术在光线不好的环境中测量效果不理想，wifi csi(channel state information,信号状态信息)技术、多普勒雷达等对测试者的自发运动十分敏感，而红外热成像能够捕捉测试者呼吸过程的温度变化来采集呼吸信号，在黑暗环境中可用，通过采用合理的技术步骤能够在人体自发运动场景下实现准确测量，是一种有效的非接触式呼吸信号测量技术，能有效克服接触式测量存在的问题。

4、在基于红外热成像的呼吸信号测量中，已有方法通过人脸关键点检测或人脸的结构信息来定位鼻子区域，都要求人脸的完整信息。但在人脸出现遮挡或偏转角度过大时，则存在无法定位鼻子区域的问题。

技术实现思路

1、本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于红外热成像的非接触式认知负荷评估方法。本发明通过引入实例分割网络，解决了已有方法在人脸出现遮挡或偏转角度过大时无法定位鼻子区域的问题，有效提升了基于红外热成像的非接触式呼吸测量鲁棒性，能够在无感无创的情况下实现准确、客观的认知负荷评估。

2、本发明的目的可以通过采取如下技术方案达到：

3、一种基于红外热成像的非接触式认知负荷评估方法，所述评估方法包括以下步骤：

4、s1、使用红外热像仪分别拍摄测试者静坐及执行认知任务期间的面部视频，分帧后得到面部图像；

5、s2、从面部图像中定位鼻孔区域，提取原始呼吸信号；

6、s3、对原始呼吸信号进行去噪处理，提取时域和频域中的呼吸特征；

7、s4、基于提取到的呼吸特征，进行特征选择后，构建认知负荷水平分类模型；

8、s5、提取测试者的呼吸特征样本，输入到认知负荷水平分类模型中，评估测试者的认知负荷水平。

9、进一步地，所述步骤s1中使用红外热像仪分别拍摄测试者静坐及执行认知任务期间的面部视频，分帧后得到面部图像的过程如下：

10、s101、使用红外热像仪摆放在测试者正前方，要求测试者面部在红外热像仪视野范围内，保证鼻子无遮挡，分别拍摄测试者静坐状态、执行低负荷认知任务和执行高负荷认知任务的面部视频；

11、s102、将拍摄到的面部视频按时间先后顺序分帧成一系列的面部图像，此步骤的分帧处理是便于后续步骤在图像中定位鼻孔区域。

12、进一步地，所述步骤s2中从面部图像中定位鼻孔区域，提取原始呼吸信号的过程如下：

13、s201、在自行采集的每张红外热成像面部图像上，通过labelme标注工具用矩形标注出鼻子区域，构建面部鼻子区域数据集。此步骤的目的是为了让步骤s202中的实例分割网络学习到面部鼻子区域的特征，因此需要预先在面部图像中标注出鼻子区域，构建出实例分割网络训练和测试所需要的数据集；此步骤使用的labelme标注工具是领域中常用的开源图像标注工具；

14、s202、使用构建好的面部鼻子区域数据集训练实例分割网络。将面部鼻子区域数据集按照4：1的比例划分训练集和测试集，将训练集用于训练实例分割网络，测试集用于测试实例分割网络的性能。所述实例分割网络经过训练后，能够自动定位鼻子区域。考虑到面部视频帧率较高，需要处理的图像数量较多，选用了兼具速度和精度的yolact实例分割网络来定位面部鼻子区域；此步骤通过大量的数据训练，目的是得到一个能够自动定位面部鼻子区域的实例分割网络；

15、s203、对同一个面部视频分帧后得到的一系列面部图像，使用训练后的实例分割网络在面部图像中自动定位鼻子区域；

16、s204、在定位出的鼻子区域图像上，将相邻的m帧图像进行连续差分并计算灰度绝对值，得到差分图像d(x,y)，计算公式如下；

17、

18、其中，fn(x,y)表示第n帧图像鼻子区域中像素点(x,y)的灰度值，m表示差分操作的图像数量。

19、呼吸时产生的温度变化，在热成像图像上表现为鼻孔区域的灰度变化，此步骤的目的是通过多帧差分得到灰度呈现变化的鼻孔区域，从而降低鼻子区域中除鼻孔以外的其他区域对提取呼吸信号的影响；

20、s205、对差分图像d(x,y)进行阈值处理和去噪处理。使用大津阈值法计算出阈值t，对得到的差分图像d(x,y)进行阈值处理，得到阈值处理后的图像e(x,y)；随后进行开运算，消除背景噪声点，保留两个面积最大的连通域作为鼻孔区域p(x,y)。其中阈值处理的公式如下；

21、

22、此步骤中的阈值处理是将低于阈值的像素点灰度值置为零，保留灰度变化幅度较大的鼻孔区域；开运算是将孤立的噪声点去除；

23、s206、对同一个面部视频分帧后得到的一系列面部图像，将鼻孔区域中的所有像素点的灰度均值作为呼吸信号的幅值，原始呼吸信号的计算公式如下：

24、

25、其中，w表示分帧后得到的面部图像数量，b表示面部图像定位到的鼻孔区域中的像素点数量，pa(x,y)表示第a帧图像的鼻孔区域中像素点(x,y)的灰度值，s(a)表示第a帧图像鼻孔区域中所有像素点的灰度平均值。此步骤从鼻孔区域的灰度均值随时间的变化中提取原始呼吸信号。

26、进一步地，所述步骤s3中对原始呼吸信号进行去噪处理，提取时域和频域中的呼吸特征的过程如下：

27、s301、对步骤s206得到的原始呼吸信号进行带通滤波。设计一个通带为0.1-0.5hz的巴特沃斯带通滤波器，将原始呼吸信号输入巴特沃斯带通滤波器中进行滤波；此步骤考虑到正常呼吸信号的频率范围是0.1-0.5hz，从而设计了带通滤波器去除噪声，降低噪声对提取呼吸特征的干扰；

28、s302、去除带通滤波后的呼吸信号的基线漂移。定位带通滤波后的呼吸信号的波谷点，在波谷点之间使用三次样条插值拟合出基线，将该呼吸信号减去基线，得到去除基线漂移后的呼吸信号；此步骤的目的是降低基线漂移对提取呼吸特征的影响；

29、s303、将去除基线漂移后的呼吸信号减去自身均值，去除直流分量，得到去噪后的呼吸信号；此步骤的目的是为了防止直流分量过高对提取呼吸特征造成干扰；

30、s304、提取去噪后的呼吸信号的时域特征。首先定位出去噪后的呼吸信号的波峰点和波谷点，确定出每个呼吸周期后，计算出呼吸率和每个周期的潮气量，呼吸率是每分钟呼吸的次数，对潮气量求均值后得到平均潮气量；再将呼吸率与平均潮气量相乘得到分钟通气量，将呼吸率和分钟通气量作为呼吸信号的整体特征；随后对平均潮气量、吸气与呼气时间比、吸气时间占比、吸气幅度和呼气幅度共5个特征序列分别计算均值、标准差、均方根和变异系数作为呼吸变异性特征；将呼吸信号整体特征和呼吸变异性特征作为呼吸信号的时域特征；此步骤的目的是提取认知负荷对呼吸信号产生的时域影响；其中，潮气量指的是每个呼吸周期吸入的气体量，计算公式如下：

31、

32、其中，tv表示潮气量，z1表示呼吸周期的波峰横坐标，z2表示该呼吸周期的波谷横坐标，a代表呼吸信号幅值。

33、s305、提取去噪后的呼吸信号的频域特征。对去噪后的呼吸信号计算功率谱，提取信号功率谱中0.1-0.2hz、0.2-0.3hz、0.3-0.4hz及0.4-0.5hz范围内的功率谱作为呼吸信号的频域特征；此步骤的目的是提取认知负荷对呼吸信号产生的频域影响；

34、s306、将时域特征和频域特征组成呼吸特征向量，将执行认知任务下的呼吸特征向量减去静坐状态下的呼吸特征向量，得到去基线处理后的呼吸特征样本。此步骤考虑到不同个体的呼吸模式存在一定差异，呼吸率的基线也有所不同，为了降低测试者个体差异对呼吸特征的影响，需要对呼吸特征作去基线处理，从而获得呼吸特征因认知负荷而产生的变化量。

35、进一步地，所述步骤s4中基于提取到的呼吸特征，进行特征选择后，构建认知负荷水平分类模型的过程如下：

36、s401、采集若干名测试者的呼吸特征样本，对去基线处理后的呼吸特征样本进行标签化，将执行低负荷认知任务的样本标签设为0，执行高负荷认知任务的样本标签设为1，构建呼吸特征集；此步骤的目的是建立样本标签供后续步骤构建分类模型使用；

37、s402、将呼吸特征集按照4：1的比例划分为训练集和测试集；

38、s403、使用递归特征消除算法对标签化后的呼吸特征集进行筛选，从中选取f1-weighted分数最高的特征子集，称为最佳特征子集。其中，f1-weighted分数是常见的评价特征重要性的指标，能够在一定程度上反映出特征对模型性能的影响。此步骤的目的是选出对认知负荷水平分类敏感的特征，降低无关特征对模型的影响，提高模型的训练效率，防止维数灾难；

39、s404、将得到的最佳特征子集送入随机森林中训练，训练时采用k折交叉验证，构建呼吸特征与认知负荷水平的映射关系，得到构建好的认知负荷水平分类模型。由于随机森林选取训练样本和训练特征时均具有随机性，能够自动处理相关性较强的特征，有较强的抗过拟合能力，因此选用随机森林来构建分类模型。此步骤的目的是充分评估分类模型的性能，降低分类模型的过拟合风险，构建出认知负荷水平分类模型。

40、进一步地，所述步骤s5中提取测试者的呼吸特征样本，输入到认知负荷水平分类模型中，评估测试者的认知负荷水平的过程如下：

41、s501、使用红外热像仪拍摄测试者在认知任务时的面部视频，分帧成面部图像；

42、s502、经过步骤s2、s3，得到测试者的呼吸特征样本；

43、s503、将得到的呼吸特征样本，送入步骤s404中构建好的认知负荷水平分类模型，根据分类模型输出的结果标签判断认知负荷的水平，若结果标签为0，代表低认知负荷水平，若结果标签为1，代表高认知负荷水平。

44、本发明相对于现有技术具有如下的优点及效果：

45、(1)本发明通过呼吸信号来评估认知负荷的水平，属于生理评估法，具有客观、准确、实时性强的优点，相较任务绩效法具有普适性的优势，克服了主观量表法主观性强、滞后性大的缺点。

46、(2)本发明通过红外热成像技术从测试者呼吸过程中产生的温度变化中获取了呼吸信号，无需与测试者直接接触，实现了无感无创、非接触式测量，克服了接触式采集方法会给测试者带来不适的缺点。相对其他非接触式采集方法，红外热成像技术能够在光线较差的环境中准确测量，能够有效保护人脸隐私，对测试者的自发运动相对不敏感。

47、(3)本发明通过引入实例分割网络解决了已有方法在人脸出现遮挡或偏转角度过大时无法定位鼻子区域的问题，并在鼻子区域的基础上通过帧间差分法确定了鼻孔区域，降低了无关像素对呼吸信号的影响，有效提升了基于红外热成像的非接触式呼吸测量的准确性和鲁棒性，为实现认知负荷评估提供数据支撑。

48、(4)本发明提取了多个时域和频域中的呼吸特征，经过递归特征消除方法选取了最佳特征子集，使用随机森林建立起呼吸特征和认知负荷水平之间的映射关系，实现了认知负荷评估。