轻量化的非接触式多参数生理检测方法及系统

本发明涉及非接触多功能生理检测领域，具体涉及一种轻量化的非接触式多参数生理检测方法、系统、存储介质和电子设备。

背景技术：

1、人体的呼吸率、心率、心率变异性等生理参数是人体最基本、最重要的生命指标，对这些生理参数的监测能够及时掌握其身体状况的变化。

2、随着传感器技术、信息采集和处理技术以及互联网技术的发展，非接触式的多功能生理检测技术应运而生。相关技术中，非接触式的多功能生理检测方法一般基于“2dcnn+lstm”或者3dcnn等深度学习网络，以端到端的多任务框架来分析面部感兴趣区域的图片序列，降低因环境光照、运动伪影等噪音对生理信号的负面影响。

3、然而，上述方案需要耗费大量计算资源，无法满足在移动终端等资源受限场景中的实际应用需求。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种轻量化的非接触式多参数生理检测方法、系统、存储介质和电子设备，解决了需要耗费大量计算资源，无法满足在移动终端等资源受限场景中的实际应用需求的技术问题。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、一种轻量化的非接触式多参数生理检测方法，基于预设的非接触式多参数生理检测框架；该方法包括：

6、获取被测试者实时的热红外视频和可见光视频；

7、分别重构所述热红外视频和可见光视频，将两个重构后的视频帧序列进行线性映射，获取初始ippg信号，并将所述初始ippg信号作为基于时频域信息的ippg信号预处理网络的输入，获取预处理后的ippg信号；

8、基于所述可见光视频的面部关键特征点定位，采用仿射变换方法，定位所述热红外视频的第一帧面部图像的roi区域，采用siamese网络的目标追踪算法对所述热红外视频进行面部鼻子区域追踪，并基于追踪到的面部鼻子区域的平均像素值的变化，获取初始呼吸波信号；

9、融合所述ippg信号和呼吸波信号，将融合结果作为轻量级的信号降噪网络的输入，基于所述信号降噪网络的一维卷积层和循环神经网络层，分别预测所述被测试者的呼吸率、心率、心率变异性。

10、优选的，所述将所述初始ippg信号作为基于时频域信息的ippg信号预处理网络的输入，获取预处理后的ippg信号；包括：

11、对所述初始ippg信号进行两次交替的快速傅里叶变换、卷积操作、快速傅里叶逆变换、残差连接、卷积操作操作，之后再经过一次卷积操作，并进行展平后得到预处理后的ippg信号。

12、优选的，所述基于所述可见光视频的面部关键特征点定位，采用仿射变换方法，定位所述热红外视频的第一帧面部图像的roi区域；包括：

13、采用基于mediapipe框架的人脸检测算法，定位所述可见光视频中的多个面部关键特征点；

14、仿射变换求解由可见光至热红外的变换矩阵；

15、基于所述变换矩阵以及可见光视频的第一帧面部图像的面部关键特征点，定位所述热红外视频的第一帧面部图像的面部关键特征点，以定位所述热红外视频的第一帧面部图像上的roi区域。

16、优选的，所述siamese网络由两个结构相同且共享参数的cnn网络组成，每个cnn网络包括五个卷积层conv-1～conv-5、四个relu激活层以及两个maxpooling层，且在前四个卷积层conv-1～conv-4之后，紧接着一个relu层；所述基于siamese网络的目标追踪算法对所述热红外视频进行面部鼻子区域追踪；包括：

17、从所述热红外视频的第二帧面部图像开始，将当前帧面部图像作为第一cnn网络的输入，获取当前帧面部图像的不同候选目标区域对应的第一特征向量；

18、选择上一帧面部图像的面部鼻子区域作为目标roi区域，将所述目标roi区域作为第二cnn网络的输入，获取第二特征向量；

19、通过距离度量评估每一所述第一特征向量与第二特征向量之间的相似度，生成相似度评分矩阵，并基于所述相似度评分矩阵中最大值的位置，确定当前帧面部图像的面部鼻子区域。

20、优选的，所述基于追踪到的面部鼻子区域的平均像素值的变化，获取初始呼吸波信号；包括：

21、计算当前帧面部图像的面部鼻子区域的平均像素值：

22、

23、其中，t表示帧索引，pixelij为坐标(xi，yj)处的像素值，(xi，yj)为位于第i行、第j列的像素的平面坐标；

24、遍历计算每一帧面部图像的面部鼻子区域的像素平均值后，形成初始呼吸波信号：

25、

26、其中，m是热红外视频的总帧数。

27、优选的，所述信号降噪网络包括三个1dcnn层、三个maxpooling层、三个dropout层、两个gru层和两个dense层；所述融合所述ippg信号和呼吸波信号，将融合结果作为轻量级的信号降噪网络的输入，基于所述信号降噪网络的一维卷积层和循环神经网络层，分别预测所述被测试者的呼吸率、心率、心率变异性；包括：

28、将所述融合结果依次作为三个1dcnn层的输入，提取相应的局部特征；其中每一所述1dcnn层后连接一个maxpooling层和一个dropout层；

29、将经过上述处理后的信号依次作为两个gru层的输入，基于门控机制，捕捉信号中的长期依赖关系；

30、将经过gru层处理的信号依次作为两个dense层的输入，进行线性组合后，分别输出所述被测试者的呼吸率、心率、心率变异性的预测结果。

31、优选的，所述非接触式多参数生理检测框架在训练阶段选择如下损失函数：

32、

33、其中，loss表示总损失函数；lossrr、losshr、losshrv、losspeaks分别表示计算呼吸率、心率、心率变异性、包含心率信息的ippg信号ippghr、包含呼吸信息的ippg信号ippgrr、ippg信号的波峰位置及间隔加权和的损失函数；α，β，γ，η，δ，λ分别表示对应损失函数的权重值；

34、rrpre、rrtru分别表示呼吸率的预测值和真实值；hrpre、hrtru分别表示心率的预测值和真实值；hrvpre、hrvtru分别表示心率变异性的预测值和真实值；x和y分别表示预测和真实的ippghr信号，x'和y'分别表示预测和真实的ippgrr信号；

35、t表示信号长度；wpos、win分别表示ippg信号的波峰位置和波峰间隔的权重；b表示ippghr信号的批次大小；lpos,i和lin,i分别表示第i个波峰位置损失、以及第i个相邻波峰间隔损失。

36、一种轻量化的非接触式多参数生理检测系统，基于预设的非接触式多参数生理检测框架；该方法包括：

37、获取模块，用于获取被测试者实时的热红外视频和可见光视频；

38、第一处理模块，用于分别重构所述热红外视频和可见光视频，将两个重构后的视频帧序列进行线性映射，获取初始ippg信号，并将所述初始ippg信号作为基于时频域信息的ippg信号预处理网络的输入，获取预处理后的ippg信号；

39、第二处理模块，用于基于所述可见光视频的面部关键特征点定位，采用仿射变换方法，定位所述热红外视频的第一帧面部图像的roi区域，采用siamese网络的目标追踪算法对所述热红外视频进行面部鼻子区域追踪，并基于追踪到的面部鼻子区域的平均像素值的变化，获取初始呼吸波信号；

40、预测模块，用于融合所述ippg信号和呼吸波信号，将融合结果作为轻量级的信号降噪网络的输入，基于所述信号降噪网络的一维卷积层和循环神经网络层，分别预测所述被测试者的呼吸率、心率、心率变异性。

41、一种存储介质，其存储有用于轻量化的非接触式多参数生理检测的计算机程序，其中，所述计算机程序使得计算机执行如上所述的轻量化的非接触式多参数生理检测方法。

42、一种电子设备，包括：

43、一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的轻量化的非接触式多参数生理检测方法。

44、(三)有益效果

45、本发明提供了一种轻量化的非接触式多参数生理检测方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：

46、本发明中，充分利用热红外和可见光的双光谱信息，通过采用仿射变换和双光融合的技术，从热红外光谱中提取呼吸波信号，并基于时频域特征分析方法从双光视频中提取ippg信号。同时，通过设计轻量级的信号降噪网络，以多任务学习方式对呼吸信号和ippg信号进行自动降噪处理，挖掘不同生理参数估计任务之间的关联关系，使得在计算资源受限的场景下，也能实现呼吸率、心率、心率变异性三个生理参数的准确估计，以实时分析个体生理健康状况，为心理健康筛查提供客观准确的生理感知信息。