基于人脸视频的脉搏波形测量方法及装置、电子设备

本申请涉及rppg信号处理领域，尤其涉及一种基于人脸视频的脉搏波形测量方法及装置、电子设备。

背景技术：

1、心脏的周期性搏动造成全身的血管血容量发生周期性的变化。远程光电容积脉搏波描记法(rppg，remote photoplethysmography)是一种从人脸视频中提取生理信号的方法。该方法通过分析视频中人脸皮肤区域的细微颜色变化，估算出脸部毛细血管的血容量变化，从而提取到脉冲信号。rppg信号可进一步用于预测心率、心率变异性、呼吸率、血氧饱和度、血压等生理信号。

2、由于心脏搏动造成的皮肤颜色变化非常微弱，从人脸视频中提取的rppg信号中通常包含很多噪声，这些噪声来源通常是光照变化与运动伪影。rppg信号提取的准确度对心率、心率变异性、呼吸率、血氧饱和度、血压等的预测起决定性作用。但现有的方法大多都直接应用于心率测量、呼吸率测量、活体检测等任务中，而对rppg信号本身的增强或降噪的工作则较少。

技术实现思路

1、本申请实施例的目的是提供一种基于人脸视频的脉搏波形测量方法及装置、电子设备，以解决了rppg信号中噪声过多的问题，提升了rppg信号与真实信号的相关性，且本方法能够与传统方法结合，进一步提升rppg信号的预测精度。

2、根据本申请实施例的第一方面，提供一种基于人脸视频的脉搏波形测量方法，包括：

3、从人脸视频中提取原始rppg信号；

4、构建并训练基于transformer的神经网络，所述神经网络主要由多个transformer模块纵向堆叠而成，所述transformer模块包括：一维patch embedding，用于将原始rppg信号转换维度，生成后续transformer编码器能够接受的token；包含多头自注意力模块的transformer编码器，用于促使网络对信号时域全局建立联系；信号复原变换，用于将transformer编码器的输出转换维度，还原为一维时间信号，即脉搏波形；

5、将所述原始rppg信号输入到训练好的基于transformer的神经网络中进行增强与降噪处理，得到处理后的一维时间信号，即脉搏波形。

6、进一步地，从人脸视频中提取原始rppg信号，包括：

7、使用openface从视频中提取人脸的关键点坐标；

8、根据所述关键点坐标，构建感兴趣区域roi；

9、计算视频中每一帧每个roi中的像素颜色的平均值，生成时域信号；

10、使用滤波器对所述时域信号进行处理，得到原始rppg信号。

11、进一步地，在训练基于transformer的神经网络时，使用移动一致性相关系数(shift ccc)作为衡量指标以及构建损失函数。

12、进一步地，使用移动一致性相关系数(shift ccc)作为衡量指标以及构建损失函数，包括：

13、

14、式中，表示将向量循环右移t次，即

15、ρy为向量y的标准差，μy为向量y的均值，ρ(·,·)为两变量的相关系数。

16、根据本申请实施例的第二方面，提供一种基于人脸视频的脉搏波形测量装置，包括：

17、提取模块，用于从人脸视频中提取原始rppg信号；

18、构建并训练模块，用于构建并训练基于transformer的神经网络，所述神经网络主要由多个transformer模块纵向堆叠而成，所述transformer模块包括：一维patchembedding，用于将原始rppg信号转换维度，生成后续transformer编码器能够接受的token；包含多头自注意力模块的transformer编码器，用于促使网络对信号时域全局建立联系；信号复原变换，用于将transformer编码器的输出转换维度，还原为一维时间信号，即脉搏波形；

19、处理模块，用于将所述原始rppg信号输入到训练好的基于transformer的神经网络中进行增强与降噪处理，得到处理后的一维时间信号，即脉搏波形。

20、根据本申请实施例的第二方面，提供一种电子设备，包括：

21、一个或多个处理器；

22、存储器，用于存储一个或多个程序；

23、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

24、根据本申请实施例的第二方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。

25、本申请的实施例提供的技术方案可以包括以下有益效果：

26、由上述实施例可知，本申请首次将transformer网络运用于rppg信号的直接处理上，通过transformer在时间维度对rppg信号建立了全局联系，提升了脉搏波形信号的预测准确度；本方法提出的pulse transformer网络可以与chrom、2sr等传统的rppg方法进行结合，对传统方法提取出的rppg信号进一步进行降噪，提升精确度；本方法提出的pulsetransformer网络还可以作为一个模块加入到基于rppg的心率预测等任务中，为rppg下游任务提供纯净的rppg信号，提升心率预测等rppg下游任务的准确度。本方法提出的移动一致性相关系数考虑了人体内心脏搏动与身体不同处动脉搏动存在时间差，比普通的一致性相关系数更适合衡量rppg信号的准确程度。

27、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种基于人脸视频的脉搏波形测量方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，从人脸视频中提取原始rppg信号，包括：

3.根据权利要求1所述的方法，其特征在于，在训练基于transformer的神经网络时，使用移动一致性相关系数(shift ccc)作为衡量指标以及构建损失函数。

4.根据权利要求3所述的方法，其特征在于，使用移动一致性相关系数(shift ccc)作为衡量指标以及构建损失函数，包括：

5.一种基于人脸视频的脉搏波形测量装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，从人脸视频中提取原始rppg信号，包括：

7.根据权利要求5所述的装置，其特征在于，在训练基于transformer的神经网络时，使用移动一致性相关系数(shift ccc)作为衡量指标以及构建损失函数。

8.根据权利要求7所述的装置，其特征在于，使用移动一致性相关系数(shift ccc)作为衡量指标以及构建损失函数，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-4中任一项所述方法的步骤。

技术总结
本发明公开了一种基于人脸视频的脉搏波形测量方法及装置、电子设备，包括：从人脸视频中提取原始rPPG信号；构建并训练基于Transformer的神经网络，所述神经网络主要由多个Transformer模块纵向堆叠而成，所述Transformer模块包括：一维Patch Embedding，用于将原始rPPG信号转换维度，生成后续Transformer编码器能够接受的token；包含多头自注意力模块的Transformer编码器，用于促使网络对信号时域全局建立联系；信号复原变换，用于将Transformer编码器的输出转换维度，还原为一维时间信号；将所述原始rPPG信号输入到训练好的基于Transformer的神经网络中进行增强与降噪处理，得到处理后的一维时间信号，即脉搏波形。本发明提升了测量精确度。

技术研发人员：邱兆林,陈维哲,牛子未,林兰芬
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/1/12