一种基于视频的远程心率测量深度学习网络

本发明属于计算机视觉领域，是在基于视频流的远程目标心率估计方向的创新。

背景技术：

1、基于视频流的远程目标心率估计相对于接触式的心率估计方法拥有更大的灵活性，例如该方法可以远程地、非接触地为心率检测双方提供更加安全、便利的心率检测方法。因此稳定的基于视频流的远程目标心率估计方法在特定场景下可以成为代替传统心率估计方法的替代方案，具有一定的研究价值。

2、绝大部分的远程目标心率估计都利用了远程光电体积描记术(remotephotoplethysmography，简称rppg)。血液在皮下的流动会引起皮下血管部分的光学性质的变化，光线透过皮肤射入到达血管部分被反射回去，而摄像头捕捉到的回射光线会记录到血管部分光学性质的变动[1]，这就是远程光电体积描记术。由于血液的流动由心脏搏动引发，因此该光学性质变动的周期能够反应心率的信息，记录该周期信息的信号被称为rppg信号。远程目标心率估计的方法的目标是尽可能降低外界噪声(例如目标本身的运动和环境光照的影响)并得到纯净的rppg信号。

3、传统的远程目标心率估计方法[2，3，4，5]通过皮肤提取算法[6]从输入的人脸视频中的每一帧中取出人脸的皮肤区域，并计算皮肤区域内三通道(红、绿、蓝)的像素均值来得到原始的rppg信号，随后对rppg信号进行滤波[7]和频率提取计算得到心率。在这些步骤中，皮肤提取算法和三通道(红、绿、蓝)像素均值的计算容易导致大量的噪声混入原始rppg信号中，这是因为皮肤提取算法只提取皮肤区域而不关心提取的该皮肤区域是否含有rppg信息，从而一部分被噪声污染的皮肤区域(造成原因主要是环境光源的变动、人脸运动导致的伪影) 也参与了原始的rppg信号的计算中去。为了解决这个噪声混入的问题，一些基于神经网络的方法被提出。总体来说，这些被提出的神经网络可以被分为两类，一类直接输入人脸视频[8]，利用网络的泛性和抗干扰性处理皮肤提取和rppg信号生成步骤，得到更加精细的rppg信号结果；另外一类[9]对输入视频进行预处理，制作成带有rppg信号的特征图作为网络的输入，网络大多是使用resnet改装成的回归器，直接输出预测的心率。通过对远程目标心率估计相关的数据集[10，11，12]进行分析，可以发现这两种方法都存在一些局限性：

4、远程目标心率估计相关的数据集通常使用bvp(blood volume pulse，血容量脉搏)信号和ecg(electrocardiogram，心电图)信号作为视频对应的标签波形。由于血流的传输时间 (ecg信号在心脏部分提取，bvp信号通常在指尖处提取而rppg信号通常在面部提取)和信号采样设备的处理时间的影响，标签波形和视频中人脸中携带的rppg信号存在不确定的延迟。这对于上文中提到的第一类神经网络是一种很大的麻烦，网络训练者在训练网络时不得不在数据的预处理上下很多功夫，尤其是标签波形和面部rppg信号的时序配准。如果不进行时序配准，第一类网络在训练阶段效率很低甚至无法收敛，但是第一类网络在配准的波形上训练最后能得到很好的效果；第二类网络由于直接使用回归器预测心率的具体的值而不涉及 rppg波形的预测，因此不会受到不确实时延现象的干扰。但是这类网络输入的特征图的制作通常涉及传统的远程目标心率估计方法[9]，这导致特征图中依然会有噪声的混入，从而影响网络的预测性能。

5、综上所述，目前的远程目标心率估计神经网络和相关数据集存在一些问题，这些问题造成了网络训练者必须在牺牲一部分网络性能和花费大量的数据预处理时间之间做出选择。

技术实现思路

1、本发明解决了上述的矛盾：本发明无需训练者在训练网络时花费大量时间配准标签波形，同时训练后的网络在预测心率准确性上保持极其优秀的性能。

2、本发明提出的基于神经网络的远程心率测量方法关注视频人脸中rppg(remotephotoplethysmography，远程光电体积描记术)信息的时域自相关性而非特定时间点的rppg 信息，消除训练中数据集标签波形(通常为bvp(blood volume pulse，血容量脉搏)信号或 ecg(electrocardiogram，心电图)信号)和真实面部rppg信号之间不确定时延的影响。

3、本发明的全局结构由五个模块组成：数据集预处理模块、rppg特征提取模块、周期自注意力模块、心率计算模块和损失函数模块组成。其中网络结构部分由rppg特征提取模块、周期自注意力模块组成。rppg特征提取模块可替代，其可以由上文所述任意属于第一类神经网络构成[8]。另外三个模块不可替代，它们和rppg特征提取模块联动，在不受不确定时延的影响下充分发挥rppg特征提取模块的性能。损失函数模块基于数据集预处理模块和网络输出的结果计算损失函数优化网络参数。

4、以下的数字序号(x)和下一章节“具体实施方式”中的(x)相对应，具体的实施细节将在“具体实施方式”章节中详细说明。

5、(1)数据集预处理模块在对标签波形进行预处理时，在带通滤波和小波滤波后对标签波形提取其瞬时相位信息，并通过计算每对时间点之间的瞬时相位差的余弦值来获得标签波形中携带的周期自相似性。

6、(2)网络结构中由两个模块组成：(2.1)rppg特征提取模块和(2.2)周期自注意力模块。 rppg特征提取模块从输入视频中提取时序的rppg信息，周期自注意力模块对rppg模块的输出进行时域窗口滑动切片并分析切片之间的周期相似性，使其作为网络部分的输出。

7、本发明利用(1)数据集预处理模块和(2.2)周期自注意力模块对(2.1)rppg特征提取模块进行封装，三者共同构成的远程心率测量方法在网络训练阶段不受不确定时延的影响。

8、将(1)数据集预处理模块的周期自相似信息和(2.2)周期自注意力模块输出的周期相似性信息按照时间位置排列置入具有相同特性的信息矩阵中，使其便于在网络训练过程中进行损失函数的计算以及最终的心率提取。

9、在本发明中，(1)数据集预处理模块和(2.2)周期自注意力模块不可取代，(2.1)rppg特征提取模块可以被其它形式的网络结构取代：作为被封装的rppg特征提取模块，其可以是目前已被提出其他直接预测rppg信号的神经网络[13，14]。

10、(3)心率预测模块。在预测心率阶段，将(2.2)周期自注意力模块输出的信息矩阵的元素根据斜角位置聚类并整合成一维的自相关序列，自相关序列记录输入网络的视频人脸序列中的 rppg信号的周期自相关性，最后通过提取该自相关序列携带的频率得到最终的心率估计结果。

11、(4)损失函数模块。在网络训练阶段，通过衡量(1)数据集预处理模块生成的标签信息矩阵和(2.2)周期自注意力模块输出的信息矩阵之间的相似性和7中得到的两个矩阵对应的自相关序列的相似性来计算损失函数进行网络参数的优化。

12、由于本发明中的(1)数据集预处理模块和(2.2)周期自注意力模块关注的自相似信息基于的是标签波形和真正的rppg信号各自的时间点与时间点之间的距离，所以本发明设计的网络在训练过程中不需要标签波形和真正的rppg信号的严格对齐。因此网络的训练者不需要花费大量时间进行标签波形校准工作。同时本发明借助于rppg信号提取模块的抗干扰性和泛性，最终训练后网络的心率预测结果的准确性能够保持高性能。