一种基于图像分析的心率检测方法及装置与流程
本发明涉及生物医学领域，特别是指一种基于图像分析的心率检测方法及装置。
背景技术：
人类每分钟心脏跳动的次数被称之为心率，是最直接反应人类心脏健康的标志。心率是人体相当重要且易于测量的生命体征。静息心率较高通常伴随心脏病发病率及病死率较高、急性心肌梗死致死率较高等，持续的心率测量和监控对于心脑血管等疾病的控制和预防有着很重要的作用。
心率测量从与被测者是否接触的角度来看，分为接触式测量和非接触式测量两种方法。接触式测量有心电监护仪、指夹式脉搏监测仪以及近年来出现的可穿戴心率测量设备等，其操作复杂且不便用于新生儿及其他皮肤环境脆弱人群的日常测量。而非接触式心率测量便捷、无需消毒、能够实现自动化测量且舒适性较强。
现有技术中，非接触式心率测量还未成熟，较为常见的是光电容积脉搏波描记法(photoplethysmography，ppg)，它通过光电设备照射活体组织后测量反射光强度的方式，检测微动脉、毛细血管中血液容积的变化从而估计心率。但是基于ppg的心率测量方法对光照、背景等环境的要求较高。
技术实现要素：
本发明要解决的技术问题是提供一种基于图像分析的心率检测方法及装置，以解决现有技术所存在的基于ppg的心率测量方法对光照、背景等环境的要求较高的问题。
为解决上述技术问题，本发明实施例提供一种基于图像分析的心率检测方法，包括：
获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
进一步地，所述对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正包括：
提取所述人脸视频中的面部区域；
对所述面部区域中的面部特征点进行追踪，提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：
其中，s是缩放比例；t表示平移的位移；
将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，所述目标函数表示为：
argmins,r,t||srpt+t-qt||fsubjecttortr＝i
其中，||·||f表示f-范数；
利用奇异值分解方法求解目标函数的最优参数s，r，t，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)：
进一步地，面部感兴趣区域颜色通道的光信号表示为：
其中，|roi|表示感兴趣区域的大小；q(u,v,t)表示时间为t时的坐标(u,v)处的像素值；ippg表示面部运动信号，源于皮肤吸收光的强度变化。
进一步地，所述根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号包括：
根据确定的面部感兴趣区域颜色通道的光信号，构建基于三层皮肤模型的光信号模型；
根据构建的光信号模型，通过颜色通道差分方法提取绿色-红色通道差分信号。
进一步地，构建的基于三层皮肤模型的光信号模型表示为：
ii(t)＝αiβi(s0+γis0ippg(t)+r0)m(t),i∈{r,g,b}
其中，ii(t)表示构建的基于多层皮肤模型的光信号模型，s0是感兴趣区域内皮肤在白光照射下的散射光强度的平均值，r0是感兴趣区域内皮肤在白光照射下的漫反射光强度的平均值，i代表rgb通道中的一种通道，αi是i通道色光在标准化的照明光谱中的强度，βi是i通道色光在标准化的漫反射光谱中的强度，γi是i通道ippg信号的交流分量与直流分量之比，m(t)为运动分量。
进一步地，所述绿色-红色通道差分信号表示为：
进一步地，grd(t)中的αgβg和αrβr分别估算为：
其中，
进一步地，在运算grd(t)之前，利用带通滤波处理grd(t)中的ig(t)和ir(t)，再用αgβg的估算值
其中，igf(t)、irf(t)、mf(t)表示经过带通滤波处理后的ig(t)、ir(t)、m(t)，且mf(t)是通过跟踪技术减弱的。
进一步地，所述将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率包括：
通过快速傅里叶变换，将grd(t)变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明实施例还提供一种基于图像分析的心率检测装置，包括：
校正模块，用于获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
确定模块，用于根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
提取模块，用于根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
变换模块，用于将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明的上述技术方案的有益效果如下：
上述方案中，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号，减小面部其他区域信息干扰；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号，消除运动干扰信息；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率，该心率检测方法对环境要求较低、实用性较高，且心率测量结果准确度高。
附图说明
图1为本发明实施例提供的基于图像分析的心率检测方法的流程示意图；
图2为本发明实施例提供的面部特征点示意图；
图3(a)为本发明实施例提供的采用g方法的检测结果示意图；
图3(b)为本发明实施例提供的采用grd方法的检测结果示意图；
图3(c)为本发明实施例提供的采用盲源分离法的检测结果示意图；
图3(d)为本发明实施例提供的采用pos方法的检测结果示意图；
图3(e)为本发明实施例提供的采用基于图像分析的心率检测方法的检测结果示意图；
图4为本发明实施例提供的基于图像分析的心率检测装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的基于ppg的心率测量方法对光照、背景等环境的要求较高的问题，提供一种基于图像分析的心率检测方法及装置。
本实施例所述的基于图像分析的心率检测方法，使用的设备为普通摄像头，通过摄像头捕捉用户的人脸视频，人脸视频记录了心脏跳动引起的面部皮肤下血液容量呈周期性的变化，与之相伴的血液吸收与皮肤反射的光强同样会周期性变化。然而这种变化是极其微弱的，而且很容易受到环境中其他因素(例如，呼吸、面部晃动、视频其他区域发生的变化等)的干扰，所以，本实施例所述的基于图像分析的心率检测方法的目标是提取、去噪、放大这种面部运动信号(以下简称ippg信号)，然后把ippg信号从时间域变换到频率域，获取特定的频率数值，这个数值就是心率。
实施例一
如图1所示，本发明实施例提供的基于图像分析的心率检测方法，包括：
s101，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
s102，根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
s103，根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
s104，将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明实施例所述的基于图像分析的心率检测方法，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号，减小面部其他区域信息干扰；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号，消除运动干扰信息；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率，该心率检测方法对环境要求较低、实用性高，且心率测量结果准确度高。
在前述基于图像分析的心率检测方法的具体实施方式中，进一步地，所述对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正包括：
提取所述人脸视频中的面部区域；
对所述面部区域中的面部特征点进行追踪，提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：
其中，s是缩放比例；t表示平移的位移；
将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，所述目标函数表示为：
argmins,r,t||srpt+t-qt||fsubjecttortr＝i
其中，||·||f表示f-范数；
利用奇异值分解方法求解目标函数的最优参数s，r，t，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)：
本实施例中，所述基于图像分析的心率检测方法对应的检测装置的输入数据是：摄像头捕捉的用户的人脸视频(也可以称为：视频序列或者图像序列帧)，如果输入数据中包括人脸面部信息以及背景等影响，则首先采用人脸自动识别技术提取面部区域，最常用的人脸检测技术是基于opencv和dlib库，可对人脸视频中的面部区域进行提取，以及对面部区域进行面部特征点追踪。
本实施例中，针对输入的视频序列或者图像序列帧的不同情况，可进行不同的图像预处理，例如：
若图像受到白噪声、高斯噪声等噪声信号的干扰，则采用小波(包)分析、卡尔曼滤波等方法，去除噪声影响；
若图像受到光照影响，则采用光线补偿、边缘提取、商图像、灰度归一化等方法，减弱光照不均匀的影响。
本实施例中，头部运动是心率估计的噪声干扰，检测装置的输入数据是人脸视频，对人脸视频进行人脸检测和面部特征点跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸(即：基准图像)，从而消除头部运动对心率估计的噪声影响。
本实施例中，头部旋转角度校准的方法如下：
a11，根据面部特征点追踪结果，如图2所示，分别提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，基准图像是一张近似正面人脸的图像；
a12，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：
其中，s是缩放比例；t表示平移的位移；
a13，将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，目标函数定义如下：
argmins,r,t||srpt+t-qt||fsubjecttortr＝i
其中，||·||f表示frobenius范数(简称f-范数)，即每一项的平方和。
a14，利用奇异值分解方法(singularvaluedecomposition，svd)求解目标函数的最优参数s，r，t，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)，即
本实施例中，通过校准头部角度对头部刚性运动进行倾斜校正，将图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响。
本实施例中，根据校正后的测试图像的面部特征点q(u,v)进行面部感兴趣区域(regionofinterest，roi)的选择。
本实施例中，人脸的某些部分，如眼睛或嘴部，在心率检测过程中可能会有较大幅度的动作(如张嘴、眨眼)，这些动作会对心率信号数值的提取造成干扰。在实验中经过研究测试和对比，最终选取了额头和面颊部分作为感兴趣区域，因为它们受面部动作的干扰较少，对心跳强度的反映也较为明显。这样，通过选取特定的roi，可以消除其他面部区域对心率检测造成的干扰，从而可以提取到更为健壮的运动信号。
本实施例中，将多层皮肤模型简化为三层皮肤模型，考虑角质层有规律的反射、表皮的映射和吸收，以及真皮的散射和吸收。空气和角质层之间存在折射率的变化，因此小部分的入射光(4％～7％)将被角质层反射，因为皮肤背面并不是光滑的，所以这种反射是散射。就可见光谱而言，人类皮肤主要的发色团包括黑色素和血红蛋白，黑色素位于表皮，而血红蛋白位于真皮内部的毛细血管网当中。微观层面上，折射率的波动使散射也发生在表皮和真皮上。表皮和真皮的散射光也可以看作漫射光。真皮中的血红蛋白含量会随着脉搏而准周期性变化，这将增加/减少皮肤吸收的光。面部运动信号(ippg信号)就是源于这种光线辐射强度的变化。然而光辐射信号的振幅非常小，可看作大的直流分量(dc)加上小的交流分量(ac)。相比之下，ippg信号的ac与dc之比就更小了。
本实施例中，对于rgb彩色图像而言，面部感兴趣区域颜色通道的光信号可以表示为：
其中，|roi|表示感兴趣区域的大小；q(u,v,t)表示时间为t时的坐标(u,v)处的像素值；ippg表示面部运动信号，源于皮肤吸收光的强度变化。
在前述基于图像分析的心率检测方法的具体实施方式中，进一步地，所述根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号包括：
根据确定的面部感兴趣区域颜色通道的光信号，构建基于三层皮肤模型的光信号模型；
根据构建的光信号模型，通过颜色通道差分方法提取绿色-红色通道差分信号。
本实施例中，基于三层皮肤模型的三种色光信号可以表示为：
ii(t)＝αiβi(s0+γis0ippg(t)+r0),i∈{r,g,b}(2)
其中，s0是感兴趣区域内皮肤在白光照射下的散射光强度的平均值，r0是感兴趣区域内皮肤在白光照射下的漫反射光强度的平均值，i代表rgb通道中的一种通道，αi是i通道色光在标准化的照明光谱中的强度，βi是i通道色光在标准化的漫反射光谱中的强度，γi是i通道ippg信号的交流分量(ac)与直流分量(dc)之比。
本实施例中，由于目标的运动对于三种色光信号会产生相同的影响，所以把式(2)修改为：
ii(t)＝αiβi(s0+γis0ippg(t)+r0)m(t),i∈{r,g,b}(3)
其中，m(t)为运动分量。得到的式(3)为基于三层皮肤模型的光信号模型公式。
本实施例中，基于三层皮肤模型的光信号模型(式3)，目标是消除m(t)，进行心率估计相关的运动信息提取。
本实施例中，通过颜色通道差分方法提取绿色-红色自适应差分信号，即
这样，含有运动分量的散射光的项s0m(t)和含有运动分量的漫反射光的项r0m(t)就分别相消了。式(4)中仍残留对ippg信号有影响的运动分量，所以在对人脸进行捕捉时会采用跟踪技术来大幅削弱运动带来的影响。
根据式(4)，颜色差分信号d(t)的振幅与(γi-γj)成正比，为保持d(t)的振幅尽可能地大，通道i和j的选取就应该保证(γi-γj)的值最大。根据光谱和图中波长与ac/dc的关系，可以得出γg>γb>γr，因此i为绿色通道，j为红色通道时，(γi-γj)可以取得最大值。因此，用来做差分的两个信号分别为绿色和红色色光信号。本实施例中，将绿色色光信号和红色色光信号进行差分运算，得到绿色-红色通道差分信号，记作grd(t)：
但是，此时还不知道αgβg和αrβr的取值。彩色数码相机传感器能把光分成rgb三通道，所以可以把它当作一个简单的光谱仪。即使不能确定照明光谱和漫反射光谱，但是由于皮肤辐射的光由照明光谱和反射光谱的乘积决定，因此，可以利用相机以rgb颜色接收的光强来估计它们的乘积。由色光模型公式可知，γis0ippg(t)的振幅与颜色相关，且该项远小于s0和r0，所以为了估计αgβg和αrβr两项，可以简化光信号模型公式为：
ii(t)＝αiβi(s0+r0),i∈{r,g,b}(6)
这样，通过简化光信号模型提取由心脏跳动所引起的面部皮肤血液容量的周期性变化特征，分离光信号模型中的周期性运动分量。也就是说γis0ippg(t)、m(t)在此处被忽略，因此ig(t)和ir(t)分别仅与αgβg和αrβr有关，然而对于时间为t的ig(t)和ir(t)是可以知道的，所以红色和绿色的标准化的照明光谱与标准化的漫反射光谱的乘积可以分别估算为：
用波浪线标记以示
下标f表示对应分量已经过上述带通滤波处理，即：igf(t)、irf(t)、mf(t)表示经过带通滤波处理后的ig(t)、ir(t)、m(t)，运动干扰s0m(t)和r0m(t)已经通过相减的方式去除，最后剩余的运动分量mf(t)也通过跟踪技术减弱。
本实施例中，可以通过快速傅里叶变换，将式(8)中的grd(t)变换至频域，提取振幅最大值对应的频率，就是用户当前的心率数值，计算过程如下：
pgrd(t)＝|fft(grd(t))2|
t＝argmax{pgrd(t)},t＝0,1,…,n-1(9)
(7)基于图像分析的心率检测系统性能分析
本实施例中，基于具体的测试环境，对本实施例提供的基于图像分析的心率检测方法的性能进行分析，其中，
测试环境：测试用户处于平稳状态，用户所处的物理环境为光线较差、略微昏暗的宿舍屋内，测试用的硬件为logitechc920摄像头，运行环境为inteli7@2.60ghz处理器，测量过程中使用鱼跃yx303血氧仪测量的心率作为真值，与程序测量的结果进行比对。
对比实验选择了其他文献中常用的4种方法：g方法、grd方法、盲源分离法、pos法，用这4种方法与本实施例提供的基于图像分析的心率检测方法进行比较，测量结果如图3(a)-(e)所示，横坐标为帧数，纵坐标为心率值，单位为bpm(节拍数每分钟)，结合图3(a)-(e)，对g方法、grd方法、盲源分离法、pos法、基于图像分析的心率检测方法的性能进行简要说明：
(1)g方法：只使用绿色通道作为心率信号。从图表中可以发现，所得到的结果非常不稳定，即使经过了带通滤波等处理，大多数噪声也无法消除。说明这种算法效果不好。
(2)grd方法：绿色通道与红色通道值之差作为信号。测量的心率数值经过短暂波动后趋于稳定并接近真值，明显好于g方法，但在光照不理想的情况下，仍会发生数值跳变。
(3)盲源分离法：本实验中使用jade算法对rgb信号进行独立成分分析，盲源分离后，选择谱峭度最高的信号作为心率信号。该方法相对于普通的grd表现更出色，初期只有小幅围绕真值的波动，短时间内就稳定下来，而且测量数值与真值一致。但是后期经常发生跳变现象，说明以谱峭度为标准选择的信号并不总是真实的心率信号。
(4)pos法：将rgb信号经标准化后投影色域空间直角坐标系中，由血液流动引起的细微的颜色变化就会被放大。pos方法需要相对较长的一段时间才能逐渐收敛到一个稳定的数值，经分析原因如下：根据图中显示的帧率(fps)可以得知，pos算法较为复杂，对程序整体的时间性能产生了负面影响，而对于心率测量来说，过低的fps会严重影响测量的效果。
(5)基于图像分析的心率检测方法：使用的方法在所有方法中的表现最为出色，初期只有小幅围绕真值的波动，短时间内就稳定下来，而且测量数值与真值一致，同样的光照条件下几乎没有发生过数值跳变现象，说明该方法测量结果精准，稳定性高。
实施例二
本发明还提供一种基于图像分析的心率检测装置的具体实施方式，由于本发明提供的基于图像分析的心率检测装置与前述基于图像分析的心率检测方法的具体实施方式相对应，该基于图像分析的心率检测装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于图像分析的心率检测方法具体实施方式中的解释说明，也适用于本发明提供的基于图像分析的心率检测装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图4所示，本发明实施例还提供一种基于图像分析的心率检测装置，包括：
校正模块11，用于获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
确定模块12，用于根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
提取模块13，用于根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
变换模块14，用于将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明实施例所述的基于图像分析的心率检测装置，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号，减小面部其他区域信息干扰；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号，消除运动干扰信息；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率，该心率检测方法对环境要求较低、实用性高，且心率测量结果准确度高。
本实施例中，心率检测装置可以调用摄像头捕捉用户的人脸视频，将捕捉到的用户的人脸视频输入到所述基于图像分析的心率检测装置中，实现用户的心率测量。本实施例中，所述检测装置可以是一台windows操作系统的计算机，也可以是其他终端设备。
本实施例中，所述摄像头也可以集成在所述检测装置中。
本实施例中，所述摄像头和所述检测装置构成一个非接触式心率测量系统，对环境要求较低、实用性高。
本实施例中，所述检测装置不仅可以测量心率，还可以以图表和文本的方式显示和记录测量情况，以便后续分析。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！