一种利用光照均衡法改善人脸视频心率检测的方法与流程

本发明涉及图像处理、非接触式心率检测技术领域，具体涉及一种利用光照均衡法改善人脸视频心率检测的方法。

背景技术：

随着现代生活水平的提高，人们将更多地关心自己的身体健康状况，而心率作为人体最重要的生命特征之一，心率的检测也将得到更多的重视。近些年，市面上的心率检测设备发展迅速，体积小、测量方便是发展的必然趋势，但是它们都需要与测量者进行直接身体接触，接触式的传感器记录方式测量过程繁琐，且可能会引起患者的不适，尤其对于刚出生的婴儿之类的人群有着不适用性。因此，利用光电容积脉搏波描记法原理的非接触式心率检测方法在医学领域及家庭健康防范等方面有着较为广泛的应用前景。目前，非接触式心率检测需要在较为稳定的环境下检测所得到的结果才较为准确，光线变化等因素都会对检测结果产生负面影响。

因此，需要寻找一种能够自适应地校正人脸图像的光照不均匀现象，减少光波动所产生的噪声，确保测量结果的准确性的方法。

技术实现要素：

为了解决现有技术所存在的技术问题，本发明提供一种利用光照均衡法改善人脸视频心率检测的方法，通过快速引导滤波算法提取光照分量，利用改进的二维伽马函数的自适应校正光照不均的光均衡法，改善人脸图像过亮与过暗区域的亮度，减少心率测量值的平均误差和标准差，提高测量精度。

本发明方法采用以下技术方案来实现：一种利用光照均衡法改善人脸视频心率检测的方法，包括以下步骤：

s1、利用可见光的摄像头获取人脸视频图像；

s2、利用多任务卷积神经网络完成人脸、双眼、鼻子以及嘴角的检测及定位；

s3、根据人脸、双眼、鼻子以及嘴角的定位信息，选取人脸视频图像感兴趣区域roi；

s4、根据人脸视频感兴趣区域roi，将每帧感兴趣区域roi分解到色相h，饱和度s，亮度v颜色组成空间；对于亮度v通道，利用快速引导滤波算法提取场景的光照分量，并构造改进的二维伽马函数，均衡人脸视频图像的光照分量；

s5、进行盲源分离，利用独立成分分析fastica算法，从每帧感兴趣区域roi的r、g、b三基色通道观测混合信号中分离出独立源信号；

s6、利用分离出的独立源信号做快速傅里叶变换，根据皮肤反射光强度的周期变化推导出血液容积的周期变化，从而获取心率信息，选择独立源信号中具有最大功率谱幅值的独立源信号作为脉搏源信号，根据脉搏源信号幅值计算出心率值。

本发明与现有技术相比，具有如下优点和有益效果：

本发明通过快速引导滤波算法提取光照分量，利用改进的二维伽马函数的自适应校正光照不均的光均衡法，改善人脸图像过亮与过暗区域的亮度，实现了对光照不均匀的调整，减少心率测量值的平均误差和标准差，提高测量精度。

附图说明

图1是本发明方法的流程图；

图2是光均衡方案校正前的亮度直方图；

图3是光均衡方案校正后的亮度直方图；

图4是具有最强脉搏波信号的独立源信号频谱图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明利用光照均衡法改善人脸视频心率检测的方法，包括以下步骤：

s1、利用可见光的摄像头获取人脸视频图像，在摄像头前保持静止，减少晃动，保持采集环境的光线亮度，摄像头利用像素为1200万且最大分辨率为1920*1080的高清摄像机；

s2、根据步骤s1中采集到的人脸视频图像，利用多任务卷积神经网络(mtcnn，multi-taskconvolutionalneuralnetwork)完成人脸、双眼、鼻子以及嘴角的检测及定位；

s3、根据步骤s2中所获取的人脸、双眼、鼻子以及嘴角的定位信息，选取脉搏原信号周期性强，噪声少的人脸视频图像感兴趣区域roi；

s4、根据步骤s3所获取的人脸视频图像的感兴趣区域，将每帧roi分解到色相h，饱和度s，亮度v颜色组成空间；对于亮度v通道，通过快速引导滤波算法快速准确地提取出场景的光照分量，并构造改进的二维伽马函数，降低光照过亮区域的亮度值并提高过暗区域的亮度值，以此均衡人脸图像的光照分量，从而消除光照不均匀及光线波动的影响；

s5、进行盲源分离，利用独立成分分析fastica算法，从每帧感兴趣区域roi的r、g、b三基色通道观测混合信号中分离出独立源信号；

s6、根据步骤s5所获取的盲源分离后的信号，对分离出的独立源信号做快速傅里叶变换；根据光电容积脉搏描记法原理，光强的变化和血液容积的变化是成正比例关系，即可利用皮肤反射光强度的周期变化推导出血液容积的周期变化，从而间接获取心率信息；选择独立源信号中具有最大功率谱幅值的独立源信号作为脉搏源信号，根据脉搏源信号幅值计算出当前心率值。

本实施例中，步骤s2中的多任务卷积神经网络采用了三个级联的网络，其网络结构包含了p-net、r-net、o-net三种，其中，p-net为人脸检测的区域建议网络，由三个卷积层组成，可以快速生成人脸候选窗口；r-net比p-net多了一个全连接层，用于进一步选择和调整p-net生成的候选人脸区域窗口，o-net在结构上更为复杂，其比r-net多了一个卷积层，可以通过提取更多的特征来识别面部区域，且对人的面部特征点进行回归，最终输出人脸面部特征点。多任务卷积神经网络兼顾了人脸检测性能和准确率，相比于现有的滑动窗口加分类器等能够减少大量的性能消耗。

本实施例中，步骤s3中选取人脸视频感兴趣区域roi包括以下步骤：

s31、由于进行采集视频图像时，人脸可能发生倾斜，为了获取标准化的人脸，需要对人脸进行偏转角度调整；设左、右眼的像素点坐标分别为(x1，y1)，(x2，y2)，若发生左偏转，即y1>y2，则偏转角度公式如下所示：

α＝-[arctan((y1-y2)/(x2-x1))/π]

若发生右偏转，即y2>y1，则偏转角度公式如下所示：

α＝[arctan((y1-y2)/(x2-x1))/π]；

s32、获取偏转角度后，通过调整偏转角度使得左、右眼处于同一水平位置，设定左、右眼之间的距离为4d，选取人脸图像中左、右眼下方的0.5d处，长和宽分别是8d和3d的矩形区域设为感兴趣区域。

本实施例中，步骤s4中利用快速引导滤波算法提取场景的光照分量的具体步骤包括：

s401、利用快速引导滤波算法，根据引导图像和输入图像之间的局部线性关系，在滤波窗口内重新计算每一个像素值，其滤波输出图像是引导图像的一个局部线性变换，进而提取出光照分量；设输入图像为p，引导图像为i，滤波输出图像为q，对于图像内任意的像素点k，在以其为中心的半径为r的滤波窗口ωk内存在线性变换关系为：

其中，ak和bk为线性变换系数，在滤波窗口ωk中为常数；qi为第i个滤波输出图像；ii为第i个引导图像；

s402、利用滤波窗口ωk计算线性变换因子(ak，bk)的最优值，获取滤波输出图像q和输入图像p的最小差值；其中，在滤波窗口ωk中所使用的代价函数的表达式为：

其中，e(ak,bk)为代价函数；ε为控制线性变换因子ak取值范围的规则化参数，通过线性回归的方法求解出ak和bk的最优值为：

其中，|ω|为滤波窗口ωk内像素的数目；μk为滤波窗口ωk中引导图像i的均值；pi为第i个输入图像；σk为滤波窗口ωkk中引导图像i的方差；pk为滤波窗口ωk中的输入图像；为滤波窗口ωk中pk的均值；由于ak和bk在不同的滤波窗口ωk取值可能会不一样，且这些不同的滤波窗口ωk会包含同一像素点，取以该像素点为中心的不同滤波窗口ωk内ak和bk均值并以此为参数求解出qi的表达式：

其中，ai为不同滤波窗口ωk内ak的均值；为不同滤波窗口ωk内bk的均值。

本实施例中，步骤s4中构造改进的二维伽马函数的具体步骤包括：

s411、利用人脸视频图像的光照分量，通过改进的二维伽马函数对光照不均匀的图像进行自适应校正处理；改进后的二维伽马函数表达式为：

其中，i(x,y)为输入图像的亮度；o(x,y)为输出图像；l(x,y)为提取出的当前像素点(x,y)上的光照分量值；γ为伽马校正参数，其决定了图像增强的效果；η为光照系数，设η为m/255；m为整幅人脸图像的光照图的均值；

s412、利用校正过后的亮度v通道与其余的未发生变化的色相h，饱和度s通道再经过颜色空间转换，转换回rgb的色彩空间。

如图2-3所示，利用快速引导滤波算法获取光照分量，再利用改进二维伽马函数对人脸图像的光照分量进行校正，校正过后的直方图在光线最亮和最暗区域有了明显的变化，增强了原图像中亮度低区域，降低了原图像中低亮度区域，整体的直方图分布在中间亮度位置，有效地实现了对光照不均匀的调整。

本实施例中，步骤s5中分离出独立源信号的具体步骤包括：

s51、将每帧感兴趣区域roi的r、g、b三基色通道分别组成三组时间序列做为观测混合信号x0(t)，x1(t)，x2(t)，设有三个独立源信号，为s0(t)，s1(t)，s2(t)，观测混合信号x(t)是独立源信号s(t)线性组合，即

x(t)＝a·s(t)

其中，a为混合矩阵；

s52、fastica算法通过观测混合信号的负熵为目标函数，目标函数表达式如下：

j(w)＝[e{g(w^tz)}-e{g(v)}]²

其中，j(w)为目标函数；g(v)为非线性函数，g(v)＝v³；同理，g(w^tz)为非线性函数，g(w^tz)＝(w^tz)³；z为白化后的观测混合信号，z＝vx(t)；v为白化矩阵；w为分离矩阵；w^t为分离矩阵w的转置；e{g(v)}为非线性函数g(v)的数学期望；e{g(w^tz)}-e{g(v)}为数学期望；

s53、极大化目标函数，求解分离矩阵w，使分离矩阵其近似等于a^-1，使得y(t)＝w*x(t)近似于独立源信号s(t)；其中y(t)为独立源信号近似信号。

本实施例中，将分离出的独立源信号做快速傅里叶fft变换，公式如下所示：

其中，f(w)为频域上的独立源信号，f(t)表示时域上的独立源信号，j表示虚数单位，t表示时间，w表示角频率。

如图4所示，根据信号幅值计算出当前心率值，心率计算公式如下：

hr＝fmax*60

其中，hr为心率值，fmax是最大峰值对应的频率。

本实施例通过快速引导滤波算法提取光照分量，利用改进的二维伽马函数对人脸图片的光照不均衡现象校正。选取五名测试者，分别测试对有无光均衡校正进行心率检测，心率参考值是利用指夹式血样心率检测仪获取的，无光均衡方案校正的心率检测结果如表1所示，有光均衡方案校正的心率检测结果如表2所示：

表1无光均衡方案校正的心率检测结果

表2有光均衡方案校正的心率检测结果

通过表1和表2的测量结果可知，经过光均衡方案的心率检测的结果的平均误差值和标准差都有明显的下降，说明该光均衡方案对于心率测量精确度的提高有明显的作用，证实了本发明所提出方法的有效性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。