基于RPPG的情绪检测装置的自标定方法与流程

基于rppg的情绪检测装置的自标定方法
技术领域
[0001]
本发明涉及一种基于人脸视频的心率测量方法，通过测量到的心率信息进行人体心理健康、情绪的判断，属于生物医学工程相关领域。


背景技术：

[0002]
心率是脉搏波的最基本信息，是人体四大生命体征之一。其稳定性直接反映着心脏功能的好坏，是人体健康的一项重要生理指标。心率是监测心血管疾病的一个重要参数。同时心率也是指导体育锻炼的重要指标，运动学研究表明，心率是生理变化较为灵敏的参数之一，在刑侦手段如测谎中心率也有重要应用。
[0003]
最传统的心率检测是通过医生使用切脉或者听诊的方式获得的，这种心率测量需要医生具有丰富的相关知识与大量的实践经验。随着科技的发展，人们发明了心率监测仪来测量人的心率，但是心率监测仪的成本很高，通常只用于医院的临床监护，难以进入人们的日常的生活中。随后，指夹式心率血氧仪等的出现在测量准确率高的基础上大大降低了设备成本，并且使用比较方便，只要将指夹式心率血氧仪夹在手指上，就可以准确获取自己的心率，但是，指夹式心率血氧仪的使用必须与人体有直接的接触，长时间的接触会造成被试者的不适，因而不适合长时间的心率测量。
[0004]
近几年随着计算机、摄像头等的普及，图像ppg(photoplethysmography)技术的提出为实现无创、非接触的实时心率测量提供了切实可行的思路。由于人体心脏不断地收缩和舒张，会导致人体血管中的血液的充盈程度也会随着心跳而不断地发生变化，并且对光的吸收会随着血液容积的变化呈现出与心跳一致的脉动性变化，因此皮肤表面反射的光的强度也会发生相应的周期性变化，从而表现为采集图像中皮肤颜色的变化。本发明基于rppg技术实现了基于人脸视频提取人体的脉搏波信号，从脉搏波信号提取出hr、hra、hrv数值，根据建立的情绪影响模型，计算出情绪影响指数h，从而对心理健康进行评估。


技术实现要素：

[0005]
本发明的目的是提供一种基于人脸视频的非接触式心率情绪检测装置的自标定方法，该方法具有无创、非接触、精度高、算法复杂度低等优点，在病人心率监控、家庭心率测量、体感游戏以及刑侦测谎领域中有着广泛的应用前景。
[0006]
本发明技术方案是：
[0007]
(1)用普通摄像头采集一段人脸区域的视频，读取视频的总帧数；
[0008]
(2)结合adaboost算法与金字塔图搜索所述rgb图形的脸部区域，获取脸部区域的长度h和宽w，并确定脸颊区域为感兴趣roi区域；
[0009]
(3)分离感兴趣区域rgb通道并取均值；
[0010]
(4)将采集到的数据按照窗的大小分开并归一化；
[0011]
(5)独立成分分析、傅里叶变化、去除线性分量，提取最大功率谱值和相应的频率；
[0012]
(6)根据采集到新的心率信号，得出情绪影响因素h＝a*hr+b*hra+c*hrv+d。(h：情
绪影响指数，hr：代表心率数，hra：代表心率的幅值，hrv：为心率变异数)
[0013]
本发明的优点和积极效果是：
[0014]
本发明所述基于基于rppg的情绪检测装置的自标定方法，可实现人体心率的非接触式测量，同时根据测量到的心率测量特征点，推算出情绪影响指数h与心率的关系。该心率监测方法精确度高，与被测人员无直接接触，且不存在对被测人体的辐射危害。该发明方法不仅有利于日常生活中的健康监测，也为临床医疗提供了新的技术手段，同时情绪影响因素的确定，可以应用在人体心理健康的诊断、刑侦手段中说谎的判断等领域。
附图说明
[0015]
图1是非接触式心率监测系统结构示意图。
[0016]
图2是该系统总体实现流程图。
具体实施方式
[0017]
实施方式一：
[0018]
第一步：选定照明合适的环境，确定可以对人脸区域清晰并较完整成像的位置，固定摄像头；
[0019]
第二步：启动摄像头，对人脸区域的场景进行视频采集，采集的过程中人脸允许在成像范围内小幅移动和偏转，将采集到的数据存为mp4格式视频文件；
[0020]
第三步：将采集到的视频文件进行人脸区域的选取，确定roi区域，然后进行rgb通道的分离并取均值；
[0021]
第四步：将得到的rgb数值进行保存，继续处理下一帧数据，直到视频总帧数处理完，用matlab软件绘制出rgb三通道的均值曲线；
[0022]
第五步：根据画出的曲线，可以看出g通道包含脉搏信息；
[0023]
第六步：设定采用窗和滑动窗的大小，然后对保存的rgb通道的数值进行归一化处理，存储每个窗口每个通道前十个最大的功率谱幅值和频率值得矩阵，数据去除线性分量，得到分离后的成分矩阵；
[0024]
第七步：将数据进行功率谱分析，提取出每个通道中的最大功率谱幅值，找到最大频率谱幅值对应的脉搏角标，从而找到当前窗最可能的脉搏值，保存在数组pulse中；
[0025]
第八步：当i＞450时，根据公式pulse(round((i-450)/15)+1)*60，计算出心跳的次数；
[0026]
第九步：根据h＝a*hr+b*hra+c*hrv+d，计算出h，估算出情绪与心率之间的关系。
[0027]
实施方式二：
[0028]
按照实施方式一的步骤，对10名成年人进行了测试；
[0029]
第一步：拍摄10名成年人在正常回答问题时的视频；
[0030]
第二步：拍摄10名成年人在说谎状态下的视频；
[0031]
第三步：分析在正常状态下回答问题的视频信息，计算出情绪影响指数h数值；
[0032]
第四步：分析在说谎状态下回答问题的视频信息，计算出情绪影响指数h数值；
[0033]
第五步：通过对比h数值发现，说谎状态下，情绪影响指数h数值偏高一点。