一种生理信号提取的方法及装置与流程

本发明实施例涉及信号提取技术领域，尤其涉及一种生理信号提取的方法及装置。

背景技术

现有的基于图像处理的非接触式生命体征监测方法，以心率监测为主，普遍采用多光谱融合的策略来抑制环境噪声，提高测量精度。其根本原理在于血红蛋白对光的改变和一般环境噪声(如光线变化，身体运动)对光的改变在不同的光谱下呈现不同的量化效果，如血红蛋白对绿光(540nm)的吸收最强，对红光(650nm)的吸收最弱。这种特征在环境环境噪声引起的皮肤颜色变化中是不存在的。环境噪声与环境相关，和人的生理现象无关。

“用多光谱融合提取心率”的方法大致分为两类。第一类是基于非监督学习的盲源分离，如独立成分分析和主成分分析。这类方法依赖采集的实时视频数据的内在关系模式来区分心率信号和噪声信号。如果心率信号和噪声信号(如周期性的身体运动)高度相关或者噪声信号不符合白噪声的特点，则盲源分离失效；如果噪声信号的能量太强或太弱，也会导致无法选择正确的源信号。第二类是基于经验模型的信号分离。即采用不同源信号在不同光谱中的能量有差异这一先验信息对源信号进行分离。这类方法降低了对数据本身模式或质量的依赖，表现出了比第一类方法更优的精确度和稳定性。但是却增加了对经验的依赖。如果经验模型和实际采集数据的环境有较大差异(如摄像头参数不同，光源不同，脉搏强度不同)，则可能导致经验模型失效。

技术实现要素：

本发明实施例提供一种生理信号提取的方法及装置，提升了信号提取的精确度和稳定性，降低了对数据和经验的依赖程度。

本发明实施例提供的一种生理信号提取的方法，包括：

采集观测对象的视频数据，所述视频数据包括多帧视频图像；

检测每帧视频图像中皮肤像素，并从所述每帧视频图像中皮肤像素中提取多通道的平均像素值；

根据每帧视频图像对应的所述多通道的平均像素值，确定时域上的多通道信号；

根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号，所述观测对象与所述目标对象的映射关系是使用机器学习模型对非接触式采集的视频信号和接触式传感器采集的信号进行训练学习得到的。

可选的，所述根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号，包括：

根据公式(1)将所述时域上的多通道信号融合为单通道的生理信号；

所述公式(1)为：

p(t)＝w·c(t)…………………………(1)

其中，p(t)为单通道的生理信号，c(t)为时域上的多通道信号，w为c(t)多维空间里投影的方向；

根据所述观测对象与目标对象的映射关系，确定所述c(t)多维空间里投影的方向。

可选的，所述确定所述c(t)多维空间里投影的方向需要符合公式(2)；

所述公式(2)为：

w＝v·a^-1…………………………(2)

其中，w为c(t)多维空间里投影的方向，v为目标对象，a为观测对象。

可选的，所述使用机器学习模型对非接触式采集的视频信号和接触式传感器采集的信号进行训练学习得到所述观测对象与所述目标对象的映射关系，包括：

获取非接触式摄像头采集的视频信号组和接触式传感器采集的信号组；

使用机器学习模型根据公式(3)训练学习所述目标对象和所述观测对象的映射关系；

所述公式(3)为：

v＝x·a+y…………………………(3)

其中，v为非接触式摄像头采集的视频信号组，a为接触式传感器采集的信号组，x和y为目标对象和观测对象的映射关系。

可选的，在根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号之前，还包括：

将所述时域上的多通道信号中心化。

相应的，本发明实施例还提供了一种生理信号提取的装置，包括：

采集单元，用于采集观测对象的视频数据，所述视频数据包括多帧视频图像；

检测单元，用于检测每帧视频图像中皮肤像素，并从所述每帧视频图像中皮肤像素中提取多通道的平均像素值；

处理单元，用于根据每帧视频图像对应的所述多通道的平均像素值，确定时域上的多通道信号；以及根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号，所述观测对象与所述目标对象的映射关系是使用机器学习模型对非接触式采集的视频信号和接触式传感器采集的信号进行训练学习得到的。

可选的，所述处理单元具体用于：

根据公式(1)将所述时域上的多通道信号融合为单通道的生理信号；

所述公式(1)为：

p(t)＝w·c(t)…………………………(1)

其中，p(t)为单通道的生理信号，c(t)为时域上的多通道信号，w为c(t)多维空间里投影的方向；

根据所述观测对象与目标对象的映射关系，确定所述c(t)多维空间里投影的方向。

可选的，所述处理单元具体用于：

确定所述c(t)多维空间里投影的方向需要符合公式(2)；

所述公式(2)为：

w＝v·a^-1…………………………(2)

其中，w为c(t)多维空间里投影的方向，v为目标对象，a为观测对象。

可选的，所述处理单元具体用于：

获取非接触式摄像头采集的视频信号组和接触式传感器采集的信号组；

使用机器学习模型根据公式(3)训练学习所述目标对象和所述观测对象的映射关系；

所述公式(3)为：

v＝x·a+y…………………………(3)

其中，v为非接触式摄像头采集的视频信号组，a为接触式传感器采集的信号组，x和y为目标对象和观测对象的映射关系。

可选的，所述处理单元还用于：

在根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号之前，将所述时域上的多通道信号中心化。

本发明实施例表明，采集观测对象的视频数据，视频数据包括多帧视频图像，检测每帧视频图像中皮肤像素，并从每帧视频图像中皮肤像素中提取多通道的平均像素值，根据每帧视频图像对应的多通道的平均像素值，确定时域上的多通道信号，根据观测对象与目标对象的映射关系，将时域上的多通道信号融合为单通道的生理信号，观测对象与目标对象的映射关系是使用机器学习模型对非接触式采集的视频信号和接触式传感器采集的信号进行训练学习得到的。由于通过机器学习模型来学习观测对象与目标对象的映射关系，从而将时域上的多通道信号融合为单通道的生理信号，可以有效的提取出需要的生理信号，提升了信号提取的精确度和稳定性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种生理信号提取的方法的流程示意图；

图3为本发明实施例提供的一种生理信号提取的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供的一种生理信号提取的方法所适用的系统架构，该系统架构可以包括相机模块、光源模块、麦克风模块和智能电子芯片系统。

其中，相机模块由两部分组成：传感器和镜头。本发明实施例提出的相机模块搭建方案和已有方案不同，即采用多光谱，低帧率，低分辨率的传感器和广角镜头。多光谱可测量不同波段的ppg信号以增加数据采集的维度，可用于降噪。所谓的“多光谱”可以是可见光波段(450-650nm)，近红外红外波段(650-950nm)，或者是可见光和近红外的结合。低帧率(15帧/秒)可以降低硬件成本价格和cpu损耗。低分辨率可以提高后面的图像处理速度或存储速度。广角镜头可以在低分辨率的图像上扩大监测的视角和区域，抵消由低分辨率引起的空间监测范围减小的损失。

光源模块为生理监测提供光照能量。光源的波段选择根据所使用的相机传感器波段进行定制，可为可见光或近红外波段。光源可以是可见光源或不可见光源，例如led灯，白炽灯，荧光灯，日光，镭射光等。

智能电子芯片系统为图像处理，数据存储，数据传输，数据可视化提供支持。其包含中央处理器，内置或外置的存储器(硬盘，光盘，或其他)，有线或无线的通信设备(网线，蓝牙，wifi，或其他)，显示器(lcd显示器，手机，平板，或其他)。

麦克风模块用于采集音频信号，作为计算存储通信可视化模块的音频信号输入。

基于上述硬件结构，图2示例性的示出了本发明实施例提供的一种生理信号提取的方法的流程，该流程可以由生理信号提取的装置执行。

如图2所示，该流程具体包括：

步骤201，采集观测对象的视频数据。

该视频数据可以包括多帧视频图像，在具体采集时，可以将上述系统架构中的相机模块中的摄像头放置在特定的环境下，人体的皮肤目标前，录制视频，在一段时间内，视频图像包含人体目标的皮肤像素。

步骤202，检测每帧视频图像中皮肤像素，并从所述每帧视频图像中皮肤像素中提取多通道的平均像素值。

在本发明实施例中，可以通过现有的皮肤(或人脸)检测和跟踪算法来检测每帧视频图像中的皮肤像素，这样就可以在检测出来的皮肤区域中提取多通道的平均像素值。

步骤203，根据每帧视频图像对应的所述多通道的平均像素值，确定时域上的多通道信号。

在得到多通道的平均像素值之后，可以通过连续帧的积累来形成时域上的多通道信号。例如，假设为c(t)。在三通道的rgb摄像头下，c(t)的典型表述为：c(t)＝{r(t),g(t),b(t)}，其中，r(t),g(t),b(t)分别代表红，绿，蓝三个波长的时域信号。

步骤204，根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号。

在时域上的多通道信号之后，为了提升生理信号提取的精确度，还可以对该时域上的多通道信号中心化，即为：其中，是第i个c(t)通道的均值。然后是将时域上的多通道信号融合为单通道的生理信号，这里的单通道的生理信号即为需要提取出来的视频ppg(photoplethysmography,电容积描记法)信号，也可以称为是将c(t)投影到多维空间里的一个方向w上。

其需要符合公式(1)：

p(t)＝w·c(t)…………………………(1)

其中，p(t)为单通道的生理信号，c(t)为时域上的多通道信号，w为c(t)多维空间里投影的方向。

在本发明实施例中，计算方向w是区分不同心率提取算法的关键步骤。不同的方法采用不同的策略或假设来计算w，如基于盲源分离的算法用ica(independentcomponentanalysis，独立成分分析法)或pca(principalcomponentanalysis，主成分分析法)来计算w，基于经验模型的算法用ppg对光谱的吸收特点来计算w。而本发明实施例是通过机器学习的策略来计算方向w。

该w是根据观测对象与目标对象的映射关系以及公式(2)得到。

该公式(2)为：

w＝v·a^-1…………………………(2)

其中，w为c(t)多维空间里投影的方向，v为目标对象，a为观测对象。这里的公式(2)其实是通过将公式(1)变形得到的，例如，将公式(1)左右两边都乘以的转置，可以得到向量v可以表示为目标对象，该协方差矩阵a可以表示为观测对象。其中v＝p(t)·c(t)^t，a＝c(t)·c(t)^t。v和a的尺寸和时间长度无关，仅和通道数量相关。

对方向w的求解可通过观测对象a来寻找对应的目标对象v来实现，这一步就可以通过大量的数据学习来归纳v和a的映射关系。在上述公式(2)中，v是通过视频ppg信号p(t)计算得到的，在离线的数据学习的过程中，本发明实施例使用接触式ppg信号ppg(t)代替p(t)来训练，以达到良好的监督学习效果。

具体可以为：获取非接触式摄像头采集的视频信号组和接触式传感器采集的信号组，使用机器学习模型根据公式(3)训练学习所述目标对象和所述观测对象的映射关系。可选的，该机器学习模型可以为神经网络模型。该公式(3)为：

v＝x·a+y…………………………(3)

其中，v为非接触式摄像头采集的视频信号组，a为接触式传感器采集的信号组，x和y为目标对象和观测对象的映射关系。

在本发明实施例中，该接触式传感器可以为接触式的ppg传感器(如手指血氧仪)，在使用非接触式摄像头和接触式传感器进行采集时，是同步进行的，一段视频可以得出一对对应的a和v，n段视频可以得到n对视频信号组v和信号组a，例如：

在收集完数据即可开始学习v和a的映射关系。监督学习的过程可以通过单个或多个，线性或非线性的分类器进行，如贝叶斯分类器，lda(lineardiscriminantanalysis，线性判别式分析)，fisher，支持向量机，随机森林，字典，神经网络等。在具备大量数据的条件下，本专利推荐使用神经网络。学习的过程可表述为上述公式(3)。

其中，x和y是学习出来的映射关系(或参数)。训练出来的模型和使用的数据有关，使用可见光(或近红外)数据训练出来的模型可在可见光(或近红外)下使用。在提取实时信号时，假设a是观测对象的协方差矩阵，可通过以下方式在学习的结果中寻找最优的目标对象vi：mini||xi·a+yi-vi||²。

在得到最优的目标vi后，就可以得到最优的ai，代入上述公式(2)中，计算出投影方向w，然后在通过公式(1)将时域上的多通道信号融合为单通道的生理信号，也就是将视频中的ppg信号提取出来。

需要说明的是，本发明实施例提取的生理信号可以为心率信号或呼吸信号，本发明实施例仅是示例作用，对此不做限制。提取出来的一维心率信号可以用不同的后处理方法降噪(如滤波)。

本发明实施例提出的生理信号提取方法可用于提取多光谱视频(包括可见光波段和近红外波段)的心率和呼吸信号，只要修改输入信号c(t)的带通即可。带通参数亦可根据具体的应用场景和应用对象设定。在从多维光谱信号提取出一维生理信号的基础上，可采用后处理方法(如滤波)对提取出来的一维信号降噪。

在已提取的生理信号基础上，也可以结合现有视频和音频处理技术，得到其他和人体相关的信息，如运动，姿势，表情，动作，咳嗽，哮喘，哭声等，共同作为特征来进行生命体征或身体健康的监测。

上述实施例表明，采集观测对象的视频数据，视频数据包括多帧视频图像，检测每帧视频图像中皮肤像素，并从每帧视频图像中皮肤像素中提取多通道的平均像素值，根据每帧视频图像对应的多通道的平均像素值，确定时域上的多通道信号，根据观测对象与目标对象的映射关系，将时域上的多通道信号融合为单通道的生理信号，观测对象与目标对象的映射关系是使用机器学习模型对非接触式采集的视频信号和接触式传感器采集的信号进行训练学习得到的。由于通过机器学习模型来学习观测对象与目标对象的映射关系，从而将时域上的多通道信号融合为单通道的生理信号，可以有效的提取出需要的生理信号，提升了信号提取的精确度和稳定性。

本发明实施例提供了一种具有低功耗，高精度，高稳定性，高灵活性，普遍适用性的非接触生理信号提取方法。可应用在不同的场景下来检测人的生理指标以提供健康信息或辅助诊断。并通过结合视频信号的非接触式监测结果(例如：呼吸、心跳)和视频信号的智能判断功能(例如：表情、睡姿、动作等)，来有效提高传统情绪状态音频分析技术的可靠性和精确度。

基于相同的技术构思，图3示例性的示出了本发明实施例提供的一种生理信号提取的装置，该装置可以执行生理信号提取的流程。

如图3所示，该流程具体包括：

采集单元301，用于采集观测对象的视频数据，所述视频数据包括多帧视频图像；

检测单元302，用于检测每帧视频图像中皮肤像素，并从所述每帧视频图像中皮肤像素中提取多通道的平均像素值；

处理单元303，用于根据每帧视频图像对应的所述多通道的平均像素值，确定时域上的多通道信号；以及根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号，所述观测对象与所述目标对象的映射关系是使用机器学习模型对非接触式采集的视频信号和接触式传感器采集的信号进行训练学习得到的。

可选的，所述处理单元303具体用于：

根据公式(1)将所述时域上的多通道信号融合为单通道的生理信号；

所述公式(1)为：

p(t)＝w·c(t)…………………………(1)

其中，p(t)为单通道的生理信号，c(t)为时域上的多通道信号，w为c(t)多维空间里投影的方向；

根据所述观测对象与目标对象的映射关系，确定所述c(t)多维空间里投影的方向。

可选的，所述处理单元303具体用于：

确定所述c(t)多维空间里投影的方向需要符合公式(2)；

所述公式(2)为：

w＝v·a^-1…………………………(2)

其中，w为c(t)多维空间里投影的方向，v为目标对象，a为观测对象。

可选的，所述处理单元303具体用于：

获取非接触式摄像头采集的视频信号组和接触式传感器采集的信号组；

使用机器学习模型根据公式(3)训练学习所述目标对象和所述观测对象的映射关系；

所述公式(3)为：

v＝x·a+y…………………………(3)

其中，v为非接触式摄像头采集的视频信号组，a为接触式传感器采集的信号组，x和y为目标对象和观测对象的映射关系。

可选的，所述处理单元303还用于：

在根据观测对象与目标对象的映射关系，将所述时域上的多通道信号融合为单通道的生理信号之前，将所述时域上的多通道信号中心化。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。