基于红外与光学图像融合的人体心率实时测量方法及装置

1.本发明涉及计算机视觉处理与图像处理技术领域，尤其涉及一种基于红外与光学图像融合的人体心率实时测量方法。


背景技术：

2.红外和光学图像融合技术采用多尺度变换分解技术，将同一场景中的红外图像和光学图像融合在一起，利用图像分解后的红外低频信息来确定低频融合的权重突出目标。最后，使用拉普拉斯金字塔的逆变换重建融合图像。
3.现有的红外与光学图像融合技术主要在三个不同的层次上进行，即像素层次、特征层次和决策层次。像素级图像融合直接将图像对应像素的信息融到两个或多个图像。像素级融合作为其他层次的基础，这种融合方法加强和丰富了有用的信息，以确保合并后的图像能够符合人类视觉系统。对于一般融合方法，如加权平均法提高了融合图像的信噪比，但会削弱图像之间的对比度，特别是对于仅出现在一张图像上的有用信号。基于pca的融合算法的优点是适用于多光谱图像的所有波段，缺点是pca融合算法只是考虑使用高分辨率图像来替换低分辨率图像的第一主成分，因此会丢失低分辨率图像第一主成分中反应光谱特征的一些信息。基于神经网络的融合方法以其独特的学习模式和并行性提供了一种完全不同的数据融合方法，然而，将神经网络的融合方法应用到实际的系统中，无论是网络结构的设计还是算法规则的设计都还有很多基础工作需要解决。
4.现有的人体心率测量方式，有压力式、电阻式、心电式等方式，但都存在一些不足。例如，压力式无法长时间检测心率信息；电阻式虽然因其价格低廉而被广泛使用，但这种方式受个人皮肤影响较大，因此存在较大误差；心电式由于需要专业的电极安装方法和心电结果分析，只能在医生指导下使用，不适合日常生活使用；且以上几种方式均为接触式心率测量，对儿童与烧伤病人不够友好。


技术实现要素：

5.本发明提供一种基于红外与光学图像融合的人体心率实时测量方法，用以解决现有技术中接触式心率测量受个体影响大存在误差的问题，还解决了接触式心率测量对儿童和烧伤病人不适用的问题。
6.为了实现上述目的，本发明技术方案提供了一种基于红外与光学图像融合的人体心率实时测量方法，包括：将采集的阵列图像组分解为红外光图像和可见光图像。将红外图像和所述可见光图像分解为低频子图像和高频子图像，获取低频子图像红外特征分布并对其进行归一化处理，从而得到低频信息的融合权重。将各低频子图像进行融合获取低频信息，将高频子图像进行融合得到高频信息。将高频信息与低频信息进行融合得到融合图像：
7.8.其中，lf
l
为低频信息，lfh为高频信息，i
l
为低频信息融合图像，ih为高频信息融合图像。根据融合图像，提取所述阵列图像组中的受测者面部图像，从而获取面部像素平均值序列：
[0009][0010]
其中w为常数；ωc为通带截止频率。将对面部像素平均值序列滤波后得到的信号序列进行傅里叶变换得到频率x(k)，根据频率得到最终心率end_bpm：end_bpm＝last_bpm
×
0.9+bpm
×
0.1。
[0011]
作为上述技术方案的优选，较佳的，确定红外光图像ia与可见光图像ib的分解层数s，根据mst最小生成树分割方法将红外光图像和可见光图像分解为两个低频子图像和s-1个高频子图像。
[0012]
作为上述技术方案的优选，较佳的，获取低频子图像的红外特征分布，包括：ri＝|lai|,s-1≤i≤s其中lai表示分解后的红外光低频图像信息，ri为低频子图像的红外特征分布。
[0013]
作为上述技术方案的优选，较佳的，对低频子图像红外特征分布ri行归一化处理得到归一化结果pi：
[0014][0015]
其中，max
x∈ω
{ri(x)}表示第i个低频子图像区域中像素强度最大点的值。
[0016]
作为上述技术方案的优选，较佳的，得到低频信息的融合权重，包括：
[0017][0018]
其中，pi∈[0,1],ci∈[0,1]，α为常数。ci为低频信息的融合权重，当ci越大则红外特征越明显。
[0019]
作为上述技术方案的优选，较佳的，低频图像融合包括：
[0020]
lfi＝ci·
lai+(1-ci)
·
lbi,s-1≤i≤s
[0021]
lf
l
＝c
·
lfs+(1-c)
·
lf
s-1
[0022]
其中，lbi为分解后的可见光低频，为，cn为n个低频信息的融合权重，a为红外光图像信息，b为可见光图像信息。
[0023]
作为上述技术方案的优选，较佳的，高频图像融合包括：
[0024][0025]
当0≤h＜s-1时，lah和lbh为原始图像分解的高频信息，lfh为高频图像融合后结果。
[0026]
作为上述技术方案的优选，较佳的，将对面部像素平均值序列滤波后得到的信号序列进行傅里叶变换得到频率x(k)，包括：
[0027][0028]
根据频率x(k)获取本次测量周期内的心率bpm：bpm＝x(k)
×
60。
[0029]
本发明还提供一种基于红外与光学图像融合的人体心率实时测量装置，包括：阵列摄像头、处理器。阵列摄像头用于，采集的阵列图像组；处理器包括：分解单元，低频信息获取单元，高频信息获取单元，融合单元，面部像素平均值获取单元，心率获取单元；
[0030]
分解单元，用于将阵列摄像头采集的阵列图像组分解为红外光图像和可见光图像，还用于将所述红外图像和所述可见光图像分解为低频子图像和高频子图像。
[0031]
低频信息获取单元，用于将所述低频子图像进行融合获取低频信息，还用于获取低频子图像红外特征分布并对其进行归一化处理，从而得到低频信息的融合权重。
[0032]
高频信息获取单元，用于将所述高频子图像进行融合得到高频信息。
[0033]
融合单元，用于将所述高频信息获取单元获取的高频信息与所述定频信息获取单元获取的低频信息进行融合得到融合图像。
[0034]
面部像素平均值获取单元，用于根据所述融合单元获取的融合图像从所述阵列摄像头采集的阵列图像组进行受测者面部图像的提取，获取提取图像的面部像素平均值序列。
[0035]
心率获取单元，用于对面部像素平均值获取单元获取的面部像素平均值序列进行滤波，得到频率，根据频率得到最终心率。
[0036]
本发明技术方案提供了一种红外与光学图像融合的人体心率实时测量方法及装置：通过阵列镜头提取阵列图像，利用多尺度变换分解模型方法对阵列图像进行融合。对融合后的阵列图像，通过时域频域结合的方法建立相应的心率测量模型，得到测量结果。
[0037]
本发明的优点是：
[0038]
1、采用多尺度变换分解模型方法，对阵列图像使用mst方法分解，利用分解后的红外图像低频信息确定低频部分的融合权重，该方法可以更好地保留热辐射和详细的纹理信息。采用正则化参数α以控制红外特征的比例，实现满足不同测量需求的目的。
[0039]
2、采用时域频域结合的测量方法，利用像素平均法代替传统的单通道信号作为心率信信号，更加可靠，适应性更强。选择合适的butterworth带通滤波器参数，在心率频域内对提取的平均像素值信号进行滤波，得到平滑平均信号；对标准接触式心率信号及其相应模板进行分析，设计理想带通滤波器对平滑平均信号的相应功率谱进行处理和提取，通过傅里叶变换以及加权平均得到最终的心率信号。对比传统的心率计算方法，此方法鲁棒性更强。
[0040]
3、本发明的基于阵列镜头的红外与光学图像融合的人体心率实时测量方法，利用阵列镜头获取阵列图像组，将图像组融合，建立相应的心率测量模型，避免了单镜头测量的不稳定性，测量效果良好。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
这些附图获得其他的附图。
[0042]
图1为本发明实施例提供的红外与光学图像融合的人体心率实时策测量方法的流程图。
[0043]
图2为本发明实施例提供的红外与光学图像融合的人体心率实时策测量装置的结构示意图。
具体实施方式
[0044]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
现结合具体实施方式对本发明具体方案进行详细说明：
[0046]
图1为本发明实施例提供的流程示意图，如图1所示：
[0047]
步骤101、阵列镜头采集图像。
[0048]
阵列镜头由若干个镜头模组以n
×
m阵列的形式排列而成，用于同时采集环境图像及人像。
[0049]
步骤102、将红外光图像和可见光图像分解为两个低频子图像和s-1个高频子图像。
[0050]
具体的，确定红外光图像ia与可见光图像ib的分解层数s，根据mst最小生成树分割方法将ia和ib分解为两个低频子图像和s-1个高频子图像。其中，阵列镜头采集的原始图像可以表示为r行c列的像素数组i0，i0是高斯金字塔的底层，i1是i0的低通滤波结果，i1的每个值由k
×
k窗口计算为底层值的加权平均值，重复此操作以构造高斯金字塔，s为高斯金字塔的最高层。
[0051]
步骤103、获取低频子图像的红外特征分布。
[0052]
根据公式：
[0053]ri
＝|lai|,s-1≤i≤s
ꢀꢀ
(1)
[0054][0055][0056]
其中，lai表示分解后的低频图像信息，ri为低频图像的红外特征分布。max
x∈ω
{ri(x)}为第i个低频子图像区域中像素强度最大点的值，pi为ri归一化后的结果。ci反映了红外特征分布，ci(x)的值决定了低频信息的融合权重。当ci(x)值越大，相应的红外特征就越明显，从而成为后续识别过程中的目标的概率较大。
[0057]
为了避免丢失大量的信息，在图像融合过程中，红外图像信息的比例不低于70％，以降低图像融合后的对比度。
[0058]
步骤104、获取低频融合结果：
[0059]
lfi＝ci·
lai+(1-ci)
·
lbi,s-1≤i≤s
ꢀꢀ
(4)
[0060]
将每个低频信息进行融合最后得到低频融合结果：
[0061]
lf
l
＝c
·
lfs+(1-c)
·
lf
s-1
ꢀꢀ
(5)
[0062]
其中cs为n个低频信息的融合权重，a为红外光图像信息，b为可见光图像信息。
[0063]
步骤105、获取高频融合结果。
[0064]
根据：
[0065][0066]
得到高频融合结果lfh。其中，lah和lbh为原始图像分解的高频信息。
[0067]
步骤106、将低频信息与高频信息进行融合，得到融合图像。
[0068]
根据：
[0069][0070]
及拉普拉斯金字塔逆变换重构实现以获得最终的合并结果，得到表示为i
l
和ih的融合图像结果。
[0071]
步骤107、获取平滑后的面部像素平均值序列。
[0072]
根据步骤106的融合图像结果结合神经网络，对面部关键点检测并定位，计算面部区域的像素平均值，从而获得像素平均序列，采用butterworth滤波器对像素平均序列处理，即通过公式：
[0073][0074]
得到平滑后的像素平均值序列，其中c为一常数参数，n为滤波器的阶数，这里令n＝5，ωc表示通带截止频率，得到信号序列x(n)。
[0075]
步骤108、对得到的信号序列进行傅里叶变换与加权平均，并进行平滑得到最终心率测量结果。
[0076]
将信号序列x(n)通过公式：
[0077][0078]
进行傅里叶变换，得到频率x(k)。
[0079]
步骤109、计算本周期测量的心率结果：
[0080]
由公式：bpm＝x(k)
×
60得到心率值，常数60的单位：秒。
[0081]
步骤110、通过加权对心率测量结果迭代，得到最终心率。
[0082]
认为两个相邻周期内测量的心率值之间的变化不超过10％，因此使用加权平均来迭代平滑本周期bpm和上一周期last_bpm后得到最终心率end_bpm：
[0083]
end_bpm＝last_bpm
×
0.9+bpm
×
0.1
ꢀꢀ
(10)
[0084]
本发明提供一种基于红外与光学图像融合的人体心率实时测量装置，如图2所示，包括：阵列摄像头1、处理器2。
[0085]
阵列摄像头1用于，采集的阵列图像组。
[0086]
处理器2包括：分解单元21，低频信息获取单元22，高频信息获取单元23，融合单元24，面部像素平均值获取单元25，心率获取单元26。
[0087]
分解单元21，用于将阵列摄像头采集1的阵列图像组分解为红外光图像和可见光图像，还用于将红外图像和可见光图像分解为低频子图像和高频子图像。
[0088]
低频信息获取单元22，用于将分解单元21分解得到的低频子图像进行融合获取低频信息，还用于获取低频子图像红外特征分布并对其进行归一化处理，从而得到低频信息的融合权重。
[0089]
高频信息获取单元23，用于将将分解单元21分解得到的高频子图像进行融合得到高频信息。
[0090]
融合单元24，用于将高频信息获取单元23获取的高频信息与低频信息获取单元22获取的低频信息进行融合得到融合图像。
[0091]
面部像素平均值获取单元25，用于根据融合单元24获取的融合图像从阵列摄像头采集1的阵列图像组进行受测者面部图像的提取，获取提取图像的面部像素平均值序列。
[0092]
心率获取单元26，用于对面部像素平均值获取单元25获取的面部像素平均值序列进行滤波，得到频率，根据频率得到最终心率。
[0093]
综上，本技术将拍摄的红外光图像和可见光图像拆分为高频和低频图像分别处理，根据融合后的高低频图像对面部关键点进行定位。在关键点定位面部后通过计算面部像素平均值，将平均值序列通过butterworth滤波器处理、傅里叶变换后得到心率，最后利用加权平均值平滑心率数值，得到最终心率测量结果。
[0094]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。