一种基于人体面部红外热像的情绪测量方法与流程

本发明涉及人体情绪测量技术，具体涉及一种基于人体面部红外热像的情绪测量方法。

背景技术：

人体情绪测量是神经科学和心理学相关研究、产品设计评价、人机交互等众多领域的重要技术。

目前主流的情绪测量方法是自述性评价量表法，即让情绪被测量对象回答设计好的量表(如林克特量表)中的问题，以自述的方式反馈所感受到的情绪状况及程度。这类方法存在主观性强、个体差异大、易受其他因素影响等缺点。因此，很多研究者在探索利用不受人体主观意志影响的人体自主神经系统生理信号作为情绪测量的方法。

自1997年mit媒体实验室rosalindpicard教授提出情感计算这一新研究领域以来，利用不同信号识别人体情绪方面取得了很大进展。目前已经能够利用语音、面部表情、身体姿态、心率、皮肤肌电、脑电、血压、呼吸节律等信号识别人体不同情绪状态，准确率能达到90％以上。

然而，不同于情绪识别，情绪测量对情绪类型识别的要求虽然不高，但要求对指定类型情绪的程度能做出准确的量化判断。这决定了目前大量的情绪识别方法和模型对情绪测量并不适用。

另一方面，很多人体生理信号检测，如脑电图(eeg)、心电图(ecg)、功能性磁共振成像(fmri)、功能性近红外光谱(fnirs)等，需要与人体接触，甚至在人体内植入电极。这给实际应用带来了很多限制，且不可避免地会对人体情绪产生一定影响。而且这类检测设备普遍结构复杂，价格昂贵，限制了其在实际中的广泛应用。

热成像技术通过非接触的方式准确测量人体皮肤表面温度，能反映情绪状态，且测量设备小巧、易操作，相对很多大型生理信号检测设备并不昂贵。因此热成像技术作为在环境条件可控情况下的情绪测量手段将非常有前景。

公开号为cn110287895a的专利申请公开了一种基于卷积神经网络进行情绪测量的方法，包括使用人脸识别建立个人档案数据包以及对个人面部表情类别的分类，在工作区域设置图像采集装置实时采集一个单位中每一个人的个人面部图像，所述情绪测量的方法进一步包括建立个人面部表情类别识别模型，通过个人面部表情类别识别模型识别一个预测时间周期的表情形成个人的情绪状态，最后得到单位中每一个人的情绪状态的量化表。该情绪测量方法利用卷积神经网络进行情绪测量，需要大量的数据样本，数据样本的丰富性直接影响表情类别识别模型的识别准确性，而且采集的是人脸的可见光图像数据，存在伪装、环境干扰等可能性，因此，会有一定的局限性。

技术实现要素：

本发明的目的是提供一种基于人体面部红外热像的情绪测量方法，该情绪测量方法能够提高情绪测量的准确性。

为实现上述发明目的，本发明提供技术方案为：

一种基于人体面部红外热像的情绪测量方法，包括以下步骤：

采集被测试人员处于平静状态、接受标准刺激以及接受目标刺激时面部的基准红外热像、标准红外热像、目标红外热像；

根据基准红外热像和标准红外热像确定标准红外热像伪彩色图，根据基准红外热像和目标红外热像确定目标红外热像伪彩色图；

根据标准红外热像伪彩色图和对应的标准刺激的标注情绪强度构建红外热像-情绪强度关系模型；

利用红外热像-情绪强度关系模型获得目标红外热像伪彩色图所对应的情绪强度，即获得目标刺激引起的情绪强度。

与现有技术相比，本发明专利的有益效果是：

该情绪测量方法不需要与被试人员身体有任何直接接触，甚至可以将拍摄过程进行藏匿和伪装而不让被试人员感知，避免了实验过程对被试人员情绪的影响；可以在小样本基础上快速得到红外热像情绪识别的特征量，训练代价小，无需海量大数据支持；识别内容为人体生理自发信号，无法像面部表情、语音等信息一样伪装；得到的结果为目标刺激对应的指定情绪程度的量化值，方便后续分析处理和不同实验间结果的对比，对研究和设计有更清晰和具体的指导意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于人体面部红外热像的情绪测量方法的流程图；

图2是本发明实施例提供的建立红外热像-情绪强度关系模型的流程示意图；

图3是本发明实施例提供的人体面部区域划分示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是本发明实施例提供的基于人体面部红外热像的情绪测量方法的流程图。图2是本发明实施例提供的建立红外热像-情绪强度关系模型的流程示意图。参见图1和图2，实施例提供的基于人体面部红外热像的情绪测量方法包括以下步骤：

s101，采集被测试人员处于平静状态、接受标准刺激以及接受目标刺激时面部的基准红外热像、标准红外热像、目标红外热像。

为了确保情绪测量结果的准确性和可比性，需要对采集环境进行严格控制，在采集基准红外热像、标准红外热像、目标红外热像时，控制实验室温度、湿度、空气流动速度、光照强度、噪声水平、相机与被试人员面部的距离及相对关系、被试人员面部遮挡程度要求这些参数。具体地，周围环境的空气温度应控制在18～24℃，空气相对湿度应控制在40％～60％，空气流动速度应控制在0.2m/s以下，光照强度应控制在150～300lx，噪声水平应控制在30～45db，且无有意义声音(如人声、音乐声等)，的被试应端坐与座椅上，相机镜头应正对着被试面部，且距离面部约1m，被试不应佩戴耳饰、耳机、帽子，面部应处于自然清洁状态，不应让头发或其他物品遮挡额头和耳朵等部位。上述参数均能直接影响红外相机测量得到的人体面部温度，若不加控制，将使得人体面部温度测量结果的影响因素非常复杂，弱化人体面部红外热像与人体情绪间的关系，影响本方法的准确度和精确度。若需要研究的对象为上述某个或多个参数，则应遵循具体研究目的控制参数范围，如研究噪声都人体情绪的影响时，噪声水平可根据研究需要进行控制。

在环境稳定时，让被测试人员平静一段时间，然后利用红外线摄像设备对人体面部的红外热像进行拍摄，得到平静状态下人体面部红外照片或视频，作为基准红外热像；

选取能诱导出被测试人员不同强度特定情绪的系列刺激(如视觉刺激、听觉刺激、触觉刺激等)对被试人员进行情绪诱导，然后同步记录不同情绪状态下被试人员的面部红外热像或视频，作为标准红外热像。其中系列刺激需要取自公认的且已经进行了情绪标注的情绪诱导刺激数据库，如国际标准情绪图片库(iaps)。

给予被试人员需评价的目标刺激，同步记录此时的面部红外热像或视频，作为目标红外热像。

s102，根据基准红外热像和标准红外热像确定标准红外热像伪彩色图，根据基准红外热像和目标红外热像确定目标红外热像伪彩色图。

实施例中，根据基准红外热像和标准红外热像确定标准红外热像伪彩色图包括：

以基准红外热像为背景值对标准红外热像进行规范化处理，并利用规范化处理之后的数据重新构建标准红外热像伪彩色图。

根据基准红外热像和目标红外热像确定目标红外热像伪彩色图包括：

以基准红外热像为背景值对目标红外热像进行规范化处理，并利用规范化处理之后的数据重新构建目标红外热像伪彩色图。

具体地，规范化处理为以基准红外热像为参考，分别计算标准红外热像和目标红外热像的不同位置面部温度相对于基准红外热像的相对值(如变化率)，利用该相对值绘制伪彩色图。

s103，根据标准红外热像伪彩色图和对应的标准刺激的标注情绪强度构建红外热像-情绪强度关系模型。

本实施例中，在获得标准红外热像伪彩色图后，标准红外热像伪彩色图和已知的系列标准刺激的标注情绪强度为数据源，建立起红外热像-情绪强度关系模型，具体地，根据标准红外热像伪彩色图和对应的标准刺激的标注情绪强度构建红外热像-情绪强度关系模型包括：

参考人体面部表层动静脉和毛细血管分布及常见人体面部分区，将人面部划分为多个区域，具体包括额区(左、右)、上额区、眉心区、眉区(左、右)、内眼角区(左、右)、外眼角区(左、右)、下眼睑区(左、右)、鼻翼区(左、右)、鼻尖区、颧骨区(左、右)、鼻唇沟区(左、右)、上唇区(左、右)、嘴角区(左、右)、颌区(左、右)、下巴区、耳根区(左、右)等不同区域；如图3给出了一个人脸面部区域划分示意图。如图3所示，包括a-左额区；b-右额区；c-上额区；d-左眉区；e-右眉区；f-眉心区；g-左内眼角区；h-右内眼角区；i-左外眼角区；j-右外眼角区；k-左下眼睑区；l-右下眼睑区；m-左鼻翼区；n-右鼻翼区；o-鼻尖区；p-左颧骨区；q-右颧骨区；r-左鼻唇沟区；s-右鼻唇沟区；t-左上唇区；u-右上唇区；v-左嘴角区；w-右嘴角区；x-左颌区；y-右颌区；z-下巴区；1-左耳根区；2-右耳根区。

在标准红外热像伪彩色图中，按照每个区域温度变化相对值的标准方差从大到小进行排序，选取上述区域前n(举例可以为8)个区域作为特征区域，并以特征区域的面部温度相对值作为特征量；

根据特征量与标准刺激的标注情绪强度确定特征量与情绪强度的映射关系，进而获得红外热像-情绪强度关系模型。

具体地，可以对根据特征量与标准刺激的标注情绪强度进行多元线性回归，以确定特征量与情绪强度的映射关系，进而获得红外热像-情绪强度关系模型。

s104，利用红外热像-情绪强度关系模型获得目标红外热像伪彩色图获对应的情绪强度，即获得目标刺激引起的情绪强度。

在获得红外热像-情绪强度关系模型后，即可以该利用红外热像-情绪强度关系模型进行情绪强度测量，具体地，利用红外热像-情绪强度关系模型获得目标红外热像伪彩色图获对应的情绪强度包括：

提取目标红外热像伪彩色图的特征区域的特征量，将该特征量输入至红外热像-情绪强度关系模型中，经计算，输出情绪强度量化值。

s104中提取目标红外热像伪彩色图的特征区域的特征量的具体方法步骤与s103中提取标准外热像伪彩色图的特征区域的特征量的步骤相同，均是以标准红外热像伪彩色图中变化最为显著的多个区域作为特征区域，并以特征区域的面部温度相对值作为特征量，此处不再赘述。

下面利用具体的一个例子对上述基于人体面部比较红外热像的情绪测量方法进行详细说明：

(1)首先让被试人员安静坐于安静、温湿度和光照稳定且均匀的实验室内，固定位置和坐姿，处于安静5分钟后，拍摄其面部红外热像30秒钟，作为基准红外热像。

(2)利用扬声器或耳机播放系列已经标注过情绪强度的公认的情绪诱导声刺激，诱导出被试人员不同程度的主观烦恼情绪状态。每次播放声刺激时，全程拍摄被试人员面部红外热像。如此，n个标注刺激可得到n份标准红外热像图。

(3)利用与步骤(2)中相同的方法播放待评价的声刺激，同步记录被试人员接受声刺激时的面部红外热像，即为目标红外热像。

(4)将上述得到的所有红外热像网格化，并利用红外相机配套软件读取每个网格的温度值。按以下公式，对标准红外热像和目标红外热像中某一网格中的温度值θs和θa，求基准红外热像中同一网格部位温度值θ0的相对值r。利用r绘制伪彩色图，得到标准红外热像伪彩色图和目标红外热像伪彩色图。

rs＝(θs—θ0)/θ0

ra＝(θa—θ0)/θ0

(5)对比分析不同标注情绪强度的标注刺激下标准红外热像伪彩色图中变化显著和代表区域，将这些区域作为特征区域，并将这些特征区域的伪彩色图相对值作为特征量x。如此，可得到伪彩色图的m个特征量x1、x2……xm。

(6)利用回归分析等方法建立噪声标注烦恼程度y与m个特征值间的关系模型，即

y＝a1f(x1)+a2f(x2)+……+amf(xm)

(7)将目标红外热像伪彩色图中的特征量的值b1、b2……bm代入步骤(6)中得到的关系式，即可求出该目标声刺激对应的主观烦恼度yb＝

a1f(b1)+a2f(b2)+……+amf(bm)。

上述基于人体面部比较红外热像的非接触式情绪测量方法，简单易行，能够弥补目前主流的以自述式主观评价为主的情绪测量技术的缺点，提高情绪测量的准确性，可对神经科学和心理学相关研究、产品设计评价、人机交互等众多领域起到积极作用。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。